k-近邻算法的简单实战

k-近邻算法（kNN）

《机器学习实战》笔记

工作原理

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一-般来说，我们只选择样本数据集中前k个最相似的数据，这就是k近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

最近邻：距每个样本点的欧氏距离的最小值

一般流程

1. 收集数据:可以使用任何方法。
2. 准备数据:距离计算所需要的数值，最好是结构化的数据格式。
3. 分析数据:可以使用任何方法。
4. 训练算法:此步骤不适用于k-近邻算法。
5. 测试算法:计算错误率。
6. 使用算法:首先需要输入样本数据和结构化的输出结果，然后运行k近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

准备：导入数据和标签

import numpy as np

def createDataSet():
	groups = np.array([[1.0, 1.2], [1.0, 1.0], [0, 0], [0, 0.1]])	#shape=(样本数, 特征数)
	labels = ['A', 'A', 'B', 'B']	#shape = (1, 样本数)
	return groups, labels

k-近邻算法

import operator
import numpy as np

def classify0(inX, dataSet, labels, k):
	dataSetSize = dataSet.shape[0]	#样本数
	diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet	#将inX复制dataSetSize行，再与dataSet对应位置元素相减得差值
	sqDiffMat = diffMat ** 2	#每个位置元素平方
	sqDistances = sqDiffMat.sum(axis = 1)	#计算每行的和（水平方向）
	distances = sqDistances ** 0.5	#欧氏距离，开根
	sortedDistIndicies = distances.argsort()	#排序（索引）
	classCount = {}
	for i in range(k):
		voteIlabel = labels[sortedDistIndicies[i]]	#最小的k个距离标签值
		classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1	#相应标签数增加
		# 按标签数顺序排序，sortedClassCount结构为[(标签名，标签数), (标签名，标签数)...]
	sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), reverse = True)
	return sortedClassCount[0][0]	

案例一：约会网站

从文本文件解析数据

文本文件内容格式为：特征数据1\t特征数据2\t…\t标签\n

def file2matrix(filename):
	fr = open(filename)
	arrayOLines = fr.readlines()
	numberOfLines = len(arrayOLines)	#行数即样本数
	returnMat = np.zeros((numberOfLines, 3))	#初始化返回的样本集
	classLabelVector = []	#初始化标签
	index = 0	#记录行标签
	for line in arrayOLines:
		line = line.strip()	#去除行末的换行符\n
		listFromLine = line.split('\t')	#按\t分隔内容
		returnMat[index, :] = listFromLine[0 : 3]	#每行前三个数据（这里特征数据有三个）放在returnMat的每一行
		classLabelVector.append(int(listFromLine[-1]))	#相应的把标签值放在标签列表中
		index += 1	#行数加一，进行下一行操作
	fr.close()	#关闭文件
	return returnMat, classLabelVector

归一化数据

归一化数据的目的是为了使每个特征数据对预测值的影响相当

公式：归一化后的数据 = (原数据 -每列min) / 每列range

def autoNorm(dataSet):
	minVals = dataSet.min(0)	#0取每列的最小值
	maxVals = dataSet.max(0)	#0取每列的最大值
	ranges = maxVals - minVals	#取每列的数据范围
	normDataSet = np.zeros(dataSet.shape)	#初始化归一化后的结果
	m = dataSet.shape[0]	#样本的个数
	normDataSet = dataSet - np.tile(minVals, (m, 1))
	normDataSet = normDataSet / np.tile(ranges, (m, 1))	#归一化，0-1范围
	return normDataSet, ranges, minVals

测试算法

将样本数据集分一部分作为测试集，将得到的预测结果与测试集标签对比，计算错误率

def datingClassTest():
	hoRatio = 0.10	#测试集随机选取样本集的10%
	datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	m = normMat.shape[0]	#样本集中的样本个数
	numTestVecs = int(m * hoRatio)	#测试集数据个数
	errorCount = 0.0	#用于计算错误率
	for i in range(numTestVecs):
		#classify0(inX, dataSet, labels, k)
		classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :],\
							datingLabels[numTestVecs:m], 30)
		print("the classifier came back with: %d, the real answer is: %d"\
							%(classifierResult, datingLabels[i]))
		if(classifierResult != datingLabels[i]):
			errorCount += 1.0
		print("the total error rate is %f"%(errorCount / float(numTestVecs)))

使用算法

通过用户的输入，得到推测结果

def classifyPerson():
	resultList = ['not at all', 'in small doses', 'in large doses']	#通过预测的数字标签，得到文本结果
	percentTats = float(input("percentage of time spent playing video games?"))	#输入特征数据1
	ffMiles = float(input("frequent flier miles earned per year?"))	#输入特征数据2
	iceCream = float(input("liters of ice cream consumed per year?"))	#输入特征数据3
	datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	inArr = np.array([ffMiles, percentTats, iceCream])	#输入的数据
	classifierResult = classify0((inArr - minVals)/ranges, normMat, datingLabels, 3)
	print("you will probably like this person: ", resultList[classifierResult - 1])

案例二：手写识别系统

原始图片数据：01表示的32*32的黑白图像矩阵

准备数据

将32*32转化为1*1024的数据，用于后续处理

def img2vector(filename):
	returnVect = np.zeros((1, 1024))	#初始化
	fr = open(filename)
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			returnVect[0, 32*i+j] = int(lineStr[j])	#读入数据存入returnVect
	return returnVect

测试算法

使用k-近邻算法识别手写数字

from os import listdir

def handwritingClassTest():
	hwLabels = []
	trainingFileList = listdir('trainingDigits')	#读取存数字文件的文件夹
	m = len(trainingFileList)	#数字文件的个数
	trainingMat = np.zeros((m, 1024))	#初始化数据集
	for i in range(m):
		fileNameStr = trainingFileList[i]	#读取每个文件名
		fileStr = fileNameStr.split('.')[0]	#去除后缀名txt，得到文件名
		classNumStr = int(fileStr.split('_')[0])	#按文件名格式(数字_标号.txt)去读取每个文件的标签数字
		hwLabels.append(classNumStr)	#标签存入hwLabels
		trainingMat[i,:] = img2vector('trainingDigits/%s' %fileNameStr)	#依此读入每个文件的数据，转化为1*1024
	testFileList = listdir('testDigits')	#打开存测试数据的文件夹
	errorCount = 0.0
	mTest = len(testFileList)	#测试数据的个数
	for i in range(mTest):
		fileNameStr = trainingFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		vectorUnderTest = img2vector('testDigits/%s' %fileNameStr)
		classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
		print("the classifier came back with: %d, the real answer is: %d" %(classifierResult, classNumStr))
		if(classifierResult != classNumStr):
			errorCount += 1.0
	print("\nthe total number of errors is: %d" %errorCount)
	print("\nthe total error rate is: %f" %(errorCount/float(mTest)))