机器学习实战读书笔记（二） K-近邻算法

K-近邻算法

2.1 K-近邻算法概述

K-近邻算法是一种基本分类与回归方法。本节只讨论分类问题中的K-近邻算法。

K-近邻算法假设给定一个训练数据集，其中的实例类别已定。对新的实例分类时，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。

因此，K-近邻算法不具有显示的学习过程。K-近邻算法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。

K值的选择、距离度量及分类决策规则是K-近邻算法的三个基本要素。

优点：精度高、对异常值不敏感、无输入数据假定

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型和标称型

2.2 使用K-近邻算法改进约会网站的配对效果

（1）收集数据：书目官网源码包含数据集，提供文本文件

（2）准备数据：使用Python解析文本文件

def file2Matrix(filename):
	fr = open(filename)
	arrayOfLines = fr.readlines()
	numberOfLines = len(arrayOfLines)
	returnMat = zeros((numberOfLines, 3))
	classLabelVector = []
	index = 0
	for line in arrayOfLines:
		line = line.strip()
		ListFromLine = line.split('\t')
		returnMat[index, :] = ListFromLine[0:3]
		classLabelVector.append(int(ListFromLine[-1]))
		index += 1
	return returnMat, classLabelVector

特征值可能会出现取值范围不一致的情形，需要将数值归一化。

def autoNorm(dataSet):
	minVals = dataSet.min(0)
	maxVals = dataSet.max(0)
	ranges = maxVals - minVals
	normDataSet = zeros(shape(dataSet))
	m = dataSet.shape[0]
	normDataSet = dataSet - tile(minVals, (m,1))
	normDataSet = normDataSet / tile(ranges, (m,1))
	return normDataSet, ranges, minVals

（3）分析数据：使用Matplotlib画二维扩散图

（4）训练算法：此步骤不适用于K-近邻算法

K-近邻算法是确定的

def classify0(inX, dataSet, labels, k):
	dataSetSize = dataSet.shape[0]
	diffMat = tile(inX, (dataSetSize, 1)) - dataSet
	sqDiffMat = diffMat ** 2
	sqDistances = sqDiffMat.sum(axis=1)
	distances = sqDistances ** 0.5
	sortedDistIndicies = distances.argsort()
	classCount = {}
	for i in range(k):
		voteIlabel = labels[sortedDistIndicies[i]]
		classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
	sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
	return sortedClassCount[0][0]

（5）测试算法

将训练数据集中的一部分（10%）用作测试数据集

def datingClassTest():
	hoRatio = 0.10
	datingDataMat, datingLabels = file2Matrix('datingTestSet2.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	m = normMat.shape[0]
	numTestVecs = int(m*hoRatio)
	errorCount = 0.0
	for i in range(numTestVecs):
		classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],\
			datingLabels[numTestVecs:m], 3)
		if (classifierResult != datingLabels[i]): errorCount += 1.0
	print "total error rate is: %f" % (errorCount/float(numTestVecs))

（6）使用算法

def classifyPerson():
	resultList = ['not at all', 'in small doses', 'in large doses']
	percentTats = float(raw_input(\
		"percentage of time spent playing video game?"))
	ffMiles = float(raw_input("frequent flier miles earned per year?"))
	iceCream = float(raw_input("liters of ice cream consumed per year?"))
	datingDataMat, datingLabels = file2Matrix('datingTestSet2.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	inArr = array([ffMiles, percentTats, iceCream])
	classifierResult = classify0((inArr-\
		minVals)/ranges, normMat, datingLabels, 3)
	print "You will probabaly like this person: ",\
		resultList[classifierResult-1]

2.3 手写识别系统

（1）收集数据

（2）准备数据：将图像格式转换为分类器使用的向量格式

def img2vector(filename):
	returnVect = zeros((1, 1024))
	fr = open(filename)
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			returnVect[0, 32*i+j] = int(lineStr[j])
	return returnVect

（3）分析数据

（4）训练算法

（5）测试算法

def handwritingClassTest():
	hwLabels = []
	trainingFileList = listdir('trainingDigits')
	m = len(trainingFileList)
	trainingMat = zeros((m, 1024))
	for i in range(m):
		fileNameStr = trainingFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		hwLabels.append(classNumStr)
		trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
	testFileList = listdir('testDigits')
	errorCount = 0.0
	mTest = len(testFileList)
	for i in range(mTest):
		fileNameStr = testFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
		classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
		print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr)
		if (classifierResult != classNumStr): errorCount += 1.0
	print "\nthe total number of errors is: %d" % errorCount
	print "\nthe total error rate is: %f" % (errorCount/float(mTest))

（6）使用算法

2.4 小结

K-近邻算法虽然是比较简单有效的分类方法，但是执行效率并不高。此外，K-近邻算法无法给出任何数据的基础结构信息，无法知晓

平均实例样本和典型实例样本的区别。