机器学习实战笔记 K近邻算法

机器学习实战是将机器学习的十大学习算法用python语言实现出来，其中用到NumPy，matplotlib函数库，具体安装的方法可google，这一系列笔记是记录其中python代码的解释，毕竟python不是很熟悉，除了体会算法的思想，还能学习巩固python。关于这些算法的详细内容，我是根据另一本书学习的，是李航的《统计学习方法》。

k近邻算法

<pre name="code" class="python">from numpy import *
import operator	#导入operator模块，排序函数需要用到
def createDataSet():	#创建数据集
	group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])	#4*2矩阵，这里使用array，而不是mat
	labels = ['A', 'A', 'B', 'B']	#对应的标签
	return group, labels

def classify0(inX, dataSet, labels, k):		#k近邻算法，最主要的内容
	dataSetSize = dataSet.shape[0]		#获得数据集的个数，例如4*2的矩阵，shape返回（4,2），那么shape[0]即4
	diffMat = tile(inX, (dataSetSize, 1)) - dataSet 	#tile函数这里的意思是创建4*1的矩阵，每一个元素是InX，其实变成了和dataSet一样的形式，这样就能相减
	sqDiffMat = diffMat ** 2 	#相减之后平方
	sqDistances = sqDiffMat.sum(axis = 1)	#计算每一行的和，axis=1说明是计算行，=0说明计算列
	distances = sqDistances ** 0.5	#开根号，计算出测试点与数据集中的每一点的距离
	sortedDistIndices = distances.argsort()	#进行排序，不过得到的矩阵是排序后的元素在原来未排序矩阵的索引
	classCount = {}	#创建一个字典
	for i in range(k):	#要k个近邻，循环
		voteIlabel = labels[sortedDistIndices[i]]	#因为sortedDistIndices里的元素是索引的位置，所以得到的标签就是原来所在位置的标签
		classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 #将这个标签作为一个key，并加1，如果以后又有相同的再加1，get(key, something)函数是如果不存在这个key就返回something,
	sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), reverse = True) #sorted函数和sort函数区别是它创建的是一个新的对象，iteritems是遍历字典的键值，降序
	#operator.itemgetter函数获取的不是值，而是定义了一个函数，通过该函数作用到对象上才能获取值。参数中的数字是维度，这里是获得第一维度
	return sortedClassCount[0][0]	

def file2matrix(filename):
	fr = open(filename)	
	arrayOLines = fr.readlines()	#读文本中的每一行
	numberOfLines = len(arrayOLines)	#总共有几行
	returnMat = zeros((numberOfLines, 3))	#创建一个全是0的矩阵，行数为nunOfLines，列数为3
	classLabelVector = []
	index = 0
	for line in arrayOLines:	#迭代每一行
		line = line.strip()		#去掉每一行开头的回车符
		listFromLine = line.split('\t')		#以制表符切分
		returnMat[index, :] = listFromLine[0 : 3]	#返回的矩阵为切分好的前3列
		classLabelVector.append(int(listFromLine[-1]))	#在标签矩阵是切分好的最后一列
		index += 1
	return returnMat, classLabelVector

def autoNorm(dataSet):
	minVals = dataSet.min(0)	#获得每一列的最小值
	maxVals = dataSet.max(0)	#获得每一列的最大值
	ranges = maxVals - minVals	
	normDataSet = zeros(shape(dataSet))	#获得与数据集合相同大小的矩阵
	m = dataSet.shape[0]	#获得数据的多少
	normDataSet = dataSet - tile(minVals, (m, 1))	
	normDataSet = normDataSet / tile(ranges, (m, 1))
	return normDataSet, ranges, minVals

def datingClassTest():
	hoRatio = 0.1	#测试数据的比例
	datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
	norMat, ranges, minVals = autoNorm(datingDataMat)
	m = norMat.shape[0]
	numTestVecs = int(m * hoRatio)
	errorCount = 0.0
	for i in range(numTestVecs):
		classifierResult = classify0(norMat[i, :], norMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
		print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
		if (classifierResult != datingLabels[i]):
			errorCount += 1.0
	print "the total error rate is: %f" % (errorCount / float(numTestVecs))

def classifyPerson():
	resultList = ['not at all', 'in small doses', 'in large doses']
	percentTats = float(raw_input("percentage of time spent playing vedio games?"))
	ffMiles = float(raw_input("frequent flier miles earned per year?"))
	iceCream = float(raw_input("liters of ice cream consumed per year?"))
	datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
	norMat, ranges, minVals = autoNorm(datingDataMat)
	inArr = array([ffMiles, percentTats, iceCream])
	classifierResult = classify0((inArr - minVals) / ranges, norMat, datingLabels, 3)
	print "You will probably like this person: ", resultList[classifierResult - 1]

def img2vector(filename):
	returnVect = zeros((1, 1024))
	fr = open(filename)
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			returnVect[0, 32 * i + j] = int(lineStr[j])
	return returnVect