NN

学习kNN

k-近邻算法（kNN）：存在一个样本集合，也称作训练样本集，并且样本集每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，最后选择k个最相似数据集中出现次数最多的分类，作为新数据的分类。

k-近邻算法

优点：精度高，对异常值不敏感、无数据输入假定
缺点：计算度复杂度高、空间复杂度高，无法给出给出数据的内在含义
适用数据范围：数值型和标称型

实施kNN分类算法

直接看代码：

from numpy import *
import operator

def createDataSet():
	group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
	labels = ['A','A','B','B']
	return group, labels

def classify0(inX,dataSet,lables,k):
	dataSetSize = dataSet.shape[0]
	diffMat = tile(inX,(dataSetSize,1)) - dataSet
	sqDiffMat = diffMat ** 2;
	sqDistances = sqDiffMat.sum(axis = 1)
	distances = sqDistances ** 0.5
	sortedDistIndicies = distances.argsort()
	classCount ={}
	for i in range(k):
		voteIlable = lables[sortedDistIndicies[i]]
		classCount[voteIlable] = classCount.get(voteIlable,0) + 1
	sortClassCount = sorted(classCount.iteritems(),key = operator.itemgetter(1),reverse = True)
	return sortClassCount[0][0]

导入了两个模块：第一个是科学计算包Numpy；第二个是运算符模块，执行排序操作时需要。

因为初学python没多久，遇到了一些小问题：第一个就是，在sublime上写的python代码，为了在python命令行中可以调用写的函数，首先要导入自己写的模块，那么就需要把当前py文件的路径添加到sys中，即：

import sys
sys.path.append("D:\pythonCode\code\ML")
import KNN

第二个就是，写了一个createDataSet函数，import了一次KNN模块，接着写classify0函数再调用classify0函数时发生错误：module ‘KNN’ has no attribute classify0，此时，把命令行关闭，重新import一次就可以。
createDataSet()函数负责创建数据集和标签。
classify0()函数有4个输入参数：用于分类的输入向量inX，输入的训练样本集为dataSet，标签向量为labels，最后的参数k表示用于选择最近邻居的数目。
接下来理解一下这段代码：
shape函数的功能是查看矩阵或者数据的维数，这里dataSet.shape[0]表示dataSet的行数；
tile函数的作用是让某个数组（其实不局限于数组，但我们这里只讨论数组），以某种方式重复，构造出新的数组，所以返回值也是个数组。在这里就是把用于分类的输入向量inX重复dataSetSize次，这样就可以通过数组计算出inX与dataSet中的每个训练样本的距离，先计算每个特征的差，再平方，接着求和(这里的sum函数里面加了一句axis = 1表示将一个数组或者矩阵的每一行向量相加，同理axis = 0 表示按列进行相加)，最后取根号，这样就得到了inX与每个训练样本的欧氏距离。
argsort函数返回的是数组值从小到大的索引值。
所以就可以根据排序后返回的索引值进行选择距离最小的k个点，创建一个字典classCount，voteIlable保存最近k个点的标签，（get函数返回指定键的值，如果值不在字典中返回默认值，在这里就是0）然后记录该标签出现的次数 = 已出现的次数+1。
sorted函数对字典进行排序，其中，字典items返回列表；key 是带一个参数的函数，key = operator.itemgetter(1)表示取带排序元素的第二项进行排序，在此字典中的第二项指的是标签出现的次数；reverse = True表示降序排序。最后返回sortClassCount[0][0]即最近k个点中标签次数出现最多的标签。

从文本文件中解析数据：

def file2matrix(filename):
	fr = open(filename)
	arrayOLines = fr.readlines()
	numberOfLines = len(arrayOLines)
	returnMat = zeros((numberOfLines,3))
	classLabelVector = []
	index = 0
	for line in arrayOLines:
		line = line.strip()
		listFromLine = line.split('\t')
		returnMat[index,:] = listFromLine[0:3]
		classLabelVector.append(int(listFromLine[-1]))
		index += 1
	return returnMat,classLabelVector

python中文件的读取函数中的readlines函数读取整个文件所有行，保存在一个列表(list)变量，所以使用len函数就可以得到文件的行数，通过zeros函数创建一个结果矩阵，对于文件中的每一行，首先用strip函数移除字符串头尾的空格或换行符，然后使用split函数对字符串进行切片，将前三个元素存储到特征矩阵中，使用负索引将列表的最后一项存储到向量classLabelVector中。
这里比较特别的是明确了列表classLabelVector中存储的元素为整型，为了方便之后的计算比较，否则python会默认把这些元素当做字符串处理。

分析数据，使用matplotlib创建散点图

import matplotlib
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0 * array(datingLabels),15.0 * array(datingLabels))
plt.show()

add_subplot(111)参数111的意思是：将画布分割成1行1列，图像画在从左到右从上到下的第1块上。
第一个15.0 * array(datingLabels)表示size，第二个表示颜色，用以区分每种不同类别的点，但是是在最大值与最小值之间进行映射的，所以，不过乘上15.0还是其他值，最后颜色都是只有那三种。

手写识别系统

#将图像转换为测试向量，将一个32x32的二进制图像矩阵转换为1x1024的向量
def img2vector(filename):
	returnVect = zeros((1,1024))
	fr = open(filename)
	#循环独处文件的前32行，并将每行的头32个字符值存储在returnVect中
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			returnVect[0,32*i+j] = int(lineStr[j])
	return returnVect

#手写数字的测试代码
def handWritingClassTest():
	hwLabels = []
	#os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表
	#此处就返回了traningDigits文件夹下所有训练样本的文件名
	traningFileList = listdir('trainingDigits')
	m = len(traningFileList)
	traningMat = zeros((m,1024))
	for i in range(m):
		fileNameStr = traningFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		hwLabels.append(classNumStr)
		traningMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
	testFileList = listdir('testDigits')
	errorCount = 0.0
	mTest = len(testFileList)
	for i in range(mTest):
		fileNameStr =testFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
		classifierResult = classify0(vectorUnderTest,traningMat,hwLabels,3)
		print("the classifier came back with : %d,the real answer is : %d" % (classifierResult,classNumStr))
		if(classifierResult != classNumStr):
			errorCount += 1.0
	print("\nthe total number of error is: %d" % errorCount)
	print("the total error rate is %f" % (errorCount/float(mTest)))

此外又学习了一下怎么通过Sklearn实现k-近邻算法，主要更新了几行代码，其余详细的函数介绍在官方手册。

def handWritingClassTest2():
	hwLabels = []
	trainingFileList = listdir('trainingDigits')
	m = len(trainingFileList)
	trainingMat = zeros((m,1024))
	for i in range(m):
		fileNameStr = trainingFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		hwLabels.append(classNumStr)
		trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
	 #构建kNN分类器
	neigh = kNN(n_neighbors = 3, algorithm = 'auto')
	#拟合模型, trainingMat为测试矩阵,hwLabels为对应的标签
	neigh.fit(trainingMat,hwLabels)
	testFileList = listdir('testDigits')
	errorCount = 0.0
	mTest = len(testFileList)
	for i in range(mTest):
		fileNameStr =testFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
		#classifierResult = classify0(vectorUnderTest,traningMat,hwLabels,3)
		#获得预测结果
		classifierResult = neigh.predict(vectorUnderTest)
		print("the classifier came back with : %d,the real answer is : %d" % (classifierResult,classNumStr))
		if(classifierResult != classNumStr):
			errorCount += 1.0
	print("\nthe total number of error is: %d" % errorCount)
	print("the total error rate is %f" % (errorCount/float(mTest)))