K近邻算法识别文件中的数字

本文用了两种形式通过k近邻算法识别文件中的数字

文档中的文件位置路径要改成自己的路径！！！

import numpy as np
import operator
from os import listdir

from sklearn.neighbors import KNeighborsClassifier as KNN
#第二种形式使用了sklearn库，该库算法底层进行了优化算法

#kNN算法，返回测试集结果
‘’’
步骤：
计算已知类别数据集中的点与当前点之间的距离；
按照距离递增次序排序；
选取与当前点距离最小的k个点；
确定前k个点所在类别的出现频率；
返回前k个点出现频率最高的类别作为当前点的预测分类。
‘’’
def classify0(inX, dataSet, labels, k):#单个测试集文件，所有训练集文件，训练集标签，k
dataSetSize = dataSet.shape[0] #获取训练集行数
diffMat = np.tile(inX, (dataSetSize,1)) - dataSet #dataSetSize表示生成数组后的行数，1表示列的倍数
#tile返回的是inx 的dataSetSize行，每行是inX
sqDiffMat = diffMat2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances0.5 #欧氏距离计算差值
sortedDistIndicies = distances.argsort() #返回distance从小到大排序后的索引值
#print(sortedDistIndicies)
classCount={}
for i in range(k): # 依次取出最近的样本数据
#print(sortedDistIndicies[i]) #排列前i的位置
voteIlabel = labels[sortedDistIndicies[i]] #训练集中i的标签
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #voteIlabel,个数
#.get() 能查询到相匹配的字典时，就会显示相应key对应的value，如果不能的话，就会显示后面的这个参数
#print(classCount[voteIlabel])
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 对类别出现的频次进行排序，从高到低
#items是遍历所有，itemgetter(1)获取对象第一个域的值
return sortedClassCount[0][0] # 返回出现频次最高的类别

#将将32x32的二进制图像转换为1x1024向量
#将文件里的数据读入NumPy数组，并返回
def img2vector(filename):
returnVect = np.zeros((1,1024))
fr = open(filename)
for i in range(32): #每个文件内容32行
lineStr = fr.readline()
for j in range(32): #32列
returnVect[0,32*i+j] = int(lineStr[j]) #逐个读入
return returnVect #returnVect是某个文件所有训练集数据

#测试，手写数字识别系统
def handwritingClassTest():
hwLabels = [] #存放训练集标签
trainingFileList = listdir(‘D:/trainingDigits’) #load the training set
m = len(trainingFileList) #the number of file
trainingMat = np.zeros((m,1024)) #训练数据数组初始化 m行，每个文件有1024个数字
for i in range(m):
fileNameStr = trainingFileList[i] #第i个文件文件名
fileStr = fileNameStr.split(’.’)[0] #take off .txt
classNumStr = int(fileStr.split(’’)[0]) #label
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector(’*注：这里是自己的路径！！！**'D:/trainingDigits/%s’ % fileNameStr) #存放训练集数据
testFileList = listdir('D:/testDigits注：这里是自己的路径！！！’) #iterate through the test set
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i] #第i个文件的名字
fileStr = fileNameStr.split(’.’)[0] #take off .txt
classNumStr = int(fileStr.split(’’)[0]) #label
vectorUnderTest = img2vector(‘D:/testDigits/%s’ % fileNameStr) #存放单个文件测试集数据
# print(vectorUnderTest)
# print(trainingMat)
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
#k=2,3,4时，正确率为97.81% k=5时，正确率为97.31%
print (“the classifier came back with: %d, the real answer is: %d” % (classifierResult, classNumStr))
if (classifierResult != classNumStr):
errorCount += 1.0 #errCount 标签与测试数据判断结果不符
print("\nthe total number is: %d",mTest)
print("\nthe total number of errors is: %d" %errorCount) #总个数，判断错误个数，错误率，正确率
print("\nthe total error rate is: %f%%" % (errorCount/float(mTest)*100))
print("\nthe total correct rate is: %f%%" % ((1-errorCount/float(mTest))*100))
print("\n2017120386 李晓宇")

#测试2，直接调用sklearn.neighbors的KNeighborsClassifier函数
def handwritingClassTest2():
hwLabels = [] #存放训练集标签
trainingFileList = listdir(‘D:/trainingDigits’) #load the training set
m = len(trainingFileList) #the number of file
trainingMat = np.zeros((m,1024)) #训练数据数组初始化 m行，每个文件有1024个数字
for i in range(m):
fileNameStr = trainingFileList[i] #第i个文件文件名
fileStr = fileNameStr.split(’.’)[0] #take off .txt
classNumStr = int(fileStr.split(’’)[0]) #label
hwLabels.append(classNumStr) #将获得的类别添加到hwLabels中
trainingMat[i,:] = img2vector(‘D:/trainingDigits/%s’ % (fileNameStr)) #将每一个文件的1x1024数据存储到trainingMat矩阵中
neigh =KNN(n_neighbors = 3, algorithm = ‘auto’) #构建kNN分类器
neigh.fit(trainingMat, hwLabels) #拟合模型, trainingMat为训练矩阵,hwLabels为对应的标签
testFileList = listdir(‘D:/testDigits’) #返回testDigits目录下的文件列表
errorCount = 0.0
mTest = len(testFileList) #测试数据的数量
#从文件中解析出测试集的类别并进行 分类测试
for i in range(mTest):
fileNameStr = testFileList[i] #获得文件的名字
fileStr = fileNameStr.split(’.’)[0] #take off .txt
classNumber = int(fileNameStr.split(’’)[0]) #获得分类的数字
vectorUnderTest = img2vector(‘D:/testDigits/%s’ % (fileNameStr)) #获得测试集的1x1024向量,用于训练
classifierResult = neigh.predict(vectorUnderTest) #获得预测结果
print(“the classifier came back with: %d, the real answer is: %d” % (classifierResult, classNumber))
if(classifierResult != classNumber):
errorCount += 1.0
print("\nthe total number is: %d",mTest)
print("\nthe total number of errors is: %d" %errorCount) #总个数，判断错误个数，错误率，正确率
print("\nthe total error rate is: %f%%" % (errorCount/float(mTest)*100))
print("\nthe total correct rate is: %f%%" % ((1-errorCount/float(mTest))*100))

if name == ‘main’:
handwritingClassTest()
#handwritingClassTest2()