2.3 示例:手写识别系统
本节我们一步步地构造使用k-近邻分类器的手写识别系统。为了简单起见,这里构造的系统只能识别数字0到9,参见图2.6。需要识别的数字已经使用图形处理软件,处理成具有相同的色彩和大小:宽高是32像素x32像素的黑白图像。尽管采用文本格式存储图像不能有效地利用内存空间,但是为了方便理解,我们还是将图像转换为文本格式。
示例:使用k-近邻算法的手写识别系统
(1)收集数据:提供文本文件。
(2)准备数据:编写函数classify0(),将图像格式转换为分类器使用的list格式
(3)分析数据:在Python命令提示符中检查数据,确保它符合要求。
(4)训练算法:此步骤不适用于k-近邻算法
(5)测试算法:编写函数使用提供的部分数据集作为测试样本,测试样本与非测试样本的区别在于测试样本是已经完成分类的数据,如果预测分类与实际分类不同,则标记为一个错误。
(6)使用算法:本例没有完成此步骤,若你感兴趣可以构建完整的应用程序,从图像中提取数字,并完成数字识别,美国的邮件分拣系统就是一个实际运行的类似系统。
2.3.1 准备数据:将图像转换为测试向量
实际图像存储在第2源代码的两个子目录内:目录trainingDigits中包含了大约2000个例子,每个例子的内容如图2-6所示,每个数字大约有200个样本;目录testDigits中包含了大约900个测试数据。我们使用目录trainingDigits中的数据训练分类器,使用目录testDigits中的数据测试分类器的效果。两组数据没有覆盖,你可以检查一下这些文件夹的文件是否符合要求。
为了使用前面的两个例子的分类器,我们必须将图像格式化处理为一个向量。我们将把一个32X32的二进制图像矩阵转化为1X1024的向量,这样前两节使用的分类器就可以处理数字图像信息了。我们首先编写一段函数img2vector,将图像转化为向量:该函数创建1X1024的NumPy数组,然后打开给定的文件,循环读出文件的前32行,并将每行的头32个字符值存储在NumPy数组中,最后返回数组。
def img2vector(filename):
returnVect=zeros((1,1024))
fr=open(filename)
for i in range(32):
lineStr=fr.readline()
for j in range(32):
returnVect[0,32*i+j]=int(lineStr[j])
return returnVect
将上述代码输入到kNN.py文件中,在Python中输入下列命令测试image2vector函数,然后与文本编辑器打开的文件比较:
testVector=img2vector('testDigits/0_13.txt')
print(testVector[0,0:31])
输出
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
print(testVector[0,31:62])
输出
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
2.3.2 测试算法:使用k-近邻算法识别手写数字
上节我们已经将数据处理成分类器可以识别的格式,本节我们将这些数据输入到分类器,检测分类器的执行效果。程序清单2-6所示的自包含函数handwritingClassTest()是测试分类器的代码,将其写入kNN.py文件中。在写入这些代码之前,我们必须确保将from os import listdir写入文件的起始部分,这段代码的主要功能是从os模块中导入函数listdir,他可以列出给定目录的文件名。
程序清单2-6 手写数字识别系统的测试代码
def handwritingClassTest():
hwLabels=[]
traingFileList=listdir('trainingDigits')#获取目录内容
m=len(traingFileList)
trainingMat=zeros((m,1024))
for i in range(m):
#从文件名解析分类数字
fileNameStr=traingFileList[i]
fileStr=fileNameStr.split('.')[0]
classNumStr=int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:]=img2vector('trainingDigits/%s'%fileNameStr)
testFileList=listdir('testDigits')
errorCount=0.0
mTest=len(testFileList)
for i in range(mTest):
fileNameStr=testFileList[i]
fileStr=fileNameStr.split('.')[0]
classNumStr=int(fileStr.split('_')[0])
vectorUnderTest=img2vector('testDigits/%s'%fileNameStr)
classifierResult=classify0(vectorUnderTest,trainingMat,hwLabels,3)
print('the classifier came back with:%d,the real answer is:%d'%(classifierResult,classNumStr))
if(classifierResult!=classNumStr):
errorCount+=1.0
print(fileNameStr)
print('\nthe total number of error is:%d'%errorCount)#\n换行\r回车\t横向跳到下一制表符位置
print('\nthe total error rate is:%d'%errorCount/float(mTest))
在程序清单2-6中,将trainingDigits目录中的文件内容存储在列表中,然后可以得到目录中有多少文件,并将其存储在变量m中。接着,代码创建一个m行1024列的训练矩阵,该矩阵的每行数据存储一个图像。我们可以从文件名中解析出分类的数字。该目录下的文件按照规则命名,如文件9_45.txt的分类是9,它是数字9的第45个实例。然后我们可以将类代码存储在hwLabels向量中,使用前面讨论的img2vector函数载入图像。在下一步中,我们对testDigits目录中的文件执行相似的操作,不同之处是我们并不将这个文件目录下的文件载入矩阵中,而是使用classify0()函数测试该目录下的每个文件。由于文件中的值已经在0和1之间,本节并不需要使用2.2节的autoNorm()函数。
在Python命令提示符中输入handwritingClassTest(),测试该函数的输出结果。依赖于机器速度,加载数据集可能需要花费很长时间,然后函数开始依次测试每个文件,输出结果如下所示:
handwritingClassTest()
输出
the classifier came back with:0,the real answer is:0
the classifier came back with:0,the real answer is:0
.
.
the classifier came back with:4,the real answer is:4
the classifier came back with:4,the real answer is:4
the classifier came back with:4,the real answer is:4
the classifier came back with:5,the real answer is:5
.
.
the classifier came back with:9,the real answer is:9
the classifier came back with:9,the real answer is:9
the total number of error is:10
the total error rate is:0.010571
k-近邻算法识别手写数字数据集,错误率为1.0%。改变变量k的值、修改函数handwritingClassTest随机选取训练样本、改变训练样本的数目,都会对k-近邻算法的错误率产生影响。
实际使用这个算法时,算法的执行效率并不高。因为算法需要为每个测试向量做2000次距离计算,每个距离计算包括了1024个维度浮点计算,总计要执行900次,此外,我们还需要为测试向量准备2MB的存储空间。是否存在一种算法减少存储空间和计算时间的开销呢?k-决策树就是k-近邻算法的优化版,可以节省大量的计算开销。
2.4 本章小结
k-近邻算法是分类数据最简单最有效的算法,本章通过两个例子讲述了如何使用k-近邻算法构造分类器。k-近邻算法是基于实例的学习,使用算法时我们必须有接近实际数据的训练样本数据。k-近邻算法必须保存全部数据集,如果训练数据集的很大,必须使用大量的存储空间。此外,由于必须对数据集中的每个数据计算距离值,实际使用时可能非常耗时。
k-近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息,因此我们也无法知晓平均实例样本和典型实例样本具体有什么特征。下一章我们将使用概率测量方法处理分类问题,该算法可以解决这个问题。
本章的所有源代码参考:https://github.com/mcttn1/machine-learning