KNN算法--手写识别

文章目录

• 前言
• 一、手写识别系统
• 二、主要代码
  • 1.引入库
  • 2.分类器代码：
  • 3.将图像转化为测试向量
  • 4.手写数字识别系统测试代码
• 总结

---

前言

        KNN算法的介绍在上篇文章中已经提及，详情请见KNN算法代码，本篇文章主要是关于简单的手写识别系统的代码。

一、手写识别系统

            本次构造的系统只能识别数字 0 到 9，参见于下面图像转化为测试向量中的例图‘0’。需要识别的数字已经使用图形处理软件，处理成具有相同的色彩和大小 1：宽高是 32 像素 x 32 像素的黑白图像。

             通过分类器即KNN算法，当有一定的样本数据和这些数据所属的分类后，输入一个测试数据，就可以根据算法得出该测试数据属于哪个类别，此处的类别为 0-9 十个数字，就是十个类别。

二、主要代码：

1.引入库

from numpy import *
from os import listdir
import operator

2.分类器代码：

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)#abc
    return sortedClassCount[0][0]

        上面是KNN算法的基础代码，通过欧式距离公式计算出点与点的距离（简单例子即为二元坐标系上两点距离计算），再选择离输入点距离最近的K个点，并将其排序，以达到分类器的效果，即通过距离最近的几个点的属性判断输入的点的属性为相似属性。

3.将图像转化为测试向量：

def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

        为了使用分类器，我们必须将图像格式化处理为一个向量。我们将把一个 32x32 的二进制图像矩阵转换为 1x1024 的向量，这样前两节使用的分类器就可以处理数字图像信息了。首先编写一段函数 img2vector，将图像转换为向量：该函数创建 1x1024 的 NumPy 数组，然后打开给定的文件，循环读出文件的前 32 行，并将每行的头 32 个字符值存储在 NumPy 数组中，最后返回数组。下图为一个二进制图像矩阵‘0’的例子（将0~9,10个数据的手写体图片转化成文本存储（图片像素颜色，黑色用数字1替代，白色用0替代，图片像素大小为32*32）)。

测试代码：

   testVector = img2vector('testDigits/0_13.txt')
    print(testVector[0, 0:31])

输出结果：

 

4.手写数字识别系统测试代码：

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')           
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]     
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')        
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))

        该代码通过调用分类器代码和图像转化代码从文件名中解析出分类数据（给出的文件名为该文本数据的真实数字），并比较比对出的相似数字与真实的数字是否相同，输出机器判断的数字与真实数字，最终得到机器判断的准确率。

测试代码：

if __name__ == '__main__':
    testVector = img2vector('testDigits/0_13.txt')
    print(testVector[0, 0:31])
    handwritingClassTest()

输出结果：

从结果中可以得到本次代码出错为10，总的错误率为1.0571%。

---

总结

        K 近邻算法是分类数据最简单有效的算法。K 近邻算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数据。但K 近邻算法必须保存全部数据集，如果训练数据集很大，必须使用大量的存储空间；此外，由于必须对数据集中的每个数据计算距离值实际使用是可能非常耗时。本次实验代码来源于《机器学习实战》。