使用k-近邻算法识别手写数字。

在之前的文章中介绍了k-近邻算法的原理知识并且用Python实现了一个分类器，而且完成了一个简单的优化约会网站配对效果的实例。在《机器学习实战》中有关kNN的后一部分内容就是一个手写识别系统，可以识别手写的0-9的数字。下面就基于这一章的内容完成这样一个手写数字识别系统。

---

案例的描述以及流程介绍。

既然我们明白了kNN算法是根据计算新数据和样本数据集之间的距离，然后找到距离最小的样本的分类作为新数据的分类。所以我们也需要考虑如何计算0-9之间这十个数字的距离。首先书中已经提供了0-9数字的样本集，每个数字提供了大概200左右的样本，在trainingDigits目录下。

比如其中的0_0.txt就是数字0的第一个样本，又比如9_45.txt就是数字9的第45个实例，数字样本采用的是32*32文本存储方式：

比如：0_0.txt，从图中也能看出来像数字0。

但是提供的有些数据集并不是日常所见的数字写法，比如数字7：

由于我们后续需要计算的距离就是根据这些0和1的排列方式计算的，所以类似数字7这种写法差异的话，最后分类结果也可能有差异。如果可能的话，自己也是可以根据自己的书写习惯写样本集，然后将其转换为32*32文本存放，这样一来分类结果肯定要比这种的好一点。

至于如何将图片转换为32*32数组，可以参考之前的文章：手写数字图片二值化转换为32*32数组。

在本次案例中kNN算法的使用流程：

1. 收集数据：提供文本文件。
2. 准备数据：自己提供的32*32数组。
3. 分析数据：查看数据，确保符合要求。
4. 训练算法：此步骤不适用于k-近邻算法。
5. 测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
6. 使用算法：将一个图片作为输入数据，然后使用分类器进行分类得到结果。

---

准备数据：将图像转换为测试向量。

上面已经介绍了本次的样本集是一个32*32的数组，为了使用前面的分类器，我们必须将这个32*32的数组转换为一个1*1024的向量。首先编写一个img2vector的函数，传入一个样本数据的文件名，可以将这个文件中的32*32数组转换为一个1*1024的向量。

def img2vector(filename):
    """
    将32*32的图像矩阵转化为1*1024的向量
    :param filename: 文件名
    :return:
    """</