使用KNN对MNIST数据集进行实验

之前使用SVM对MNIST数据集进行了分类实验，得到了98.46%的分类正确率（见：使用libsvm对MNIST数据集进行实验）。

今天用python写了个小程序，来测试一下KNN的分类效果。

由于KNN的计算量太大，还没有使用KD-tree进行优化，所以对于60000训练集，10000测试集的数据计算比较慢。这里只是想测试观察一下KNN的效果而已，不调参。

K选择之前看过貌似最好不要超过20，因此，此处选择了K=10，距离为欧式距离。如果需要改进，可以再调整K来选择最好的成绩。

先跑了一遍不经过scale的，也就是直接使用像素灰度值来计算欧式距离进行比较。发现开始基本稳定在95%的正确率上，吓了一跳。因为本来觉得KNN算是没有怎么“学习”的机器学习算法了，猜测它的特点可能会是在任何情况下都可以用，但都表现的不是最好。所以估计在60%～80%都可以接受。没想到能基本稳定在95%上，确定算法和代码没什么问题后，突然觉得是不是这个数据集比较没挑战性。。。

去MNIST官网（http://yann.lecun.com/exdb/mnist/），上面挂了以该数据集为数据的算法的结果比较。查看了一下KNN，发现有好多，而且错误率基本都在5%以内，甚至能做到1%以内。唔。

跑的结果是，正确率：96.687%。也就是说，错误率error rate为3.31%左右。