手写数字识别研究综述

MNIST数据集

目前手写数字最好的数据来源是MNIST，它由60000个训练集和10000个测试集组成。

其中每个数字是28x28的一幅灰度图，每个手写数字都被归一化到20x20的框内(并非每个数字都被拉伸为20x20，只是保持之前手写的比例将其缩放到20x20的框内)，每个数字都被放到了28x28的图像中央。

研究进展

从1998年到目前为止，发表了很多关于MNIST手写数字识别的论文。从这里也能看到这个领域的研究进展。’识别率’是衡量识别方法优劣的唯一指标（因为数据集很小，不存在识别效率的PK）。

可以看出，在线性分类器，KNN，SVM，NN和CNN中，目前识别率最高的模型是CNN。

且针对MNIST数据集，没有特征提取方面的银弹。直接用LeNet-5结构的CNN，就能得到比较好的结果。

提高识别率的方法

CNN本身就避免了特征提取的麻烦（卷基层做的事就是提取特征，所以不需要人工在去对图片提取特征了）。所以有下面一些玩法来提高识别率。

• CNN的结构/参数优化：比如LeNet-4，LeNet-5，还有 1-20-P-40-P-150-10
• 扩大训练集：将图像做畸变，让机器看更多的长得不一样的同一个数字
  
  • zoom
  • rotate
  • vertical and horizon scale
  • Elastic deformation
• Ensemble
  
  • 不同畸变图像训练的模型结果平均
  • 对输入数据也畸变后，再送入畸变图像训练的模型
  • 不同模型的结果平均
  • 相同模型不同参数的结果平均

infinite MNIST 数据集

infi-MNIST将MNIST的60000个训练集通过伪随机变换（具体见[3]的论文）扩大了180倍。这也是一种增加训练集的方法。但是，这个数据集生成的变换向量是固定的，它仅仅对数字顺序固定了的MNIST数据集有效。不能直接用[3]中给出的命令来扩大自己的数据集。

用CNN时需要注意

• keras的CNN需要将输入数据归一化为0~1之间的浮点数
• 优化器直接用Adam(到目前为止最好的选择)[2]
• L2 (5e-4) 和 dropout(0.5) 可以避免overfitting

参考

• [1] MNIST主页，http://yann.lecun.com/exdb/mnist/
• [2] 神经网络优化算法选择, http://blog.csdn.net/ybdesire/article/details/51792925
• [3] infinite MNIST dataset, http://leon.bottou.org/projects/infimnist