基于深度学习的手写数字识别Matlab实现

1.网络设计

1.1 CNN（特征提取网络＋分类网络）
随着深度学习的迅猛发展，其应用也越来越广泛，特别是在视觉识别、语音识别和自然语言处理等很多领域都表现出色。卷积神经网络（Convolutional Neural Network，CNN）作为深度学习中应用最广泛的网络模型之一，也得到了越来越多的关注和研究。事实上，CNN作为一项经典的机器学习算法，早在20世纪80年代就已被提出并展开一定的研究。但是，在当时硬件运算能力有限、缺乏有效训练数据等因素的影响下，人们难以训练不产生过拟合情形下的高性能深度卷积神经网络模型。所以，当时CNN的一个经典应用场景就是用于识别银行支票上的手写数字，并且已实际应用。伴随着计算机硬件和大数据技术的不断进步，人们也尝试开发不同的方法来解决深度CNN训练中所遇到的困难，特别是Kizhesky 等专家提出了一种经典的CNN架构，论证了深度结构在特征提取问题上的潜力，并在图像识别任务上取得了重大突破，热起了深度结构研究的浪潮。而卷积神经网络作为一种已经存在的、有一定应用案例的深度结构，也重新回到人们的视野中，得以进一步研究和应用。
而本次实验就是基于CNN实现的。
1.1.1基本架构
卷积神经网络基本架构包括特征抽取器和分类器。特征抽取器通常由若干个卷积层和池化层叠加构成，卷积和池化过程不断将特征图缩小，同时会导致特征图数量的增多。特征抽取器后面一般连接分类器，通常由一个多层感知机构成。特别地，在最后一个特征抽取器后面，将所有的特征图展开并排列成一个向量得到特征向量，并作为后层分类器的输入。
1.1.2卷积层
卷积运算的基本操作是将卷积核与图像的对应区域进行卷积得到一个值，通过在图像上不断移动卷积核和来计算卷积值，进而完成对整幅图像的卷积运算。在卷积神经网络中，卷积层不仅涉及一般的图像卷积，还涉及深度和步长的概念。深度对应于同一个区域的神经元个数，即有几个卷积核对同一块区域进行卷积运算；步长对应于卷积核移动多少个像素，即前后距离的远近程度。
本次实验卷积层采用的是20个99的滤波器进行滤波，激活函数为ReLU函数。
1.1.2.1局部感知
人对外界的认知一般可以归纳为从局部到全局的过程，而图像的像素空间联系也是局部间的相关性强，远距离的相关性弱。因此，卷积神经网络的每个神经元实际上只需关注图像局部的感知，对图像全局的感知可通过更高层综合局部信息来获得，这也说明了卷积神经网络部分连通的思想。类似于生物学中的视觉系统结构，视觉皮层的神经元用于局部接收信息，即这些神经元只响应某些特定区域的刺激，呈现出部分连通的特点。
1.1.2.2参数共享
局部感知过程假设每个神经元都对应100个参数，共106个神经元，则参数共有100×106个，依然是一个很大的数字。如果这106个神经元的100个参数相等，那么参数个数就减少为100，即每个神经元用同样的卷积核执行卷积操作，这将大大降低运算量。因不论隐层的神经元个数有多少，两层间的连接只要100个参数，这也说明了参数共享的意义。
1.1.2.3多核卷积
如果10×10维数的卷积核都相同，那么只能提取图像的一种特征，局限性很明显。可以考虑通过增加卷积核来提高特征类别，例如选择16个不同的卷积核用于学习16种特征。其中，应用卷积核到图像执行卷积操作，可得到图像的不同特征，统称为特征图（Feature Map），所以16个不同的卷积核就有16个特征图，可以视作图像的不同通道。此时，卷积层包含10×10×16=1600个参数。
1.1.3池化层
从理论上来看，经卷积层得到特征集合，可直接用于训练分类器（例如经典的Softmax分类器），但这往往会带来巨大计算量的问题。通过计算图像局部区域上的某特定特征的平均值或最大值等来计算概要统计特征。这些概要统计特征相对于经卷积层计算得到的特征图，不仅达到了降维目的，同时还会提高调练效率，这种特征聚合的操作叫作池化（Pooling），本次实验采用的是22的平均池化。
1.1.4 特征提取网络
使用reshape函数将特征提取网络的矩阵转换为200