卷积神经网络与LeNet的应用——MNIST手写数字识别

1. 神经网络三要素

1. 模型结构，eg: 深度学习的网络结构(DLNet)。
2. 测试数据，寻找到合适的数据集即可。
3. 误差调整（损失函数），eg: Relu(校正的线性单元)、PRelu(前面的改进版)。两个函数都可减少sigmod函数导致的水波现象。

2. 卷积神经网络

卷积神经网络（Convolutional Neural Network,CNN），在此简单的介绍一下 自己的理解。卷积神经网络与普通神经网络的区别在于：

卷积神经网络比神经网络多包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。

在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。 以上就是卷积神经网络的简单介绍。

（图片来源于网络）
在CNN的前几层中，每一层的节点都被组织成一个三维矩阵。比如处理 Cifar-10数据集中的图片时，可以将输入层组织成一个32323的三维矩阵。图中虚线部分展示了卷积神经网络的一个连接示意图，从图中可以看出卷积神经网络中前几层中每一个节点只和上一层中部分的节点相连。一个卷积神经网络主要由以下5种结构组成：

   1. 输入层
   输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵。比如在上图中，最左侧的三维矩阵就可以代表一张图片。其中三维矩阵的长和宽代表了图像的大小，而三维矩阵的深度代表了图像的色彩通道 (channel)。比如黑白图片的深度为1，而在RGB色彩模式下，图像的深度为3。从输入层开始，卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转化为下一层的三维矩阵，直到最后的全连接层。
   2. 卷积层
  从名字就可以看出，卷积层是一个卷积神经网络中最为重要的部分。和传统全连接层不同，卷积层中每一个节点的输入只是上一层神经网络的一小块，这个小块常用的大小有3*3或者5*5。卷积层试图将神经网络中的每一小块进行更加深入地分析从而得到抽象程度更高的特征。一般来说，通过卷积层处理过的节点矩阵会变得更深，所以在上图中可以看到经过卷积层之后的节点矩阵的深度会增加。
   3. 池化层
   池化层神经网络不会改变三维矩阵的深度，但是它可以缩小矩阵的大小。池化操作可以认为是将一张分辨率较高的图片转化为分辨率较低的图片。通过池化层，可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。
  4. 全连接层
   在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后一般会是由1到2个全连接层来给出最后的分类结果。经过几轮卷积层和池化层 的处理之后，可以认为图像中的信息己经被抽象成了信息含量更高的特征。我们可以将卷积层和池化层看成自动图像特征提取的过程。在特征提取完成之后，仍然需要使用全连接层来完成分类任务。
  5. Softmax层
   Softmax层主要用于分类问题。通过Softmax 层，可以得到当前样例属于不同种类的概率分布情况。

当我们的图片（黑白图片厚度为1 ，彩色图片厚度为3）输入到神经网络后，我门会通过卷积神经网络将图片的长和宽进行压缩，然后把厚度增加。最后就变成了一个长宽很小，厚度很高的像素块。然后结果放入普通的神经网络中处理，最后链接一个分类器，从而分辨出图片是什么。

（图片来源于网络）

3. LeNet字符识别网络

LeNet模型是 Yann LeCun 教授于 1998年在论文 Gradient-based learning applied to document中提出的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据集上，LeNet模型可以达到大约99.2%的正确率。LeNet模型总共有7层，下图展示了LeNet模型的架构：

（图片