网络结构1——LeNet

网络结构1——LeNet

参考文章：gradient- based learning applied to document recognition

LeNet-5算法应用于手写数字识别问题

创新点

1. 卷积神经网络专门设计用来处理二维形状变化，表现优于其他所有技术。利用反向传播算法训练的多层神经网络构成了一种成功的基于梯度的学习技术，在适当的网络结构下，基于梯度的学习算法可以用来合成一个复杂的曲面，该曲面可以用最少的预处理对高维模式进行分类。
2. 文档识别系统由多个模块组成，包括字段提取、分割识别和语言建模。提出了新的学习范式称为图变网络（GTN），它允许使用基于梯度的方法对这种多模块系统进行全局训练，从而最小化总体性能度量。
3. 传统的模式识别模型中，手工设计的特征提取器从输入中收集相关信息并消除不相关的变量，可训练的分类器将得到的特征向量分类成类，标准的，完全连接的多层网络可以用作分类器。

 

使用的数据集及结果

数据库是修改后的NIST集（MNIST），由NIST专用数据库3和专用数据库1构建的，包含了手写数字的二值图像。有60000个完整的训练样本。

 

网络结构

卷积网络结合了三种架构思想，以确保一定程度的移位、缩放和失真不变性：局部感受野、共享权重以及空间或时间子采样

卷积网络

输入：接收近似大小标准化和居中的字符图像。一个层中的每个单元接收来自前一层的小领域中的一组单元的输入。每个单元有25个输入连接到输入的5*5区域，称为单位的感受野。

第一个隐藏层中的单元被组织在6个平面中，每个平面都是一个要素图。每个单元有25个输入，因此有25个可训练的系数加上一个可训练的偏差。特征图中相邻单位的感受野集中在前一层中相应的相邻单位上，因此相邻单位的感受野重叠。（水平相邻单元的感受野重叠4列5行）

要素地图中的所有单元共享相同的25个权重和相同的偏差，从而在输入的所有可能位置检测到相同的要素，图层中的其他要素地图使用不同的权重和偏差集，从而提取不同类型的局部要素。

在LeNet-5中，在六个特征地图的相同位置，在每个输入位置由六个单元提取六种不同类型的特征。特征图的顺序实现将利用具有局部感受野的单个单元扫描输入图像，并将该单元的状态存储到特征图中的相应位置。这种运算相当于卷积，后面是加性偏置和压缩函数，因此被称为卷积网络。

卷积的核心是由特征图中的单元使用的一组连接权重。卷积层如果输入图像被移动，特征图输出将被移动相同的量，否则保持不变，这一特性是卷积网络对输入偏移和失真鲁棒的基础。

 

识别字符的典型卷积网络——LeNet-5

 

卷积层Cx, 子采样层Sx，全联通层Fx

1. C1是一个卷积层，有6个特征映射。每个要素图中的每个单元都连接到输入中的5*5邻域，要素图大小为28*28，防止输入连接脱离边界。
2. S2是一个子采样层，具有6个大小为14*14的要素地图。每个要素地图中的每个单元都连接到C1相应要素地图中的2*2邻域。将S2一个单位的四个输入相加，然后乘一个可训练系数，再加一个可训练偏差。结果通过一个sigma函数传递。2*2感受野是非重叠的，因此S2的feature map的行数和列数只有C1的一半。
3. C3是一个卷积图层，有16个要素地图。每个要素地图中的每个单元都连接到S2要素地图子集内相同位置的几个5*5邻域
4. S4是一个子采样图层，具有16个大小为5*5的要素地图，每个feature map中的每个单元都连接到C3相应要素地图中的2*2邻域。
5. C5是具有120个特征图的卷积层，每个单元都连接到S4所有16幅要素地图上的5*5邻域。