lenet经典网络小白学习经验

从lenet入手学习网络结构，是因为lenet有卷积层有池化层有全连接层，麻雀虽小五脏俱全，故从lenet开始学习，弄懂各层的作用和参数个数比较有意义。
LeNet-5 [18]模型是 Yann LeCun 教授于 1998 年在论文《Gradientbased learning applied to document recognition》 [18]中提到的， 他是第一个成功应用于数字识别问题的卷积神经网络。 在MNIST 数据集上， LeNet-5 模型可以达到大约 99.2%的正确率。
LeNet-5 模型总共有 7 层， 图 2.9 展示了 LeNet-5 模型的框架。 在图中 C、 S、 F 分别代表的是卷积层、 下采样层、 全连接层， 字母后面跟着的数字表示的是层号
lenet网络结构图

LeNet-5 网络除去输入层， 共由七层堆叠而成， 其结构配置如下表 所示。 （ 不考虑 Pooling 层的参数情况）。
先介绍一个网络卷积后输出的图像尺寸公式为：

接下来介绍一下网络结构：
（ 1） 第一层： 卷积层。 这一层的输入就是原始的图像像素，LeNet-5 模型接受的输入层大小为32321。 第一个卷积层过滤器的尺寸为55， 卷积核数量为6， 不使用the same填充，步长stride为 1。 因为没有使用全 0 填充， 所以这一层的输出的尺寸改变了，为 32-5+1=28， 输出信道数量为6。 这一个卷积层总共有 5516 + 6 =156个参数， 其中 6 个为偏置项参数。 因为下一层的节点矩阵有 28286 = 4704个节点， 每个节点和55=25 个当前层节点相连， 所以本层卷积层总共有 28286(25 +1) =122304个链接计算，其中1为偏置项。
（ 2） 第二层： 池化层。 这里使用的是22的average pooling，这一层的输入为第一层的输出， 是一个 28286的节点矩阵。 本层采用的过滤器大小为 22， 长和宽的步长均为 2， 所以本层的输出矩阵大小为14146。其中average pooling的作用为滑动窗口下的22=4个像素大小的位置，取这四个位置的参数值做算数平均得到一个值，用来代表这四个位置，可以有效的减小图像尺寸，减少计算。
（ 3） 第三层： 卷积层。 本层的输入矩阵大小为14146， 使用的过滤器大小为55，卷积核个数为 16.本层且不使用全 0 填充， 步长为 1。 本层的输出矩阵大小为101016 。 按照标准的卷积层， 本层应该有55616 +16 = 2416 个参数， 101016(25 +1) = 41600次计算。
（ 4）第四层：池化层。 本层的输入矩阵大小为101016 ， 采用的过滤器大小为 22，步长为 2。 本层的输出矩阵大小为5516。
（ 5） 第五层： 卷积层。 本层的输入矩阵大小为5516， 在 LeNet-5 模型的论文中将这一层称为卷积层， 但是因为过滤器的大小就是55， 所以和全连接层没有区别。本层的卷积核有120个，输出节点个数为 120， 总共有5516120 +120=48120个参数（输入输出+偏置个数，是全连接层参数的计算方法）。
（ 6） 第六层： 全连接层。 本层的输入节点个数为 120 个， 输出节点个数为 84 个，总共参数为12084+84=10164个。
（ 7） 第七层： 全连接层。 本层的输入节点个数为 84 个， 输出节点个数为 10 个，总共参数为8410+10 =850个。全连接层的特点就是全连接，作用是输出和输入的每一个值之间都建立了联系。而卷积层和池化层主要的作用就是特征提取。
LeNet-5 网络的特点主要有以下几点：
1、 每个卷积层都包含卷积、 池化以及非线性
激活函数三个部分；
2、 LeNet-5 网络使用的是卷积提取空间特征；
3、 它的降采样(Subsample)层使用的是平均池化层(Average Pooling)；
4、 双曲正切(Tanh)或 S 型(Sigmoid)的激活函数 MLP 作为最后的分类器；
5、 LeNet-5 网络层与层之间的稀疏连接减少了计算的复杂程度