LeNet-5卷积神经网络参数介绍

随着时间的推移，计算机视觉的魅力不断展现，包括各类模型我们都可以直接进行网上下载，但是往往我们就会忽略了模型的一些细节所在，正好在课程学习中老师提及这块内容，我觉得很有必要记录下来给大家借鉴学习，借此我将针对LeNet-5这个第一个卷积神经网络进行相关介绍。

【相关论文可查阅：

Y. Lecun, L. Bottou, Y. Bengio and P. Haffner, "Gradient-based learning applied to

document recognition," in Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324,

Nov. 1998】

CNN基本网络：

输入层、卷积层、激活层、池化层、全连接层

图1：数字识别

                                                                  图2：LeNet-5基本结构

 

• 输入层 INPUT

输入 32 × 32 × 1 的图像

• C1 ：卷积层

（ 1 ）特征图大小：使用 6 个尺寸为 5 × 5 的滤波器，在卷积的过程中不做边缘填充，步长

为 stride=1 。单个核的卷积输出大小为 (32−5+1) × (32−5+1)=28 × 28 。由于有 6 个卷积核，

所以整个卷积层输出得到为 Feature Map 为 28 × 28 × 6 。

（2 ）参数个数：由于参数（权值）共享的原因，对于同个卷积核每个神经元均使用相同

的参数，因此，参数个数为（5× 5+1 ）× 6= 156 ，其中 5 × 5 为卷积核参数， 1 为偏置参数。

（3 ）连接数： (5 × 5+1) × 28 × 28 × 6=122304 。在卷积层，每个输出的 28 × 28 的

Feature Map ，都和一个 5 × 5 卷积核相连。每个卷积核都有一个偏置。

 

• S2：下采样层、池化层 【特征降维、局部平移不变性】

（ 1 ）特征图大小：池化单元为 2 × 2 ，池化单元之间没有重叠，在池化区域内进行聚合统

计后得到新的特征值，因此经 2 × 2 池化后，每两行两列重新算出一个特征值出来，相当

于图像大小减半，因此卷积后的 28 × 28 图像经 2 × 2 池化后就变为 14 × 14 。这一层的计算

过程是： 2 × 2 单元里的值相加，然后再乘以训练参数 w ，再加上一个偏置参数 b （每一个

特征图共享相同的 w 和 b) ，然后取 sigmoid 值（ S 函数： 0-1 区间），作为对应的该单元的

值

（2）参数个数： S2 层由于每个特征图都共享相同的 w 和 b 这两个参数，因此需要 2 × 6=12

个参数。

（3）连接数：下采样之后的图像大小为 14 × 14 ，因此 S2 层的每个特征图有 14 × 14 个神

经元，每个池化单元连接数为 2 × 2+1 （ 1 为偏置量），因此，该层的连接数为（2× 2+1) ×14 × 14 × 6 = 5880

• C3 ：卷积层

（ 1 ）特征图大小： C3 层有 16 个特征图， 60 个卷积核，卷积模板大小为 5 × 5 。与 C1 层的

分析类似， C3 层的特征图大小为（ 14-5+1 ）×（ 14-5+1 ） = 10 × 10 。

 

（2）参数个数： C3 与 S2 并不是全连接而是部分连接，有些是 C3 连接到 S2 三层、有些四

层、甚至达到 6 层。一是可以减少连接个数，二是打破网络的对称结构，提取不同特征。

计算过程为：用 3 个卷积模板分别与 S2 层的 3 个 feature maps 进行卷积，然后将卷积的结

果相加求和，再加上一个偏置，再取 sigmoid 得出卷积后对应的 feature map 了。参数：

（5× 5 × 3+1 ）× 6 + （5× 5 × 4+1 ）× 9 + （5× 5 × 6+1 ） = 1516

（3）连接数：卷积后的特征图大小为 10 × 10 ，参数数量为 1516 ，因此连接数为

1516 × 10 × 10= 151600

• S4 ：池化层

（ 1 ）特征图大小：与 S2 的分析类似，池化单元大小为 2 × 2 ，因此，该层与 C3 一样共有

16 个特征图，每个特征图的大小为 5 × 5 。

（2）参数个数：与 S2 的计算类似，所需要参数个数为 16 × 2 = 32

（3）连接数：连接数为（2× 2+1 ）× 5 × 5 × 16 = 2000

• C5 ：卷积层

（ 1 ）特征图大小：该层有 120 个特征图，每个卷积核的大小仍为 5 × 5 ，因此有 120 个特征

图。 C5 的每个特征图与 S4 的 16 个特征图全部相连。特征图大小为（5-5+1）×（5-5+1） = 1× 1 。

（2）参数个数：本层的参数数目为 120 ×（5× 5 × 16+1 ） = 48120

（3）连接数：由于该层的特征图大小刚好为 1 × 1 ，因此连接数为 48120 × 1 × 1=48120

注意：该层刚好变成了全连接，这只是巧合，如果原始输入的图像比较大，则该层就不是

全连接了。所以依然称为卷积层.

• F6 ：全连接层

（ 1 ）特征图大小： F6 层有 84 个单元，之所以选这个数字的原因是来自于输出层的设计，

对应于一个 7 × 12 的比特图。 0 表示白色， 1 表示黑色，这样每个符号的比特图的黑白色就

对应于一个编码。该层有 84 个特征图，特征图大小与 C5 一样都是 1 × 1 ，与 C5 层全连接。

（2）参数个数：由于是全连接，参数数量为（ 120+1 ）× 84=10164

（3）连接数：由于是全连接，连接数与参数数量一样，也是 10164

• OUTPUT ：输出层

（ 1 ）特征图大小： Output 层也是全连接层，共有 10 个节点，分别代表数字 0 到 9 。如果第 i

个节点的值为 0 ，则表示网络识别的结果是数字 i 。

（2）参数个数：由于是全连接，参数个数为 84 × 10=840

（3）连接数：由于是全连接，连接数与参数个数一样，也是 840