Lenet-5网络架构解析

lenet网络作为深度学习卷积网络的开山之作，在学习卷积神经网络的时候首先了解lenet的网络对于今后的学习是有很必要的。话不多说，下面就让我们开始吧。

Lenet网络架构

虽说网上解析的lenet网络的架构的文章很多，但是只有看过了原论文之后才知道网上的解析与论文中实际的网络架构是有很大的差距的。下面就我看的原论文进行一次解析吧。
blog.csdnimg.cn/6fcaa40d32b94dbc8a127571cae219b2.png)

首先要看的就是论文中的lenet网络架构的原图，下面我就介绍一下该网络的详细架构：
这个网络共有七层，在下文中，卷积层被标记为Cx，子采样层标记为Sx，全连接层被标记为Fx，其中x是层索引

数据集

该网络的数据集使用的是mnist数据集,原始的图像大小为2828，在输入之前进行了padding，所以输入到网络之中的图像大小为3232。这样做的原因是希望图像中的数字的边缘信息能够出现在特征图的中央位置。换句话说就是防止边缘信息的丢失。然后就是对输入图像的像素值进行的归一化，论文中它使背景像素值为-0.1，数字的像素值为1.175。这样使输入图像的均值和方差大概分别为0和1。这里想要和大家说的是一个模型性能的好坏不仅仅取决于好的网络模型架构，还要多注意对数据的预处理。

C1层

卷积核大小	5*5
步长	1
卷积核个数	6
输出特征图大小	28*28

在卷积之后是要加上一个可训练的偏置，一般情况在卷积之后都会紧接着跟着激活函数但是在原论文中却没有提及。

S2层

这一层是子采样层，使用的是一个22的卷积核，但是这个卷积核是没有权重参数的，它只是让输入卷积核的四个参数进行相加，然后乘上一个可训练的参数，再加上一个可训练的偏置。然后通过Sigmoid激活函数。输出后的特征图大小为1414，输出通道为6。
可能有很多的文章直接说这是最大或平均池化层，但是这里确实并不是我们现在常说的最大或平均池化层，但是该层的思想和效果应该是和最大或平均池化层相似的。其他的文章在介绍的时候可能会说这里是最大池化层，但根据我对论文的理解这里应该是平均池化层更为合适。

C3层

卷积核大小	5*5
步长	1
卷积核个数	16
输出特征图大小	10*10
但是该层的卷积方式与平常的卷积方式不同，它采用的方式是部分连接

连接方式如图：

垂直方向的数字代表的是C3层输入的特征图索引，水平方向数字代表的是C3层卷积核的索引。X代表的是每一个卷积核要卷积的特征图。
Lenet这样做的论文中给出了两个解释：首先，卷积核与特征图的非完全连接将连接数保持在合理的范围内（这听起来和分组卷积很类似，本人觉得分组卷积应该是受了lenet的启发，没有看过分组卷积的相关论文以上只是自己的猜测）。更重要的是，它迫使网络中的对称性被打破。因为卷积核得到了不同的特征图，这样就使不同的特征图被迫提取不同的特征。
想来lenet这样的做法应该没有太大的作用，因为如今的网络很少看到这种模式的出现。

S4层

与S2层相同，S4使用的是一个22的卷积核，同样没有权重参数的，让输入卷积核的四个参数进行相加，然后乘上一个可训练的参数，再加上一个可训练的偏置。输出后的特征图大小为55，输出通道为6
在原论文中这一层没有提到激活函数，大概率可能是不需要激活函数吧，但本人认为这里还是加上Sigmoid激活函数比较好。

C5层

卷积核大小	5*5
步长	1
卷积核个数	120
输出特征图大小	1*1
很是巧合特征图变为了1*1，这就相当于是将特征图进行了展平操作，但又不象直接的将二维展为一维那般粗暴，这个过程保留了图像中的空间信息。自然的由卷积向全连接进行了过渡。

F6层

该全连接层由84个神经元组成，然后通过tanh激活函数。该激活函数如下：
F(a)=Atanh（Sa）
其中a是输入的特征图，A是1.7159，将输出的范围扩大。S论文中说的是一种斜率，但是本人不明白这种斜率代表的含义，如果有知道的小伙伴可以在评论区解释一下吗？

输出层

最后为输出层由10个神经元组成。但是这里的神经元之间的参数都是经过人工设计的1或-1，但随着模型的训练是可以改变的。并且这一层的计算公式为：
$y_i$ = ${\sum }_1^j(x_j-w_{ij}{)}^2$
可以看出采用的是均方误差

损失函数

$E(W)$ = 1/P${\sum }_1^P{y}_{D_p}(Z^p,W)$
这里的 y D p y_{D_p}