LeNet-5结构和参数详解

LeNet5是最经典的卷积神经网络，其意义十分重大，好像是最早的（1989）的神经网络，其在minist手写识别上面的效果卓越，但是由于存在深度和网络训练上的难度，CNN在大规模图像上效果不好，比如像素很多的自然图片内容理解，所以没有得到计算机视觉领域的足够重视。近几年的CNN井喷式发展，得益于包括算法的提升，比如dropout等防止过拟合技术，但最重要的是，GPU带来的计算能力提升和更多的训练数据。但是了解其结构和各个层的参数对于个人了解CNN的机制还是十分有益的，所以这篇就从各层的参数个数，神经元个数，连接数等方面对LeNet-5作详细的剖析：
LeNet-5的结构如下图：



C1：为卷积层，输入为32*32的灰度图，只有一个通道,，用5*5的卷积核卷积，深度为1，共有6个卷积核，生成的feature map个数为6。采用无填充的卷积，故生成的feature map的大小为28*28（32-5+1）。
输入：32*32*1
卷积核：5*5*1
卷积核个数：6
神经元个数：28*28*6
（一个神经元感知输入的5*5的区域，输出一个feature map上的一个点，故神经元的根数就是feature map的特征点数）

卷积核参数：(5*5+1)*6
（卷积核大小5，每个卷积核还有一个偏置bias，故+1,6个卷积核）

连接数：(5*5+1)*6*28*28
(卷积核的偏置bias也有一个连接（和输入1连接，故第一个括号+1），卷积核个数6，28*28个神经元（即卷积核参数相同，可以看成同一个卷积核作了28*28次卷积）)

S2:下采样层或者pooling层，使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。对原始特征信号进行抽象，从而大幅度减少训练参数，另外还可以减轻模型过拟合的程度。这里激活函数放在pooling层后面，理论上pooling前后都可以，但在个人实践中，放在后面训练效果更佳。

输入：28*28*6
采样区域：2*2
采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid激活函数
输出featureMap大小：14*14*6 （28/2）
神经元数量：14*14*6
可训练参数：2*6（和的权+偏置）
连接数：（2*2+1）*6*14*14

C3：卷积层，当前层的每一个feature map是其输入的几层或者全部feature map的组合，这里的组合方式是：C3的前6个特征图以S2中3个相邻的特征图子集为输入（只选一次6个中3个相邻的特征图）。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。
输入：S2的6个或者几个特征图的组合（怎么选择呢？）
卷积核：5*5*n(n视具体的输入待定，这里有3,4,6三个取值)

训练参数为：6*(3*5*5+1)+6*(4*5*5+1)+3*(4*5*5+1)+(6*5*5+1)=1516

神经元个数：10*10*6

连接数：1516*10*10*6

S4：下采样层，原理同S2
输入：10*10*16

采样区域：2*2

采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid

采样种类：16

输出featureMap大小：5*5（10/2）

神经元数量：5*5*16=400

可训练参数：2*16=32（和的权+偏置）

连接数：16*（2*2+1）*5*5=2000

C5：卷积层
输入：5*5*16
卷积核：5*5*16（全连接）
卷积核个数：120
输出：1*1*120
参数、连接个数：120*（5*5*16+1）

F6：全连接层
输出：1*1*120（向量）
计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数
可训练参数：84*(120+1)=10164

为什么F6神经元是84维 ？

原文是用于手写字识别，手写字范围为0-9共有10个字符，因此输出OUTPUT层的节点共10个，可以把每个字符格式化为12*7的图像，如上图，共有84个像元，像元的参数成分（即像素值）可以设为1和-1，此时C5到F6是通过sigmod函数计算的，因此F6节点的值范围为-1到1，因此可以根据F6节点的值$x_i$和格式化图像（参数向量）的值$w_{ij}$距离，来判断输入图像的类别，即通过径向基函数：

$$\sum_{j}(x_j-w_{ij})^2$$

输入离参数向量越远，RBF输出的越大。