深度学习： 经典LeNet-5卷积神经网络

LeNet-5

LeNet是最早被提出的卷积神经网络，由Yann设计的用于识别手写和机器人打印字符的卷积神经网络。LeNet-5共有七层，包含卷积层、下采样层（池化层）、和全连接层，输入图像的大小为32*32。

1.卷积层
卷积层对输入的图像进行特征提取，利用6个55的卷积核生成6个特征图。其步长为1且扩充值为0，因此卷积后的特征图尺寸为2828，此处有卷积计算公式（输出维度=（输入维度-卷积核维度+2扩充值）/卷积核的步长）。一个卷积核可以拥有的可训练参数为55+1=26，其中1为偏置参数（相当于神经元的偏置 b）。则整个卷积层的可训练参数的个数为26*6=156。

2.下采样层（池化层）
这一层主要是对特征图进行降维处理，效果与池化相同。这一层采用22的滤波器池化卷积层（相当于在22的网格中选择一个值来代替），因此会生成6个14*14的特征图。在计算时，将滤波器中的4个值相加，然后乘以可训练的权重参数w，加上偏置参数b，最后来通过sigmoid函数来激活生成新的值。
每个特征图都应该有两个可训练参数，权重w和偏置参数b，则总共的可训练参数为12个。

3.卷积层
这一层有数个大小为5*5的卷积核（数量根据连接的方式来确定），步长为1，且无扩充值，将之前的6个特征图生成16个特征图。用三个卷积核分别与0，1，2特征图进行卷积操作，然后与卷积结果相在加上一个偏置值，然后通过sigmoid激活函数得出卷积后对应的特征图。连接方式如下图所示
横轴代表着16个输出特征图，纵轴代表着6张输入特征图。 LeNet希望通过不同的卷积核与特征图的结合生成不同的特征图。

4.下采样层（池化层）
这一层的与第二层的下采样层相类似，也是22的，则将生成16个55的特征图，参数个数为2*16=32个

5.卷积层

这一层有数个55的卷积核，将生成120个11的特征图，因为此层是全连接的，则可训练参数为 16*120（卷积核数量）55+120（偏置参数）=48120。

6.全连接层

这一层有84个单元，单元的个数与输出层的设计有关。这是典型的神经网络层，每一个单元都计算输入向量与权值参数的点积并加上偏置参数，然后传给sigmiod函数，并传递到输出层。每个单元都将容纳上一层120个特征图的信息，每个单元的偏置参数b只有一个。所以此层的参数个数为120*84+84=10164.

7.output 输出层
这一层是全连接层，有10个单元，代表数字0-9利用径向基函数，将上一层的84个单元的输出作为节点i（i的取值为0-9）的输入Xj（j的取值为0-83），计算欧式距离Yi。距离越近就代表识别的样本越符合该节点所代表的字符。该层参数为84*10=840个。
Yi=求j项和（Xj-Wij）^2