Lenet-5网络结构

第一层：输入层32x32（28x28）大小的图像。明显特征能够出现在最高层特征监测子感受野的中心。（笔画断续、角点）

第二层：C1，卷积层。原始信号特征增强，降低噪音，不同的卷积核能够提取到不同的图像特征。

feature map个数：6个 32 * 32

conv kernel大小：5 * 5

神经元个数：(32 - 5 + 1) * (32 - 5 + 1) = 28 * 28

训练参数个数： (5 * 5 + 1) * 6 = 156

连接数： (5 * 5 + 1)* (28 * 28) * 6 = 122304

第三层：S2，下采样层。降低网络训练参数和模型的过拟合程度。两种方法：均值、最大值。

feature map个数：6个14 * 14，与C1中的2 * 2的区域相连。

神经元计算：sigmoid (2 * 2 的输入相加 * 一个训练参数 + 该feature map的bias)

神经元个数：14 * 14

训练参数个数： 2 * 6 = 12

连接数：(2 * 2 + 1) * (14 * 14) * 6 = 5880

第四层：C3，卷积层。

conv kernel大小：5 * 5

feature map个数：16个14 * 14

神经元个数： (14 - 5 + 1) * (14 - 5 + 1) = 10 * 10

该层feature map是由上一层的各feature map的不同组合而成的，所以训练参数为：

(5 * 5 * 3 + 1) * 6 + (5 * 5 * 4 + 1) * 9 + (5 * 5 * 6 + 1) * 1 = 1516

连接数：1516 * 10 * 10 = 151600

第五层：S4，下采样层。

feature map个数：16个5 * 5， 与C3中对应的feature map的2 * 2大小的区域相连。
训练参数个数： 2 * 16 = 32
连接数： (2 * 2 + 1) * (5 * 5) * 16 = 2000

第六层：C5，卷积层。

feature map个数：120个5 * 5

conv kernel： 5 * 5

神经元个数：(5 - 5 + 1) * (5 - 5 + 1) = 1

训练参数个数：(5 * 5 * 16 + 1) * 120 = 48120

连接数： 48120 * 1 = 48120

第七层：F6，全连接层。

feature map个数：84

神经元：每个feature map只有一个神经元与C5层全连接

连接数与参数个数：（1 * 1 * 120 + 1）* 84 = 10164

计算输入向量和权重向量之间的点积和偏置，之后将其传递给sigmoid函数来计算神经元。

第八层：输出层。10个节点。

84 * 10个设定参数和连接。

如果节点 i 的值为0，则识别的内容为 i 。

采用RBF。