基础网络学习

1. LeNet-5

如下图所示，Le-Net共有7层（不包括输入层），包含卷积层，下采样层（池化层）和全连接层。其输入图像的大小为32*32

• C1：卷积层

  C1层利用6个5*5的卷积核生成6个特征图。其步长为1且不使用扩充值，因此卷积后的特征图的尺寸为 28 * 28。一个卷积核的训练参数为$5\times 5+1=26$，其中一个偏置参数。整个C1层的可训练参数为$(5\times 5+1)\times 6=156$

• S2:下采样层

  下采样层主要对特征进行降维处理，效果与池化相同（池化没有权重）。S2层使用$2\times 2$的滤波器池化C1层的特征图，因此将生成6个尺寸为$14\times 14$的特征图。在计算时，将滤波器中的4个值相加，然后乘以可训练权值参数w，加上偏置参数，最后通过sigmoid函数形成新的值。 S2层的每个特征图都有两个训练参数$2\times 6=12$

• C3:卷积层

  C3层有16个大小为$5\times 5$的卷积核，步长为1，且不填充边界。C3层将S2层中6个$14\times 14$的特征图卷积成16个$10\times 10$的特征图。注意C3层的卷积核和S2层的特征图并不是全连接（正常一个卷积核的输入通道为上一层的输出通道，这里为6；卷积核的输出通道是最终卷积层的特征图的数量。但是在LeNet-5中，一个卷积核的输入通道并不是，前一层的输出通道数，而变成了3，具体匹配的方式如下图）

如上图所示，3个特征图一组的有6个，4个特征图一组的有9个，6个特张图一组有1个，所以参C3层的参数为：

$(5\times 5\times 3+1)\times 6+(5\times 5\times 4+1)\times 9+(5\times 5\times 6+1)=1516$。作者这么做的目的是为了生成的特征图有所区别

• S4：下采样层

  S4层的滤波器和S2层的滤波器相似，也是$2\times 2$的，S4池化以后，不会改变特征图 的通道数，仍然输出16个$5\times 5$的特征图。S4的参数为：$2\times 16=32$

• C5:卷积层

  C5层有120个$5\times 5$的卷积核，将产生120个$1\times 1$的特征图。参数个数为：$(5\times 5\times 16+1)\times 120=48120$

• F6:全连接层

  F6层有84个单元，单元的个数与输出层的设计有关。该层作为典型的神经网络层，每一个单元都计算输入向量与权值参数的点积并加上偏置参数，然后传给sigmoid函数，产生该单元的一个状态并传到输出层。在这里将输出作为输出层中的径向基函数的初始参数，用于识别完整的ASCII字符集。C5层有120个单元，F6层有84个单元，每个单元都将容纳120单元的计算结果，因此F6层的参数为$(120+1)\times 84=10164$

  $$y_i=\sum _j(x_j-w_{ij}{)}^2$$

• OUTPUT:输出层

  OUTPUT是全连接层，共有10个的那元，代表数字0-9.利用径向基函数，将F6的84个单元的输出作为节点i（i的取值为0-9）的输入$x_j$(j的取值为0-83)，计算欧式距离$y_{}$