LeNet-5网络

目录

1.输入层

2.C1层—— 卷积层

3.S2层——池化层（降采样层）

4.C3层——卷积层

4.S4层——池化层（降采样层）

5.C5层——卷积层

6.F6层——全连接层

7.输出层——全连接层

---

 

1.输入层

输入图像的尺寸统一归一化为32x32

本层不算LeNet-5网络结构

2.C1层—— 卷积层

输入图片：32x32

卷积核大小：5x5

卷积核种类：6

输出特征图大小：28x28（（32-5）/1+1）

神经元数量：28x28x6

可训练参数：（5x5+1）x6（每个滤波器5x5=25个unit参数和1个bias参数，一共6个滤波器）

连接数：（5x5+1）x28x28x6=122304

理解：每个特征图连一个滤波器；每个特征图有10x10个神经元

3.S2层——池化层（降采样层）

输入大小：28x28

采样区域：2x2

采样方式：4个输入相加，乘以1个可训练参数，再加上一个可训练偏置

采样种类：6

输出特征图大小：14x14（28/2）

神经元数量：14x14x6

可训练参数：（1+1）x6=12

连接数：(2x2+1)x14x14x6

4.C3层——卷积层

输入大小：14X14（S2中所有6个特征图组合）

卷积核大小：5x5

卷积核种类：16

输出特征图大小：10x10（（14-5）/1+1）

可训练参数： 6x(3x5x5+1)+9x(4x5x5+1)+1x(6x5x5+1)=1516

连接数：1516x10x10 

理解：16个滤波器，6个有3x5x5unit参数和1个bias参数，9个有4x5x5unit参数和1个bias参数，1个有6x5x5unit参数和1个bias参数；每个特征图有10x10个神经元

4.S4层——池化层（降采样层）

输入大小：10x10

采样区域：2x2

采样方式：4个输入相加，乘以1个可训练参数，再加上一个可训练偏置

采样种类：16

输出特征图大小：5x5（10/2）

神经元数量：5x5x16

可训练参数：（1+1）x16=12

连接数：(2x2+1)x5x5x16

5.C5层——卷积层

输入大小：5X5（S4中所有16个特征图组合）

卷积核大小：5x5

卷积核种类：120

输出特征图大小：1x1（（5-5）/1+1）

可训练参数： （16x5x5+1）x120（全连接）

连接数： （16x5x5+1）x1x1x120

6.F6层——全连接层

输入大小：1x1（C5中的120维向量）

计算方式：计算输入向量和权重向量的点积，再加上一个偏置

卷积核大小：1x1

卷积核种类：84

输出特征图大小：1x1

可训练参数： （1x1+1）x84

连接数： （1x1+1）x84x1x1

7.输出层——全连接层

F6层与输出层的连接方式是高斯连接，与普通全连接的主要区别是用高斯连接进行串联的输出层内没有激活函数，含有高斯连接的LeNet-5神经网络需要使用基于高斯连接的特殊损失函数