目录
1.输入层
输入图像的尺寸统一归一化为32x32
本层不算LeNet-5网络结构
2.C1层—— 卷积层
输入图片:32x32
卷积核大小:5x5
卷积核种类:6
输出特征图大小:28x28((32-5)/1+1)
神经元数量:28x28x6
可训练参数:(5x5+1)x6(每个滤波器5x5=25个unit参数和1个bias参数,一共6个滤波器)
连接数:(5x5+1)x28x28x6=122304
理解:每个特征图连一个滤波器;每个特征图有10x10个神经元
3.S2层——池化层(降采样层)
输入大小:28x28
采样区域:2x2
采样方式:4个输入相加,乘以1个可训练参数,再加上一个可训练偏置
采样种类:6
输出特征图大小:14x14(28/2)
神经元数量:14x14x6
可训练参数:(1+1)x6=12
连接数:(2x2+1)x14x14x6
4.C3层——卷积层
输入大小:14X14(S2中所有6个特征图组合)
卷积核大小:5x5
卷积核种类:16
输出特征图大小:10x10((14-5)/1+1)
可训练参数: 6x(3x5x5+1)+9x(4x5x5+1)+1x(6x5x5+1)=1516
连接数:1516x10x10
理解:16个滤波器,6个有3x5x5unit参数和1个bias参数,9个有4x5x5unit参数和1个bias参数,1个有6x5x5unit参数和1个bias参数;每个特征图有10x10个神经元
4.S4层——池化层(降采样层)
输入大小:10x10
采样区域:2x2
采样方式:4个输入相加,乘以1个可训练参数,再加上一个可训练偏置
采样种类:16
输出特征图大小:5x5(10/2)
神经元数量:5x5x16
可训练参数:(1+1)x16=12
连接数:(2x2+1)x5x5x16
5.C5层——卷积层
输入大小:5X5(S4中所有16个特征图组合)
卷积核大小:5x5
卷积核种类:120
输出特征图大小:1x1((5-5)/1+1)
可训练参数: (16x5x5+1)x120(全连接)
连接数: (16x5x5+1)x1x1x120
6.F6层——全连接层
输入大小:1x1(C5中的120维向量)
计算方式:计算输入向量和权重向量的点积,再加上一个偏置
卷积核大小:1x1
卷积核种类:84
输出特征图大小:1x1
可训练参数: (1x1+1)x84
连接数: (1x1+1)x84x1x1
7.输出层——全连接层
F6层与输出层的连接方式是高斯连接,与普通全连接的主要区别是用高斯连接进行串联的输出层内没有激活函数,含有高斯连接的LeNet-5神经网络需要使用基于高斯连接的特殊损失函数