关于LeNet-5的一些关键信息的提炼

LeNet-5

LeNet-5的提出是为了解决手写识别等模式识别问题,由于手写等输入图像的多变性,导致一些重要特征位置发生变化.

权重共享技术的目的是保持网络对这些变化有同样的输出.即移位不变性是通过强制跨空间的重复权重配置自动获得的.

由于全连接层会忽视输入的拓扑结构,输入可以以任意顺序呈现,而图像恰恰有着很强的二维结构:在空间和时间上邻近变量有着高度的相关性,因此卷积网络强制限制隐藏单元的接受域来提取局部特征.

因此,卷积网络的三个架构思想:
1. 局部接受/感受域(local receptive field)
2. 权重共享(shared weight)
3. 时间和空间上的子采样(Subsampling)也就是后来的池化层(pooling layer)
原文中写道,将单元与局部接受/感受域(local receptive field)结合起来的想法来自1960年的早期感知机.

卷积网络的一个重要术语:feature map(特征映射)

由于卷积网络的特殊架构,导致卷积层的一个有趣的特性:如果输入图像发生位移，feature map 输出也会发生相同的位移，但在其他情况下不会发生变化.因此呢,它有着很强的稳定性.

如果一个重要特征被检测出来,那么它的确切位置就不那么重要了,而它相对于其他特征的位置是相关的(重要/有用的/切题的).而这些特征的精确位置有时却是有害的,因此,降低这个精度的方法:降低feature map的分辨率.这就是子采样(Subsampling)的作用.

原文中也提到了:卷积/子采样组合的灵感来自于 Hubel 和 Wiesel 的“简单”和“复杂”细胞的概念.

这种组合一方面通过子采样(Subsampling)降低空间分辨率,另一方面通过增加feature map(特征映射)数量(即每一层单元的数量)来增加表示的丰富程度来补偿.

而权重共享技术减轻了参数训练的负担,它减少了参数的数量.原来345308个参数的网络,在使用权重共享后减少为60000个可训练参数.

LeNet-5结构:

1. Layer Input:
   1. image size :32x32
2. Layer C1:
   1. feature map units:6个
   2. feature map size:28x28
   3. local receptive field: 5x5
   4. trainable parameters:156
   5. connections:122304
3. Layer S2:
   1. feature map units:6个
   2. feature map size:14x14
   3. local receptive field: 2x2
   4. trainable parameters:12
   5. connections:5880
4. Layer C3:
   1. feature map units:16个
   2. feature map size:10x10
   3. feature map origin:
      1. First 6: three feature map of S2
      2. Second 6: four feature map of S2
      3. third 3: four feature map of S2
      4. final 1: all feature map of S2
   4. local receptive field: 5x5
   5. trainable parameters:1516
   6. connections:156000
5. Layer S4:
   1. feature map units:16个
   2. feature map size:5x5
   3. local receptive field: 2x2
   4. trainable parameters:32
   5. connections:2000
6. Layer C5:
   1. feature map units:120个
   2. feature map size:1x1
   3. feature map origin: each from all feature map of S4
   4. local receptive field: 5x5
   5. trainable parameters:48120
   6. connections:full connection
7. Layer F6:
   1. units : 84个
   2. trainable parameters:10164
   3. connections:full connection
   4. activation function:A*Tanh(Sx)
8. Layer Output:10 classes
   1. fuction: RBF(径向基)
   2. activation function: Sigmoid

损失函数:MSE并加入惩罚项