CNN-LeNet与卷积网络基本特征

CNN是神经网络的基础。CNN的基础可以说来自于LeNet。1998年提出的LeNet可以说是现在所有CNN网络结构的内在灵魂，其他的CNN网络可以说都是基于LeNet发展起来的。本文依据LeNet，回顾一下卷积网络的基本特征与运算。
LeNet的主要贡献是通过CNN层，将人工特征提取，变为机器自动学习特征的提取。从普通的DNN全连接神经网络，进化出了CNN神经网络。总结一下卷积层的主要特征

主要结构就是：输入——卷积——池化——卷积——池化——全连接——rule——全连接——softmax

重点：

1. 卷积为什么可以特征提取：
   对于固定的卷积核，相似的结构与卷积核的卷积结果最高，差距越大卷积结果越低。注意此时的卷积为
2. 卷积核如何训练
   训练主要是就反向传播BP算法更新各项参数。全连接层的反向算法就不用说了，就是简单的BP梯度下降。
   池化层中是一个下采样过程，逆向上采样为补全采样损失的部分。Max Pooling中反向时补0，记得取最大值的位置，在其他位置补0，Average Pooling反向时填充。
   卷积层中，对含有卷积的式子求导时，需要将卷积核旋转180度（rot180），并在周围补零，即可得到上一层的梯度误差。翻转180°原因。 之后用梯度误差更新权重。
3. 池化层有什么用
   减少运算量
4. 全连接层的作用
   一个分类器，可以认为卷积网络输出了若干特征与这些特征对应的强度大小，通过全连接层分类器将这些特征整合分类并最终输出结果
5. 卷积层大小的选择与池化层大小的选择