卷积神经网络（CNN）学习小结

CNN结构

一个经典的CNN结构如下图所示：

第一层为输入层。
接着为卷积层，由若干卷积单元组成，目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征，更复杂的特征需要更多层的神经网络从低级特征中迭代提取出来。
然后是池化层，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。
最后是全连接层, 把所有局部特征结合变成全局特征，用来计算最后每一类的得分。

CNN卷积层

如果应用权值共享的话，实际上每一层计算的操作就是输入层和权重的卷积。假设这里有一个5x5的矩阵，创建一个3x3的权值矩阵，相乘然后输出，具体算法如下图：

CNN池化层

池化层是为了减少特征图，降低过拟合的程度，一般有取最大值和平均值两种池化方法；
取最大值即在卷积层输出的每一个矩阵取其中的最大值代替这个矩阵；

同理，取平均值即在卷积层输出的每一个矩阵取其中的平均值代替这个矩阵。

CNN反向传播

从卷积层到池化层再到全连接层是CNN的向前传播，反过来就是反向传播，反向传播算法用来算参数，反向传播如下图所示：

关于CNN反向传播的推导请点这里：zouxy09或者 刘建平Pinard
关于CNN方向传播过程请点这里