深度学习之二：CNN推导

前面看过了CNN的基本结构，经典的模式如下图：

 

上图经典的CNN模型主要可以概括为三个部分：

convolution层：convolution是将原来的输入向量映射成多个feature map，每个feature map的权重和偏移量都是一样的

sub-sampling层：sub-sampling 层将feature map进一步缩小，可以选择down-sampling的方法有很多，如max-pooling是选取所选区域的最大值，也有是选取所选区域的每个像素的输出值的平均                 值，当然也有是将所选区域的每个像素的输出值进行求和，但是目的只有一个，那就是进一步将feature map压缩

全连接层：CNN中卷积层和sub-sampling层可以多个组合使用，在最后面的sub-sampling层后面加入几个全连接层，最后连接到输出层中去

 

了解完这一点后，根据一般的神经网络BP算法，我们构造完损失函数L，然后在训练过程中就使用BP算法进行梯度下降求导了，本文就是介绍关于CNN求导过程。

整篇文章参考的论文为【1】Notes on Convolutional Neural Networks ，作者Jake Bourvie比较详细的介绍了CNN 的求导方法。

 

文章假设已经掌握了经典的BP算法，同时对于损失函数也有一定的了解，常用的平方损失函数或者cross-entropy函数等，所以下文不会给出从头到尾的推导公式，只是着重介绍在卷积层和sub-sampling层的求导过程。

 

一，首先来看卷积