CNN的反向传播算法思想

要套用DNN的反向传播算法到CNN，有几个问题需要解决：

　　　　1）池化层没有激活函数，这个问题倒比较好解决，我们可以令池化层的激活函数为σ(z)=z，即激活后就是自己本身。这样池化层激活函数的导数为1.

　　　　2）池化层在前向传播的时候，对输入进行了压缩，那么我们现在需要向前反向推导δl−1−1，这个推导方法和DNN完全不同。

　　　　3) 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出，这和DNN很不相同，DNN的全连接层是直接进行矩阵乘法得到当前层的输出。这样在卷积层反向传播的时候，上一层的δl−1−1递推计算方法肯定有所不同。

　　　　4）对于卷积层，由于W使用的运算是卷积，那么从δl推导出该层的所有卷积核的W,b的方式也不同。

　　　　从上面可以看出，问题1比较好解决，但是问题2,3,4就需要好好的动一番脑筋了，而问题2,3,4也是解决CNN反向传播算法的关键所在。另外大家要注意到的是，DNN中的al,zl,都只是一个向量，而我们CNN中的al,zl,都是一个张量，这个张量是三维的，即由若干个输入的子矩阵组成。

　　　　下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。

　　　　在研究过程中，需要注意的是，由于卷积层可以有多个卷积核，各个卷积核的处理方法是完全相同且独立的，为了简化算法公式的复杂度，我们下面提到卷积核都是卷积层中若干卷积核中的一个。