CNN反向传播推导

做CS231n作业碰到要实现CNN，在反向传播部分卡住，找了一些资料仔细推导了一番才得到结果，感觉有一些资料没有写清楚，这里把自己结合资料的推导过程与大家分享。

参考：Convolutional Neural Networks backpropagation:from intuition to derivation

          CNN反向传播算法 主要借鉴了这一篇博客，再拜，主要在此为基础上做了些完善更易理解。

回顾DNN反向传播

在搜索相关资料时，发现有些约定俗成的符号定义，这里用这些定义的符号来回顾一下DNN的反向传播，熟悉这些符号表达以后再进行CNN反向传播的推导。

其中，求偏导的式子中出现点乘是因为现在不确定activation function的形式，不过激活函数是对矩阵中的每个元素都起作用，所以用点乘。

对矩阵求一阶偏导得到了另一个矩阵的转置，想看证明可以看看矩阵代数相关的知识。

CNN反向传播

CNN的方向传播与DNN中有不少不一样的地方需要我们解决：

        1）pooling layer在前向传播中对输入进行了dowmsample，在进行反向传播需要进行upsample，这与DNN完全不同。

        2）卷积层是一个卷积核与输入进行卷积，最后将所有卷积的结果在depth上叠加得到当前的输出；而DNN中是直接进行矩阵乘法得到当前层的输出。因此卷积层的反向传播也有不同。

        3）对于卷积层，由于W使用的运算是卷积，那么δl推导出该层的所有卷积核的W，b的方式不同。

        上面几个问题就是解决CNN反向传播的关键所在，同时我们要注意到DNN中的al、zl都只是向量，而在CNN中，它们是三位的张量，即由若干个子矩阵组成。

        在研究过程中，需要注意的是，由于每个卷积层可以有多个卷积核，各个卷积核的处理方法是完全相同且独立的，为了简化算法公式的复杂度，我们下面提到的卷积核都是卷积层中若干个卷积核中的一个。

卷积层反向传播推导

\^o^/至此CNN反向传播的推导算是完成啦，接下来手撸CNN大boss。/抱拳