从全连接神经网络到cnn网络的backpropagation算法解析

写在前面的话

深度学习由于引进了keras，tensorflow，pytorch等库以后，网络的搭建以及后向学习（backpropagation）变得非常易于实现，很多时候我们其实只需要一个backward函数便可以利用已经实现的库函数完成网络的学习过程。这样固然是一个极好的过程，但我相信如果能从数学的角度理解后向学习，将更有利于我们去理解网络，搭建更符合于我们自身需求的网络结构。本篇博客，我希望能够从数学的角度对整个后向学习过程进行推导，希望能帮助到和我有同样需求的人。

一、全连接神经网络

所谓的全连接神经网络就是前一层的所有节点的内容都对下一层的所有节点的输出产生影响，用图像表示的话可能更为直观
全连接神经网络
网络层分三大类：输入层，隐藏层和输出层。前一层的输出用作下一层的输入。在进行网络前向和后向学习之前，我们先对一些符号作出解释：
1、$w_{jk}^l$表示第$l-1$层的第$k$个节点对第$l$层的第$j$个节点的影响权重
2、$b_j^l$表示第$l$层的第$j$个节点的偏置
3、$a_j^l$表示第$l$层的第$j$个节点的激活输出
4、$z_j^l$表示第$l$层的第$j$个节点的未激活输出
有了这四个符号以后，我们可以轻松地用数学公式描述网络的前向学习过程：
$$z_j^l=\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l⟶矢量化为：z^l=w^l{a}^{l-1}+b^l$$
设网络采用的激活函数为sigmoid，则第$l$层的第$j$个节点的激活输出为：
$$a_j^l=\sigma (z_j^l)=\sigma (\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l)⟶矢量化为：a^l=\sigma (w^l{a}^{l-1}+b^l)$$

二、全连接神经网络的backpropagation

由前面的介绍可知，网络的最终输出为$a^L$,其中$L$为网络所包含的层数。假设网络的标准输出为$y$，那么网络的后向学习过程其实就是通过不断地调整网络权重$w$和偏置$b$，使得网络输出$a^L$更加地接近于标准输出$y$。那么怎么样用数学语言描述$a^L$和$y$之间的接近程度呢？这里引入了loss函数。关于loss函数的选取其实也是网络搭建过程中需要考虑的问题之一，什么样的loss函数最好或者最适合也将是一个庞大的讨论课题，这里不再赘述。我们只以最简单的loss函数平方差为例作介绍。
$$C=\frac{1}{2n}\sum _j||y_j-a_j^L|{|}^2$$
给出loss函数的定义以后我们需要弄明白一个问题，就是怎样调整权重$w$和偏置$b$的值才能使得网络的loss函数减小呢？这就涉及到了优化算法的问题，现在最常用的优化算法包括Adam，随机梯度下降法，AMSGrad等等，至于优化算法的选择也是一个可以展开研究的课题，这里不再赘述，直接给出结论，即朝着梯度的反方向调整权重和偏置的值可以求得loss函数的极值，不同的优化算法的区别主要也是集中于调整的学习率的选择。

借用上面这张图我们作一个不算严谨的形象化的解释，我们都知道在极值点函数的导数为0，而非极值点的导数不为0，但是非极值点的梯度其实也表示出了整个函数值下降最快的方向，故而我们利用梯度来调整整个网络的权重和偏置，使得loss函数尽快向极值方向减小。后向传播算法就是寻求loss函数对应于网络中存在的各个权重$w$以及偏置$b$的偏导数，然后利用该偏导数调整整个网络的权重和偏置的过程。
在计算$\frac{\partial C}{\partial w_{jk}^l}$和$\frac{\partial C}{\partial b_j^l}$之前，我们先引入一个中间变量，即$l$层第$j$个节点对应的偏导数${\delta }_j^l$：
$${\delta }_j^l=\frac{\partial C}{\partial z_j^l}$$
方便起见，我们依然使用${\delta }^l$来表示第$l$层节点的偏导数，后向学习的过程其实就是计算网络中各个层的${\delta }^l$，并将该${\delta }^l$值关联到我们真正关心的权重$\frac{\partial C}{\partial w_{jk}^l}$偏导和偏置$\frac{\partial C}{\partial b_j^l}$偏导上。
backpropagation（后向学习）有四个基础的公式，它们包含了怎样利用loss函数的值计算输出层偏导数，怎样利用$l+1$层的偏导数计算$l$层偏导数，怎样利用网络层偏导数计算权重和偏置的偏导。下面我将具体来推导这四个基础公式。

公式1 输出层偏导数

loss函数对应于输出层各节点的未激活值偏导数$\frac{\partial C}{\partial z_j^L}$：
$${\delta }_j^L=\frac{\partial C}{\partial z_j^L}$$
根据链式法则得：
$${\delta }_j^L=\sum _k\frac{\partial C}{\partial a_k^L}\frac{\partial a_k^L}{\partial z_j^L}$$
而由于$z_j^L$的值只影响到$a_k^L$的值，故而：
$${\delta }_j^L=\frac{\partial C}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}$$
而$a_j^L=\sigma (z_j^L)$，故而我们得到后向学习的第一个公式：
$${\delta }_j^L=\frac{\partial C}{\partial a_j^L}{\sigma }^{\prime }(z_j^L)\text{\hspace{1em}(nnBP.1)}$$
本身loss函数是关于$a_j^L$和$y$的函数，很容易求得$\frac{\partial C}{\partial a_j^L}$的值，比如当loss函数为平方差和时，我们有：
$$\frac{\partial C}{\partial a_j^L}=a_j^L-y_j$$
$${\delta }_j^L=(a_j^L-y_j){\sigma }^{\prime }(z_j^L)$$

公式二、 隐藏层偏导数

下面我们来推导第二个公式，即通过$l+1$层的偏导数${\delta }^{l+1}$来获得第$l$层的偏导数${\delta }^l$，根据链式法则:
$$\begin{array}{rl}{\delta }_j^l& =\frac{\partial C}{\partial z_j^l}\\ & =\sum _k\frac{\partial C}{\partial z_k^{l+1}}\frac{\partial z_k^{l+1}}{\partial z_j^l}\\ & =\sum _k{\delta }_k^{l+1}\frac{\partial z_k^{l+1}}{\partial z_j^l}\end{array}$$
根据前向运算法则，我们有：
$$\begin{array}{rl}{z}_k^{l+1}& =\sum _j{w}_{kj}^{l+1}{a}_j^l+b_k^{l+1}\\ & =\sum _j{w}_{kj}^{l+1}\sigma (z_j^l)+b_k^{l+1}\end{array}$$
将该结果代入到上式中，我们有：
$$\begin{array}{rl}{\delta }_j^l& =\sum _k{\delta }_k^{l+1}\frac{\partial {\sum }_j{w}_{kj}^{l+1}\sigma (z_j^l)+b_k^{k+1}}{\partial z_j^l}\\ & =\sum _k{\delta }_k^{l+1}{w}_{kj}^{l+1}{\sigma }^{\prime }(z_j^l)\end{array}$$
即
$${\delta }_j^l=\sum _k{w}_{kj}^{l+1}{\delta }_k^{l+1}{\sigma }^{\prime }(z_j^l)\text{\hspace{1em}(nnBP.2)}$$
这里我们就得到了后向学习的第二个公式。定义一个运算符$⨀$，表示两个向量的元素进行点乘，那么我们就可以将上述的nnBP.1和2写成下述的矢量表达形式：
$${\delta }^L={\nabla }_{a}C⨀{\sigma }^{\prime }(z^L)\text{\hspace{1em}(nnBP.1)}$$
$${\delta }^l=((w^{l+1}{)}^T{\delta }^{l+1})⨀{\sigma }^{\prime }(z^l)\text{\hspace{1em}(nnBP.2)}$$

公式三四、权重和偏置对应的偏导数

有了这两个公式我们就可以求出网络各个节点对应于loss函数的偏导数，但是后向学习的过程其实是调整权重$w$和偏置$b$的过程，我们真正关心的应该是损失函数对应于权重和偏置的偏导数，下面我们来推导这两者的值。
对于权重$w_{jk}^l$，其对应的损失函数偏导数：
$$\begin{array}{rl}\frac{\partial C}{\partial w_{jk}^l}& =\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial w_{jk}^l}\\ & ={\delta }_j^l\frac{\partial z_j^l}{\partial w_{jk}^l}\end{array}$$
而根据前向运算公式：
$$z_j^l=\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l$$
故而：
$$\begin{array}{rl}\frac{\partial C}{\partial w_{jk}^l}& ={\delta }_j^l\frac{\partial z_j^l}{\partial w_{jk}^l}\\ & ={\delta }_j^l\frac{\partial {\sum }_k{w}_{jk}^l{a}_k^{l-1}+b_j^l}{\partial w_{jk}^l}\end{array}$$
简单计算可得：
$$\frac{\partial C}{\partial w_{jk}^l}={\delta }_j^l{a}_k^{l-1}\text{\hspace{1em}(nnBP.3)}$$
同理可得：
$$\frac{\partial C}{\partial b_j^l}={\delta }_j^l\text{\hspace{1em}(nnBP.4)}$$
此时我们得到了全连接神经网络后向学习相关的四个基础公式

三、卷积神经网络cnn

虽然利用全连接神经网络可以实现一些复杂的函数功能，但是真正推动神经网络发展的其实是卷积网络的出现。卷积网络实现了权重共享，在图像处理方面具有出色的优势。
下图显示了卷积神经网络的工作原理

符号规则依然和全连接神经网络一样，那么卷基层的前向运算我们可以通过如下公式来表示：
$$z^l(x,y)=\sum _a\sum _b\sigma (z^l(x+a,y+b)w^{l+1}(a,b)+b^{l+1})$$
卷积网络也真正地实现了权重共享，减少了网络搭建的参数。

卷积网络的backpropagation

对于卷积网络输出层的偏导数求解和全连接网络没有什么不同，我们就直接跳过。
我们直接来推导损失函数对于网络各层未激活输出的偏导数${\delta }^l$，根据链式法则，我们有：
$$\begin{array}{rl}{\delta }^l(x,y)& =\frac{\partial C}{\partial z^l(x,y)}\\ & =\sum _{x^{\prime }}\sum _{y^{\prime }}\frac{\partial C}{\partial z^{l+1}(x^{\prime },y^{\prime })}\frac{\partial z^{l+1}(x^{\prime },y^{\prime })}{\partial z^l(x,y)}\\ & =\sum _{x^{\prime }}\sum _{y^{\prime }}{\delta }^{l+1}(x^{\prime },y^{\prime })\frac{{\sum }_a{\sum }_b\sigma (z^l(x^{\prime }+a,y^{\prime }+b)w^{l+1}(a,b)+b^{l+1})}{\partial z^l(x,y)}\\ & =\sum _a\sum _b{\delta }^{l+1}(x^{\prime },y^{\prime })w^{l+1}(a,b){\sigma }^{\prime }(z^l(x,y))\end{array}$$
其中$x=x^{\prime }+a$，$y=y^{\prime }+a$，代入得：
$${\delta }^l(x,y)=\sum _a\sum _b{\delta }^{l+1}(x-a,y-b)w^{l+1}(a,b){\sigma }^{\prime }(z^l(x,y))$$
令$a^{\prime }=-a$，$b^{\prime }=-b$，我们有：
$${\delta }^l(x,y)=\sum _a\sum _b{\delta }^{l+1}(x+a^{\prime },y+b^{\prime })w^{l+1}(-a^{\prime },-b^{\prime }){\sigma }^{\prime }(z^l(x,y))\text{\hspace{1em}(cnnBP.1)}$$
我们得到了卷积运算后向学习过程的第一个公式，矢量化为：
$${\delta }^l={\delta }^{l+1}\ast ROT180(w^{l+1})⨀{\sigma }^{\prime }(z^l)\text{\hspace{1em}(cnnBP.1)}$$
得到卷基层各个分量对应于loss函数的偏导数以后，我们最关心的依然是学习过程中权重和偏置的调整，即权重$w$和偏置$b$对应于loss的偏导数，下面进行推导：
$$\begin{array}{rl}\frac{\partial C}{\partial w^l(a,b)}& =\sum _x\sum _y\frac{\partial C}{\partial z^l(x,y)}\frac{\partial z^l(x,y)}{\partial w^l(a,b)}\\ & =\sum _x\sum _y{\delta }^l(x,y)\frac{\partial z^l(x,y)}{\partial w^l(a,b)}\\ & =\sum _x\sum _y{\delta }^l(x,y)\frac{\partial {\sum }_{a^{\prime }}{\sum }_{b^{\prime }}\sigma (z^{l-1}(x+a^{\prime },y+b^{\prime }))w^l(a^{\prime },b^{\prime })+b^l}{\partial w^l(a,b)}\\ & =\sum _x\sum _y{\delta }^l(x,y)\sigma (z^{l-1}(x+a,y+b))\end{array}$$
这里我们得到了卷积神经网络后向学习的第二个公式：
$$\frac{\partial C}{\partial w^l(a,b)}=\sum _x\sum _y{\delta }^l(x,y)\sigma (z^{l-1}(x+a,y+b))\text{\hspace{1em}(cnnBP.2)}$$
矢量化为：
$$\frac{\partial C}{\partial w^l}={\delta }^l\ast \sigma (z^{l-1})\text{\hspace{1em}(cnnBP.2)}$$
下面进行偏置的偏导数推导：
$$\begin{array}{rl}\frac{\partial C}{\partial b^l}& =\sum _x\sum _y\frac{\partial C}{\partial z^l(x,y)}\frac{\partial z^l(x,y)}{\partial b^l}\\ & =\sum _x\sum _y{\delta }^l(x,y)\frac{\partial z^l(x,y)}{\partial b^l}\\ & =\sum _x\sum _y{\delta }^l(x,y)\frac{\partial {\sum }_{a^{\prime }}{\sum }_{b^{\prime }}\sigma (z^{l-1}(x+a^{\prime },y+b^{\prime }))w^l(a^{\prime },b^{\prime })+b^l}{\partial b^l}\\ & =\sum _x\sum _y{\delta }^l(x,y)\end{array}$$
这里我们得到了卷积神经网络后向学习的第三个公式：
$$\frac{\partial C}{\partial b^l}=\sum _x\sum _y{\delta }^l(x,y)\text{\hspace{1em}(cnnBP.3)}$$
至此我们得到了卷积网络后向学习的全部公式，至于现实中卷积核其实是$channe{l}_{input}\times k_h\times k_w\times channe{l}_{output}$只是在原有的基础上增加一些简单的加减平均运算等，这里不作进一步推导。
完结