《深度学习系列》反向传播算法的公式推导

反向传播算法及其梯度扩散

前言

最近开始认真学习了下反向传播算法和梯度传递的问题，其本质是导数的链式法则的应用，由此可以分析出为什么sigmoid激活函数不适合用于做多层网络的激活函数，可以考虑联系我的另一篇关于激活函数的文章。如有谬误，请联系指正。转载请注明出处。
联系方式：
e-mail: FesianXu@163.com
QQ: 973926198
github: https://github.com/FesianXu
完整代码开源： click me || 其中的sigmoid_base_BP.py

---

神经网络

要知道什么是反向传播算法，我们还是要从神经网络开始将起。神经网络如图所示。

图中所示的是一个具有一个输入层（input layer），一个隐藏层（hidden layer），一个输出层（output layer）的三层神经网络。我们都知道，在神经网络的训练过程中，其权值是通过梯度的变化大小来更新的，我们这里先进行符号规定，以便于接下来的分析。
$w_{jk}^l$ 是l-1层的第k个神经元与l层的第j个神经元的连接权值

$b_j^l$ 是l层的第j个神经元的偏置。

$z_j^l$ 是l层的第j神经元的输入。

$a_j^l$ 是l层的第j神经元的激活输出。

用公式表达即是：
$$z_j^l=\sum _k(w_{jk}^l\ast a_k^{l-1}+b_j^l)\text{\hspace{1em}(1.1)}$$

$$a_j^l=\sigma (z_j^l)=\sigma (\sum _k(w_{jk}^l\ast a_k^{l-1}+b_j^l))\text{\hspace{1em}(1.2)}$$

其中的$\sigma (x)$为激活函数。多采用sigmoid，ReLU，tanh等。
$C=\frac{1}{2n}\ast {\sum }_x||y-a^L|{|}^2$ 代价函数，其中L是神经网络的层数。

---

我们知道，进行权值更新的时候，我们采用的是梯度下降法更新(Gradient Descent)， 公式如下：
$$w_{jk}^l:=w_{jk}^l-\eta \ast \frac{\partial C}{\partial w_{jk}^l}\text{\hspace{1em}(1.3)}$$
这里最重要的便是需要求得$\frac{\partial C}{\partial w_{jk}^l}$，为了求得这个导数，我们现在有几个公式需要推导，这些公式大多都有链式法则推导而出。

---

${\delta }^L={\nabla }_{a}C⨀{\sigma }^{\prime }(z^L)$ （对L层的误差）

其中我们要注意的是，对于某层的误差${\delta }^l$定义为${\delta }^l=\frac{\partial C}{\partial z^l}$，其中具体到某一个神经元j的误差为${\delta }_j^l=\frac{\partial C}{\partial z_j^l}$。

推导：
$${\delta }_j^L=\frac{\partial C}{\partial z_j^L}=\frac{\partial C}{\partial a_j^L}\ast \frac{\partial a_j^L}{\partial z_j^L}=\frac{\partial C}{\partial a_j^L}\ast {\sigma }^{\prime }(z_j^L)\text{\hspace{1em}(2.1)}$$

所以当扩展到对于所有的第L层的神经元时，我们为了方便用一个矩阵去代表我们的结果：
$${\delta }^L=\left(\begin{array}{c}{\delta }_1^L\\ {\delta }_2^L\end{array}\right)\text{\hspace{1em}(2.2)}$$
需要注意的是，所有的误差矩阵都可以这样定义，如：

$${\delta }^l=({\delta }_1^l,{\delta }_2^l,\cdots ,{\delta }_n^l{)}^T\text{\hspace{1em}(2.3)}$$
其中n是l层神经元的数量，类似的，可以得出：

$${\sigma }^{\prime }(z^l)=({\sigma }^{\prime }(z_1^l),{\sigma }^{\prime }(z_2^l),\cdots ,{\sigma }^{\prime }(z_n^l))\text{\hspace{1em}(2.4)}$$
其中n是第l层的神经元数量
由此可以得出结论：
$${\delta }^L={\nabla }_{a}C⨀{\sigma }^{\prime }(z^L)\text{\hspace{1em}(2.5)}$$
其中，$\nabla (\cdot )$算子代表了梯度，具体为${\nabla }_{x}f(x)$代表$f(x)$对$x$的所有偏导数的矩阵，类似于：
$${\nabla }_{x}f(x)=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots ,\frac{\partial f(x)}{\partial x_n}),x\in R^n\text{\hspace{1em}(2.6)}$$
而$⨀$是点乘，表示了两个操作数的各个元素的分别相乘，前提是两个操作数的维度统一。

---

${\delta }_j^l={\sum }_k({\delta }_k^{l+1}\ast w_{kj}^{l+1}\ast {\sigma }^{\prime }(z_j^l))$ 第l层第j个神经元的误差

$$\begin{gathered} {\delta }_j^l=\frac{\partial C}{\partial z_j^l}=\sum _k\frac{\partial C}{\partial z_k^{l+1}}\ast \frac{\partial z_k^{l+1}}{\partial a_j^l}\ast \frac{\partial a_j^l}{\partial z_j^l} \\ =\sum _k{\delta }_k^{l+1}\ast \frac{\partial (w_{kj}^{l+1}\ast a_j^l+b_k^{l+1})}{\partial a_j^l}\ast {\sigma }^{\prime }(z_j^l)=\sum _k({\delta }_k^{l+1}\ast w_{kj}^{l+1}\ast {\sigma }^{\prime }(z_j^l))\text{\hspace{1em}(3.1)} \end{gathered}$$

同样的，为了表示方便，也多用矩阵形式表示，有：

$${\delta }_1^l={\delta }_1^{l+1}\ast w_{11}^{l+1}\ast {\sigma }^{\prime }(z_1^l)+{\delta }_2^{l+1}\ast w_{21}^{l+1}\ast {\sigma }^{\prime }(z_1^l)\text{\hspace{1em}(3.2)}$$

$${\delta }_2^l={\delta }_1^{l+1}\ast w_{12}^{l+1}\ast {\sigma }^{\prime }(z_2^l)+{\delta }_2^{l+1}\ast w_{22}^{l+1}\ast {\sigma }^{\prime }(z_2^l)\text{\hspace{1em}(3.3)}$$

$${\delta }_3^l={\delta }_1^{l+1}\ast w_{13}^{l+1}\ast {\sigma }^{\prime }(z_3^l)+{\delta }_2^{l+1}\ast w_{23}^{l+1}\ast {\sigma }^{\prime }(z_3^l)\text{\hspace{1em}(3.4)}$$

$${\delta }_4^l={\delta }_1^{l+1}\ast w_{14}^{l+1}\ast {\sigma }^{\prime }(z_4^l)+{\delta }_2^{l+1}\ast w_{24}^{l+1}\ast {\sigma }^{\prime }(z_4^l)\text{\hspace{1em}(3.5)}$$

$$W^{l+1}=\left(\begin{array}{cccc}{w}_{11}^{l+1}& w_{12}^{l+1}& w_{13}^{l+1}& w_{14}^{l+1}\\ w_{21}^{l+1}& w_{22}^{l+1}& w_{23}^{l+1}& w_{24}^{l+1}\end{array}\right)\text{\hspace{1em}(3.6)}$$

所以，有：
$${\delta }^l=((W^{l+1}{)}^T\ast {\delta }^{l+1})⨀{\sigma }^{\prime }(z^l)\text{\hspace{1em}(3.7)}$$

---

$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}\ast {\delta }_j^l$ 误差具体到对某个边权重的偏导数

$$\frac{\partial C}{\partial w_{jk}^l}=\frac{\partial C}{\partial z_j^l}\ast \frac{\partial z_j^l}{\partial w_{jk}^l}=a_k^{l-1}\ast {\delta }_j^l=a_k^{l-1}\ast \sum _k({\delta }_k^{l+1}\ast w_{kj}^{l+1}\ast {\sigma }^{\prime }(z_j^l))\text{\hspace{1em}(4.1)}$$

由此可以看出，$\frac{\partial C}{\partial w_{jk}^l}$与${\sigma }^{\prime }(z_j^l)$呈正相关的关系，当激活函数采用了sigmoid函数时，由于x越大，其导数呈现指数衰减，所以在层数太大而且输出值范围太大的时候，$\frac{\partial C}{\partial w_{jk}^l}$就会变得很小，从而使得参数的更新速率变得很慢，因此会出现梯度消散的问题(The problem of gradient vanishing)。
此时，可以考虑替换代价函数或者激活函数，对于更换激活函数，可以更换为ReLU(Rectified Linear Units)函数，$ReLU=max(0,x)$其导数为分段导数，在激活区$x>0$时，其导数恒为1，不会存在梯度消散的问题。

---

$\frac{\partial C}{\partial b_j^l}={\delta }_j^l$ 误差对偏置的导数

$$\frac{\partial C}{\partial b_j^l}=\frac{\partial C}{\partial z_j^l}\ast \frac{\partial z_j^l}{\partial b_j^l}={\delta }_j^l\ast 1={\delta }_j^l\text{\hspace{1em}(5.1)}$$

---

总的更新公式

$$w^l:=w^l-\eta \ast {\delta }^l\ast (a^{l-1}{)}^T\text{\hspace{1em}(6.1)}$$

$$b^l:=b^l-\eta \ast {\delta }^l\text{\hspace{1em}(6.2)}$$

---

我们在这篇文章中推导了BP算法的公式，我们接下来将在下一篇文章《基于numpy和python的反向传播算法的实现与分析》中利用numpy和python实现BP算法，有兴趣的朋友请移步。

引用

1. 《基于numpy和python的反向传播算法的实现与分析》