深度学习流程（四）之反向传播

一、前向传播

在前向传播过程中，要保留神经元的输出。

二、梯度下降

首先定义残差，设有 L 层，损失为 c $$\frac{\partial c}{\partial z_j^L}=\frac{\partial c}{\partial a_j^L}\cdot \frac{\partial a_j^L}{\partial z_j^L}={\delta }_j^L$$ 对于网络中，任意一层 l $$\begin{array}{rl}\frac{\partial c}{\partial z_j^l}& =\sum _k\frac{\partial c}{\partial z_k^{l+1}}\cdot \frac{\partial z_k^{l+1}}{\partial a_j^l}\cdot \frac{\partial a_j^l}{\partial z_j^l}\\ & =\sum _k{\delta }_j^{l+1}\cdot w_{jk}^{l+1}\cdot \frac{\partial a_j^l}{\partial z_j^l}\\ & ={\delta }_j^l\end{array}$$ 然后计算参数的梯度 $$\frac{\partial c}{\partial w_{kj}^c}=\frac{\partial c}{\partial z_j^l}\cdot \frac{\partial z_j^l}{\partial w_{kj}^l}={\delta }_l^l\cdot a_k^{l-1}$$ $$w_{kj}\leftarrow w_{kj}-lr\cdot \frac{\partial c}{\partial w_{ij}}$$

三、交叉熵反向传播

损失函数 $$L=-[ylog\hat{y}+(1-y)log(1-\hat{y})],y=\sigma (h_{\theta }(x))$$ 所以其导数为 $$\begin{array}{rl}\frac{\partial L}{\partial {\theta }_j}& =-[y\cdot \frac{1}{\hat{y}}\cdot \frac{\partial \hat{y}}{\partial {\theta }_j}+(1-y)\cdot \frac{1}{1-\hat{y}}\cdot (-1)\cdot \frac{\partial \hat{y}}{\partial {\theta }_j}]\\ & =-[y\cdot \frac{1}{\sigma }\cdot \sigma \cdot (1-\sigma )\cdot \frac{\partial h_{\theta }(x)}{\partial {\theta }_j}+(1-y)\cdot \frac{\sigma \cdot (1-\sigma )}{1-\sigma }\cdot (-1)\frac{\partial h_{\theta }(x)}{\partial {\theta }_j}]\\ & =(\sigma -y)\frac{\partial h_{\theta }(x)}{\partial {\theta }_j}\end{array}$$

四、softmax+交叉熵损失求梯度

softmax函数为 $$p=\frac{e^{z_k}}{{\sum }_k{e}^{z_k}}$$
令前一层的输出是 $a_p$，输入参数为 $w_{pk}$ ，激活函数前的输出 $z_k={\sum }_p{w}_{pk}{a}_p$，输出 $a_k=\frac{e^{z_k}}{{\sum }_k{e}^{z_k}}$，

那么损失为 $$L=\sum _k{y}_k\log a_k$$ 因为最后的预测为其中一类，设预测为第 j 类，那么 $L=y_j\log a_j$，$y_j$ 为 1，$L=\log a_j$ $$\frac{\partial L}{\partial w_{pk}}=\frac{\partial L}{\partial a_j}\cdot \frac{\partial a_j}{\partial z_i}\cdot \frac{\partial z_i}{\partial w_{pk}}=\frac{\partial L}{\partial a_j}\cdot \frac{\partial a_j}{\partial z_i}\cdot a_p$$
当 $i=j$ 时，也就是第 i 类的 $z_i$ 求偏导 $$\begin{array}{rl}\frac{\partial a_j}{\partial z_i}& =\frac{\partial (\frac{e^{z_j}}{{\sum }_k{e}^{z_k}})}{\partial z_i}\\ & =\frac{\partial (\frac{e^{z_j}}{{\sum }_k{e}^{z_k}})}{\partial z_j}\\ & =\frac{e^{z_j}}{{\sum }_k{e}^{z_k}}-\frac{e^{z_j}{e}^{z_j}}{[{\sum }_k{e}^{z_k}{]}^2}\\ & =\frac{e^{z_j}}{{\sum }_k{e}^{z_k}}(1-\frac{e^{z_j}}{{\sum }_k{e}^{z_k}})\\ & =a_j(1-a_j)\end{array}$$ 当 $i\ne j$ 时，$$\begin{array}{rl}\frac{\partial a_j}{\partial z_i}& =\frac{\partial (\frac{e^{z_j}}{{\sum }_k{e}^{z_k}})}{\partial z_i}\\ & =\frac{0}{{\sum }_k{e}^{z_k}}-\frac{e^{z_j}{e}^{z_i}}{[{\sum }_k{e}^{z_k}{]}^2}\\ & =-a_j{a}_i\end{array}$$ 所以，当 $i=j$ 时，$$\frac{\partial L}{\partial z_i}=-\frac{1}{a_j}\cdot (-a_j{a}_i)=a_i$$ 当 $i\ne j$ 时，$$\frac{\partial L}{\partial z_i}=-\frac{1}{a_j}\cdot a_j(1-a_j)=a_j-1$$

五、梯度消失和爆炸

5.1 梯度爆炸

5.1.1 什么是梯度爆炸

梯度爆炸指的是神经网络在训练过程中大的误差梯度不断累积，导致模型权重出现重大更新，造成模型的不稳定，无法利用训练数据进行学习。

误差梯度是神经网络训练过程中计算的方向和数量，用于以正确的方向和合适的量更新网络权重。在深层网络或者循环神经网络中，误差梯度可以再更新中累积，变成非常大的梯度，然后导致网络权重的大幅更新，并因此使网络变得不稳定，在极端情况下，权重的值变得非常大，以至于溢出，导致NaN值。

5.1.2 梯度爆炸解决办法

1. 重新设计网络模型
   在深度神经网络中，梯度爆炸可以通过重新设计层数更少的网络来解决。同时使用更新小的batch也有好处。
2. 使用ReLU激活函数
   在深度多层感知机神经网络，梯度爆炸的发生可能是因为激活函数。
3. 梯度裁剪
4. 权重正则化

5.2 梯度消失

1. 更换激活函数，使用 relu 等
2. Batch Normalization
3. 更换网络，使用 resnet 或者 LSTM
4. 使用预训练的网络加fine-tuning