理解BPTT及RNN的梯度消失与梯度爆炸

博客已迁至知乎， 这篇文章的链接：https://zhuanlan.zhihu.com/p/70868991

前言

上篇文章RNN详解已经介绍了RNN的结构和前向传播的计算公式，这篇文章讲一下RNN的反向传播算法BPTT，及RNN梯度消失和梯度爆炸的原因。

---

BPTT

RNN的反向传播，也称为基于时间的反向传播算法BPTT(back propagation through time)。对所有参数求损失函数的偏导，并不断调整这些参数使得损失函数变得尽可能小。

先贴出RNN的结构图以供观赏，下面讲的都是图中的单层单向RNN：

图片来自：Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs

反向传播做的是：算出参数梯度并更新参数。参数梯度=损失函数对参数的偏导数$\frac{\partial L}{\partial w}$，参数更新公式已知：$w=w-\alpha \frac{\partial L}{\partial w}$，$\alpha$是学习率。所以我们只需要求出$\frac{\partial L}{\partial w}$就可以了。

分两部分：1.定义损失函数 $L$，2.再求出损失函数对参数的偏导数 $\frac{\partial L}{\partial w}$ ，下面开始啦，以参数 $w$ 为例：

1.定义损失函数：

假设时刻 $t$ 的损失函数为：$L_t=\frac{1}{2}(Y_3-O_3{)}^2$

损失函数是均方差也好交叉熵也好都无所谓，这里只是举个例子，假定它是均方差。

因为有多个时刻，所以总损失函数为所有时刻的损失函数之和：
$$L=\sum _{t=0}^T{L}_t(1)$$

第一步完成，损失函数get！

2.求损失函数对参数的偏导数：

$w$在每一时刻都出现了，所以 $w$ 在时刻 $t$ 的梯度=时刻 $t$ 的损失函数对所有时刻的 $w$ 的梯度和：
$$\frac{\partial L_t}{\partial w}=\sum _{s=0}^T\frac{\partial L_t}{\partial w_s}(2)$$

将(2)代入(1)可得下面的结果，$w$ 的总梯度 $\frac{\partial L}{\partial w}$等于$w$在所有时刻的梯度和：
$$\begin{array}{rl}\frac{\partial L}{\partial w}& =\sum _{t=0}^T\frac{\partial L_t}{\partial w}\\ & =\sum _{t=0}^T\sum _{s=0}^T\partial w^{}\end{array}$$