（五）循环神经网络 -- 5 通过时间反向传播

5. 通过时间反向传播

在前一小节中，若不裁剪梯度，模型将无法正常训练。为了深刻理解这一现象，本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。

之前的 正向传播、反向传播和计算图 小节，介绍了神经网络中梯度计算的一般思路，并强调正向传播和反向传播相互依赖。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式法则应用反向传播计算并存储梯度。

5.1 定义模型

简单起见，考虑一个无偏差项的循环神经网络，且激活函数为恒等映射（$\varphi (x)=x$）。

设时间步 $t$ 的输入为单样本 ${\mathbf{x}}_t\in {\mathbb{R}}^d$，标签为 $y_t$，那么，有隐藏状态 ${\mathbf{h}}_t\in {\mathbb{R}}^h$的计算表达式：

$${\mathbf{h}}_t={\mathbf{W}}_{hx}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1},$$

其中，${\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$和${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$是隐藏层权重参数。

设输出层权重参数${\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$，时间步$t$的输出层变量${\mathbf{o}}_t\in {\mathbb{R}}^q$计算为：

$${\mathbf{o}}_t={\mathbf{W}}_{qh}{\mathbf{h}}_t$$

设时间步$t$的损失为$\ell ({\mathbf{o}}_t,y_t)$，时间步数为$T$的损失函数$L$定义为：

$$L=\frac{1}{T}\sum _{t=1}^T\ell ({\mathbf{o}}_t,y_t)$$

此时，将$L$称为有关给定时间步的数据样本的目标函数，并在本节后续讨论中简称为目标函数。

5.2 模型计算图

为了可视化循环神经网络中模型变量和参数在计算中的依赖关系，可以绘制模型计算图。

例如，时间步3的隐藏状态${\mathbf{h}}_3$的计算，依赖模型参数${\mathbf{W}}_{hx}$、${\mathbf{W}}_{hh}$、上一时间步隐藏状态${\mathbf{h}}_2$以及当前时间步输入${\mathbf{x}}_3$。如下图所示：

5.3 方法

如上图所示，模型的参数为 ${\mathbf{W}}_{hx}$、${\mathbf{W}}_{hh}$ 和 ${\mathbf{W}}_{qh}$。
与 正向传播、反向传播和计算图 小节类似，训练模型通常需要模型参数的梯度$\partial L/\partial {\mathbf{W}}_{hx}$、$\partial L/\partial {\mathbf{W}}_{hh}$和$\partial L/\partial {\mathbf{W}}_{qh}$。

根据上图中的依赖关系，可以按照其中箭头所指的反方向依次计算并存储梯度（为了便于表述，依然采用表达链式法则的运算符$\text{prod}$）：

(1) 计算目标函数有关各时间步输出层变量的梯度$\partial L/\partial {\mathbf{o}}_t\in {\mathbb{R}}^q$：

$$\frac{\partial L}{\partial {\mathbf{o}}_t}=\frac{\partial \ell ({\mathbf{o}}_t,y_t)}{T\cdot \partial {\mathbf{o}}_t}$$

(2) 计算目标函数有关模型参数${\mathbf{W}}_{qh}$的梯度$\partial L/\partial {\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$。结合上图所示，$L$通过${\mathbf{o}}_1,\dots ,{\mathbf{o}}_T$依赖${\mathbf{W}}_{qh}$，依据链式法则，有：

$$\frac{\partial L}{\partial {\mathbf{W}}_{qh}}=\sum _{t=1}^T\text{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{W}}_{qh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{o}}_t}{\mathbf{h}}_t^{\top }$$

(3) 隐藏状态之间也存在依赖关系。 结合上图所示，$L$只通过${\mathbf{o}}_T$依赖最终时间步$T$的隐藏状态${\mathbf{h}}_T$。因此，先计算目标函数有关最终时间步隐藏状态的梯度$\partial L/\partial {\mathbf{h}}_T\in {\mathbb{R}}^h$。依据链式法则，有：

$$\frac{\partial L}{\partial {\mathbf{h}}_T}=\text{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_T},\frac{\partial {\mathbf{o}}_T}{\partial {\mathbf{h}}_T}\right)={\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_T}$$

(4) 对于时间步$t<T$, 结合上图所示，$L$通过${\mathbf{h}}_{t+1}$和${\mathbf{o}}_t$依赖${\mathbf{h}}_t$。依据链式法则， 目标函数有关时间步$t<T$的隐藏状态的梯度$\partial L/\partial {\mathbf{h}}_t\in {\mathbb{R}}^h$，需要按照时间步从大到小依次计算： $$\frac{\partial L}{\partial {\mathbf{h}}_t}=\text{prod}(\frac{\partial L}{\partial {\mathbf{h}}_{t+1}},\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t})+\text{prod}(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t})={\mathbf{W}}_{hh}^{\top }\frac{\partial L}{\partial {\mathbf{h}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t}$$

将上述递归公式展开，对任意时间步$1\le t\le T$，存在目标函数有关隐藏状态梯度的通项公式：

• [记] 递归公式展，如何得到该通项公式？

$$\frac{\partial L}{\partial {\mathbf{h}}_t}=\sum _{i=t}^T{\left({\mathbf{W}}_{hh}^{\top }\right)}^{T-i}{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{T+t-i}}$$

由上式中的指数项可见，当时间步数 $T$ 较大或者时间步 $t$ 较小时，目标函数有关隐藏状态的梯度较容易出现衰减和爆炸。这也会影响其他包含$\partial L/\partial {\mathbf{h}}_t$项的梯度：

例如，隐藏层中模型参数的梯度$\partial L/\partial {\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$和$\partial L/\partial {\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$，结合上图所示，$L$通过${\mathbf{h}}_1,\dots ,{\mathbf{h}}_T$依赖这些模型参数。 依据链式法则，有：

$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{W}}_{hx}}& =\sum _{t=1}^T\text{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hx}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{x}}_t^{\top }\\ \frac{\partial L}{\partial {\mathbf{W}}_{hh}}& =\sum _{t=1}^T\text{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\top }\end{array}$$

如 正向传播、反向传播和计算图 小节所述，对于每次迭代，在上述各梯度依次计算完毕后，会将其进行存储，从而避免重复计算。

例如，由于隐藏状态梯度$\partial L/\partial {\mathbf{h}}_t$被计算和存储，之后的模型参数梯度$\partial L/\partial {\mathbf{W}}_{hx}$和$\partial L/\partial {\mathbf{W}}_{hh}$的计算可以直接读取$\partial L/\partial {\mathbf{h}}_t$的值，而无须重复进行计算。

此外，反向传播中的梯度计算可能会依赖变量的当前值（它们正是通过正向传播计算出来的）。
举例而言，参数梯度$\partial L/\partial {\mathbf{W}}_{hh}$的计算需要依赖隐藏状态在时间步$t=0,\dots ,T-1$的当前值${\mathbf{h}}_t$（${\mathbf{h}}_0$通过初始化得到），这些值是通过从输入层到输出层的正向传播计算并存储得到的。

参考

《动手学深度学习》(TF2.0版)