直观解读【时间反向传播bptt】

时间反向传播bptt

• 每个时间步的隐状态和输出为：$$\begin{array}{rl}{h}_t& =f(x_t,h_{t-1},w_h),\\ o_t& =g(h_t,w_o),\end{array}$$其中$f$和$g$分别是隐藏层和输出层的变换。因此，我们有一个链 { … , ( x t − 1 , h t − 1 , o t − 1 ) , ( x t , h t , o t ) , … } \{\ldots, (x_{t-1}, h_{t-1}, o_{t-1}), (x_{t}, h_{t}, o_t), \ldots\} {…,(xt−1​,ht−1​,ot−1​),(xt​,ht​,ot​),…}，它们通过循环计算彼此依赖。

• 前向传播相当简单，一次一个时间步的遍历三元组$(x_t,h_t,o_t)$，然后通过一个目标函数在所有$T$个时间步内
  评估输出$o_t$和对应的标签$y_t$之间的差异：$$L(x_1,\dots ,x_T,y_1,\dots ,y_T,w_h,w_o)=\frac{1}{T}\sum _{t=1}^{T}l(y_t,o_t).$$

• 反向传播有点棘手，特别是当我们计算目标函数$L$关于参数$w_h$的梯度时。具体来说，按照链式法则：$$\begin{array}{rl}\frac{\partial L}{\partial w_h}& =\frac{1}{T}\sum _{t=1}^T\frac{\partial l(y_t,o_t)}{\partial w_h}\\ & =\frac{1}{T}\sum _{t=1}^T\frac{\partial l(y_t,o_t)}{\partial o_t}\frac{\partial g(h_t,w_o)}{\partial h_t}\frac{\partial h_t}{\partial w_h}.\end{array}$$

  乘积的第一项和第二项很容易计算，第三项$\partial h_t/\partial w_h$则困难，因为我们需要循环地计算参数$w_h$对$h_t$的影响。
  根据递归的计算式，$h_t$既依赖于$h_{t-1}$又依赖于$w_h$，其中$h_{t-1}$的计算也依赖于$w_h$。

  因此，使用链式法则产生：$$\frac{\partial h_t}{\partial w_h}=\frac{\partial f(x_t,h_{t-1},w_h)}{\partial w_h}+\frac{\partial f(x_t,h_{t-1},w_h)}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial w_h}.$$ (注意是加号！)

• 假设我们有三个序列 { a t } , { b t } , { c t } \{a_{t}\},\{b_{t}\},\{c_{t}\} {at​},{bt​},{ct​}，当$t=1,2,\dots$时，序列满足$a_0=0$且$a_t=b_t+c_t{a}_{t-1}$。对于$t\ge 1$很容易得出：$$a_t=b_t+\sum _{i=1}^{t-1}\left(\prod _{j=i+1}^t{c}_j\right)b_i.$$ 基于下列公式替换$a_t$、$b_t$和$c_t$：

  $$\begin{array}{rl}{a}_t& =\frac{\partial h_t}{\partial w_h},\\ b_t& =\frac{\partial f(x_t,h_{t-1},w_h)}{\partial w_h},\\ c_t& =\frac{\partial f(x_t,h_{t-1},w_h)}{\partial h_{t-1}},\end{array}$$

  因此，我们可以使用下面的公式移除原公式种的循环计算$$\frac{\partial h_t}{\partial w_h}=\frac{\partial f(x_t,h_{t-1},w_h)}{\partial w_h}+\sum _{i=1}^{t-1}\left(\prod _{j=i+1}^t\frac{\partial f(x_j,h_{j-1},w_h)}{\partial h_{j-1}}\right)\frac{\partial f(x_i,h_{i-1},w_h)}{\partial w_h}.$$
  虽然我们可以使用链式法则递归地计算$\partial h_t/\partial w_h$，但当$t$很大时这个链就会变得很长。

• 一些方法

  • 完全计算：显然我们可以仅仅计算上式中的全部总和，然而不仅计算缓慢，还可能会发生梯度爆炸，因为初始条件的微小变化就可能会对结果产生巨大的影响（类似蝴蝶效应），因此完全计算不可取。
  • **截断时间步：**我们可以在$\tau$步后截断，即将求和终止为$\partial h_{t-\tau }/\partial w_h$​。这样做导致该模型主要侧重于短期影响，而不是长期影响，在现实中是可取，因为它会将估计值偏向更简单和更稳定的模型。
  • 随机截断：用一个随机变量替换$\partial h_t/\partial w_h$，该变量通过使用序列${\xi }_t$来实现，序列预定义了$0\le {\pi }_t\le 1$其中 $P({\xi }_t=0)=1-{\pi }_t$且$P({\xi }_t={\pi }_t^{-1})={\pi }_t$，因此$E[{\xi }_t]=1$。我们使用它来替换梯度$\partial h_t/\partial w_h$得到$$z_t=\frac{\partial f(x_t,h_{t-1},w_h)}{\partial w_h}+{\xi }_t\frac{\partial f(x_t,h_{t-1},w_h)}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial w_h}.$$从${\xi }_t$的定义中推导出来$E[z_t]=\partial h_t/\partial w_h$。每当${\xi }_t=0$时，递归计算终止在这个$t$时间步。这导致了不同长度序列的加权和，其中长序列出现的很少，所以将适当地加大权重。（理论上具有吸引力，由于多种因素在实践中并不比常规截断更好）

• Best：通过时间反向传播的

  考虑一个没有偏置参数的循环神经网络，其在隐藏层中的激活函数使用恒等映射（$\varphi (x)=x$​）对于时间步$t$，设单个样本的输入及其对应的标签分别为${\mathbf{x}}_t\in {\mathbb{R}}^d$ 和 $y_t$。

  隐状态和输出为 $$\begin{array}{rl}{\mathbf{h}}_t& ={\mathbf{W}}_{hx}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1},\\ {\mathbf{o}}_t& ={\mathbf{W}}_{qh}{\mathbf{h}}_t,\end{array}$$其中权重参数为${\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$，${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$和${\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$

  用$l({\mathbf{o}}_t,y_t)$表示时间步$t$处的损失函数，则总体损失为$$L=\frac{1}{T}\sum _{t=1}^{T}l({\mathbf{o}}_t,y_t).$$ 计算图如下：

通常，训练该模型需要对这些参数进行梯度计算：$\partial L/\partial {\mathbf{W}}_{hx}$、$\partial L/\partial {\mathbf{W}}_{hh}$和$\partial L/\partial {\mathbf{W}}_{qh}$。

首先计算目标函数关于输出层中参数${\mathbf{W}}_{qh}$的梯度$\partial L/\partial {\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$

在任意时间步$t$，目标函数关于模型输出的微分计算是相当简单的：$$\frac{\partial L}{\partial {\mathbf{o}}_t}=\frac{\partial l({\mathbf{o}}_t,y_t)}{T\cdot \partial {\mathbf{o}}_t}\in {\mathbb{R}}^q.$$因此我们得到
$$\frac{\partial L}{\partial {\mathbf{W}}_{qh}}=\sum _{t=1}^T\text{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{W}}_{qh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{o}}_t}{\mathbf{h}}_t^{\top },$$

其中prod运算符将根据两个输入的形状，在必要的操作后对两个输入做乘法。

• 在最后的时间步$T$，目标函数$L$仅通过${\mathbf{o}}_T$依赖于隐状态${\mathbf{h}}_T$，因此通过链式法可以很容易地得到梯度$\partial L/\partial {\mathbf{h}}_T\in {\mathbb{R}}^h$：$$\frac{\partial L}{\partial {\mathbf{h}}_T}=\text{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_T},\frac{\partial {\mathbf{o}}_T}{\partial {\mathbf{h}}_T}\right)={\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_T}.$$

• 当目标函数$L$通过${\mathbf{h}}_{t+1}$和${\mathbf{o}}_t$依赖${\mathbf{h}}_t$时，对于任意时间步$t<T$来说都变得更加棘手。根据链式法则，隐状态的梯度$\partial L/\partial {\mathbf{h}}_t\in {\mathbb{R}}^h$在任何时间步骤$t<T$​时都可以递归地计算为：$$\frac{\partial L}{\partial {\mathbf{h}}_t}=\text{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_{t+1}},\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t}\right)+\text{prod}\left(\frac{\partial L}{\partial {\mathbf{o}}_t},\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t}\right)={\mathbf{W}}_{hh}^{\top }\frac{\partial L}{\partial {\mathbf{h}}_{t+1}}+{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_t}.$$

  为了进行分析，对于任何时间步$1\le t\le T$展开递归计算得$$\frac{\partial L}{\partial {\mathbf{h}}_t}=\sum _{i=t}^T{\left({\mathbf{W}}_{hh}^{\top }\right)}^{T-i}{\mathbf{W}}_{qh}^{\top }\frac{\partial L}{\partial {\mathbf{o}}_{T+t-i}}.$$

这个简单的线性例子已经展现了长序列模型的一些关键问题：它陷入到${\mathbf{W}}_{hh}^{\top }$的潜在的非常大的幂。在这个幂中，小于1的特征值将会消失，大于1的特征值将会发散。这在数值上是不稳定的，表现形式为梯度消失或梯度爆炸。解决此问题的一种方法是按照计算方便的需要截断时间步长的尺寸。实际上，这种截断是通过在给定数量的时间步之后分离梯度来实现的。

最后，为了计算$\partial L/\partial {\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$和$\partial L/\partial {\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$，我们应用链式规则得：

$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{W}}_{hx}}& =\sum _{t=1}^T\text{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hx}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{x}}_t^{\top },\\ \frac{\partial L}{\partial {\mathbf{W}}_{hh}}& =\sum _{t=1}^T\text{prod}\left(\frac{\partial L}{\partial {\mathbf{h}}_t},\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}\right)=\sum _{t=1}^T\frac{\partial L}{\partial {\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\top },\end{array}$$

其中$\partial L/\partial {\mathbf{h}}_t$是递归计算得到的，是影响数值稳定性的关键量。

由于通过时间反向传播是反向传播在循环神经网络中的应用方式，所以训练循环神经网络交替使用前向传播和通过时间反向传播。通过时间反向传播依次计算并存储上述梯度。具体而言，存储的中间值会被重复使用，以避免重复计算，例如存储$\partial L/\partial {\mathbf{h}}_t$，以便在计算$\partial L/\partial {\mathbf{W}}_{hx}$和$\partial L/\partial {\mathbf{W}}_{hh}$时使用。