深度学习笔记之循环神经网络(九)GRU的反向传播过程

引言

上一节介绍了门控循环单元$(\text{Gate Recurrent Unit,GRU})$，本节我们参照$\text{LSTM}$反向传播的格式，观察$\text{GRU}$的反向传播过程。

回顾：$\text{GRU}$的前馈计算过程

$\text{GRU}$的前馈计算过程表示如下：
为了后续的反向传播过程，将过程分解的细致一些。其中${\tilde{\mathcal{Z}}}^{(t)},{\tilde{r}}^{(t)}$分别表示更新门、重置门的线性计算过程。
$$\{\begin{array}{l}\begin{array}{rl}& {\tilde{\mathcal{Z}}}^{(t)}={\mathcal{W}}_{\mathcal{H}\Rightarrow \mathcal{Z}}\cdot h^{(t-1)}+{\mathcal{W}}_{\mathcal{X}\Rightarrow \mathcal{Z}}\cdot x^{(t)}+b_{\mathcal{Z}}\\ & {\mathcal{Z}}^{(t)}=\sigma ({\tilde{\mathcal{Z}}}^{(t)})\\ & {\tilde{r}}^{(t)}={\mathcal{W}}_{\mathcal{H}\Rightarrow r}\cdot h^{(t-1)}+{\mathcal{W}}_{\mathcal{X}\Rightarrow r}\cdot x^{(t)}+b_r\\ & r^{(t)}=\sigma ({\tilde{r}}^{(t)})\\ & {\tilde{h}}^{(t)}=\text{Tanh}\left[{\mathcal{W}}_{\mathcal{H}\Rightarrow \tilde{\mathcal{H}}}\cdot (r^{(t)}\ast h^{(t-1)})+{\mathcal{W}}_{\mathcal{X}\Rightarrow \tilde{\mathcal{H}}}\cdot x^{(t)}+b_{\tilde{\mathcal{H}}}\right]\\ & h^{(t)}=(1-{\mathcal{Z}}^{(t)})\ast h^{(t-1)}+{\mathcal{Z}}^{(t)}\ast {\tilde{h}}^{(t)}\end{array}\end{array}$$

场景设计

上述仅描述的是$\text{GRU}$关于序列信息$h^{(t)}(t=1,2,\cdots ,\mathcal{T})$的迭代过程。各时刻的输出特征以及损失函数于循环神经网络相同：

• 使用$\text{Softmax}$激活函数，其输出结果作为模型对$t$时刻的预测结果：
  $$\{\begin{array}{l}{\mathcal{C}}^{(t)}={\mathcal{W}}_{\mathcal{H}\Rightarrow \mathcal{C}}\cdot h^{(t)}+b_h\\ {\hat{y}}^{(t)}=\text{Softmax}({\mathcal{C}}^{(t)})\end{array}$$
• 关于$t$时刻预测结果${\hat{y}}^{(t)}$与真实分布$y^{(t)}$之间的偏差信息使用交叉熵$(\text{CrossEntropy})$进行表示：
  其中$n_{\mathcal{Y}}$表示预测/真实分布的维数。
  $${\mathcal{L}}^{(t)}=\mathcal{L}\left[{\hat{y}}^{(t)},y^{(t)}\right]=-\sum _{j=1}^{n_{\mathcal{Y}}}{y}_j^{(t)}\log \left[{\hat{y}}_j^{(t)}\right]$$
• 所有时刻交叉熵结果的累加和构成完整的损失函数$\mathcal{L}$：
  $$\begin{array}{rl}\mathcal{L}& =\sum _{t=1}^{\mathcal{T}}{\mathcal{L}}^{(t)}\\ & =\sum _{t=1}^{\mathcal{T}}\mathcal{L}\left[{\hat{y}}^{(t)},y^{(t)}\right]\end{array}$$

反向传播过程

$\mathcal{T}$时刻的反向传播过程

以$\mathcal{T}$时刻重置门$\begin{array}{r}\frac{\partial \mathcal{L}}{\partial {\mathcal{W}}_{h^{(\mathcal{T})}\Rightarrow {\mathcal{Z}}^{(\mathcal{T})}}}\end{array}$的反向传播为例：

• 计算梯度$\begin{array}{r}\frac{\partial \mathcal{L}}{\partial {\mathcal{L}}^{(\mathcal{T})}}\end{array}$：
  其中仅有${\mathcal{L}}^{(\mathcal{T})}$一项存在梯度，其余项均视作常数。
  $$\frac{\partial \mathcal{L}}{\partial {\mathcal{L}}^{(\mathcal{T})}}=\frac{\partial }{\partial {\mathcal{L}}^{(\mathcal{T})}}\left[\sum _{t=1}^{\mathcal{T}}{\mathcal{L}}^{(t)}\right]=0+0+\cdots +1=1$$
• 计算梯度$\begin{array}{r}\frac{\partial {\mathcal{L}}^{(\mathcal{T})}}{\partial {\mathcal{C}}^{(\mathcal{T})}}\end{array}$：
  关于$\text{Softmax}$激活函数与交叉熵组合的梯度描述，见循环神经网络——$\text{Softmax}$函数的反向传播过程一节，这里不再赘述。
  $$\begin{array}{rl}& \{\begin{array}{l}{\mathcal{L}}^{(\mathcal{T})}=-{\sum }_{j=1}^{n_{\mathcal{Y}}}{y}_j^{(\mathcal{T})}\log [\end{array}\\ & \end{array}$$