深度学习笔记之循环神经网络(八)LSTM的轻量级变体——门控循环单元(GRU)

引言

上一节介绍了从反向传播过程的角度认识$\text{LSTM}$如何抑制梯度消失的问题。本节以$\text{LSTM}$的问题为引，介绍它的一种轻量级变体——门控循环单元。

回顾：$\text{LSTM}$的前馈计算过程

关于$\text{LSTM}$的结构展开图与前馈计算过程表示如下：

对应一个单元$(\text{Cell})$的前馈计算过程：
$$\{\begin{array}{l}\begin{array}{rl}& f^{(t)}=\sigma \left[{\mathcal{W}}_{\mathcal{H}\Rightarrow \mathcal{F}}\cdot h^{(t-1)}+{\mathcal{W}}_{\mathcal{X}\Rightarrow \mathcal{F}}\cdot x^{(t)}+b_{\mathcal{F}}\right]\\ & i^{(t)}=\sigma \left[{\mathcal{W}}_{\mathcal{H}\Rightarrow \mathcal{I}}\cdot h^{(t-1)}+{\mathcal{W}}_{\mathcal{X}\Rightarrow \mathcal{I}}\cdot x^{(t)}+b_{\mathcal{I}}\right]\\ & {\tilde{\mathcal{C}}}^{(t)}=\text{Tanh}\left[{\mathcal{W}}_{\mathcal{H}\Rightarrow \tilde{\mathcal{C}}}\cdot h^{(t-1)}+{\mathcal{W}}_{\mathcal{X}\Rightarrow \tilde{\mathcal{C}}}\cdot x^{(t)}+b_{\tilde{\mathcal{C}}}\right]\\ & {\mathcal{C}}^{(t)}=f^{(t)}\ast {\mathcal{C}}^{(t-1)}+i_t\ast {\tilde{\mathcal{C}}}^{(t)}\\ & o^{(t)}=\sigma \left[{\mathcal{W}}_{\mathcal{H}\Rightarrow \mathcal{O}}\cdot h^{(t-1)}+{\mathcal{W}}_{\mathcal{X}\Rightarrow \mathcal{O}}\cdot x^{(t)}+b_{\mathcal{O}}\right]\\ & h^{(t)}=o^{(t)}\ast \end{array}\end{array}$$