神经翻译笔记4. 循环神经网络（RNN）

本文来自于如下来源

• [Neubig2017]第6节(主要来源，结构遵从此文)
• [Koehn2017]13.4.4、13.4.5、13.4.6三小节
• NNMNLP第14、15章
• 花书第十章
• CS224n第6、7讲(2019年春)

---

前面介绍的三种语言模型(N元语法、log-linear语言模型和神经网络语言模型)尽管在表示能力上逐渐变强，但是仍然没有摆脱一项桎梏：需要给定一个窗口大小，而且通常这个窗口宽度不会太大。但是语言里通常会有长距离依赖现象，例如He doesn’t have very much confidence in himself，这里himself只是受到句首He的影响——如果句首是She，那么末尾这个词就要变成herself了！这样的现象在英语里比较多，在其它语言里甚至可以超级多：一方面，很多语言形态更加丰富，名词有变格，动词有变位。另一方面，一些语言有自己独特的语法结构，例如德语里丧心病狂的句框结构/框型结构：ich muss morgen zur Uni gehen，这里实意动词gehen与其搭配的情态动词muss遥相呼应，在这种情况下，固定小窗口的语言模型能力显得不足

除却语法的层面，语义上也需要对单词的长距离依赖建模。这里最典型的问题是选择依赖/选择约束问题，即从语义上讲，当上文出现某个单词时，它会潜在地约束之后哪些单词更可能出现，哪些单词更不可能出现。例如前文出现eat，后文很可能出现fork(作为eat的器具)或者friend(作为一起eat的人)，但是出现wall感觉就不太合理。这种依赖约束也可能横跨多个单词，难以被简单模型所捕捉

最后，文档内，句与句之间(或者句内)，也需要遵守主题一致性和风格一致性。一篇讨论体育的文章不适合突然拐到母猪的产后护理，一篇严谨的学术论文（一般情况下）也不应该突然出现乡间俚语

综上所述，需要一种能力更强，能够捕捉词语长距离依赖关系的模型。在这种背景下，循环神经网络(Recurrent Neural Network, RNN)应运而生

普通RNN (Vanilla RNN)

普通RNN的核心思想是引入时刻的概念，此时每一时刻$t$的隐藏单元${\mathbf{h}}_t$不再只依赖于这一时刻的模型输入${\mathbf{x}}_t$，也依赖于上一时刻的隐藏单元${\mathbf{h}}_{t-1}$，即
$${\mathbf{h}}_t=\{\begin{array}{ll}\tanh ({\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+{\mathbf{b}}_t)& t\ge 1\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$
这样一来，若干个时刻之前的隐藏单元状态可以依次传输到当前的隐藏单元，使得模型可以对长距离依赖关系建模。引入输入层和softmax层后，模型的结构为
$$\begin{array}{rl}{\mathbf{m}}_t& ={\mathbf{M}}_{\cdot ,e_{t-1}}\\ {\mathbf{h}}_t& =\{\begin{array}{ll}\tanh ({\mathbf{W}}_{mh}{\mathbf{m}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+{\mathbf{b}}_t)& t\ge 1\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\\ {\mathbf{p}}_t& =\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathbf{W}}_{hs}{\mathbf{h}}_t+{\mathbf{b}}_s)\end{array}$$
此时模型不需要再显式依赖上文的多个单词 (即在每一时刻$t$只需要接收一个单词作为输入)，上文的全部信息可以看做都包含在了上游传递过来的上一时刻隐藏状态${\mathbf{h}}_{t-1}$里

对上式记号稍作变化，
$$\begin{array}{rl}{\mathbf{x}}^{(t)}& ={\mathbf{E}}_{\cdot ,e^{(t-1)}}\\ {\mathbf{s}}^{(t)}& =\{\begin{array}{ll}\tanh (\mathbf{U}{\mathbf{x}}^{(t)}+\mathbf{W}{\mathbf{s}}^{(t-1)}+{\mathbf{b}}_s)& t\ge 1\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\\ {\mathbf{o}}^{(t)}& =\mathbf{V}{\mathbf{s}}^{(t)}+{\mathbf{b}}_o\\ {\hat{\mathbf{y}}}^{(t)}& =\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathbf{o}}^{(t)})\end{array}$$
可以用如下示意图来表示上述RNN结构，其中右半部分可以看做是RNN网络的"展开形式"(图片来源：Nature)

可以将上面的模型描述简写为
$$\begin{array}{rl}{\mathbf{x}}^{(t)}& ={\mathbf{E}}_{\cdot ,e^{(t-1)}}\\ {\mathbf{s}}^{(t)}& =\mathrm{R}\mathrm{N}\mathrm{N}\left({\mathbf{x}}^{(t)},{\mathbf{s}}^{(t-1)}\right)\\ {\mathbf{o}}^{(t)}& =\mathbf{V}{\mathbf{s}}^{(t)}+{\mathbf{b}}_o\\ {\hat{\mathbf{y}}}^{(t)}& =\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({\mathbf{o}}^{(t)}\right)\end{array}$$

RNN的反向传播

（本节参考了《循环神经网络（RNN）模型与前向反向传播算法》和Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients）

由上面的模型描述可以看出，模型在第$t$时刻的输出${\mathbf{o}}^{(t)}$不再只依赖于该时刻的隐藏状态${\mathbf{s}}^{(t)}$，而是还依赖于上游所有时刻的隐藏状态${\mathbf{s}}^{(1)},\dots ,{\mathbf{s}}^{(t-1)}$。反过来，$t$时刻的隐藏状态${\mathbf{s}}^{(t)}$不止直接决定该时刻的输出${\mathbf{o}}^{(t)}$，也直接影响了下一时刻隐藏状态${\mathbf{s}}^{(t+1)}$（此外还间接影响了下游所有隐藏状态，这里先不论），因此误差对${\mathbf{s}}^{(t)}$的梯度有两个直接来源。又因为${\mathbf{s}}^{(t)}$由参数$\mathbf{U}$、$\mathbf{W}$和$\mathbf{b}$算出，因此这三个参数的更新不仅受到第$t$时刻输出${\mathbf{o}}^{(t)}$的影响，也受到第$t+1$时刻隐藏状态${\mathbf{s}}^{(t+1)}$的影响。即反向传播时梯度会沿"时间"向上游传播，因此RNN的反向传播也被称作为经由时间的反向传播 (Back-Propagation Through Time, BPTT)

下面进行推导：对上面的模型描述引入一个中间记号，并稍作记号上的替换，有
$$\begin{array}{rl}{\mathbf{a}}^{(t)}& =\mathbf{U}{\mathbf{x}}^{(t)}+\mathbf{W}{\mathbf{s}}^{(t-1)}+\mathbf{b}\\ {\mathbf{s}}^{(t)}& =\tanh \left({\mathbf{a}}^{(t)}\right)\\ {\mathbf{o}}^{(t)}& =\mathbf{V}{\mathbf{s}}^{(t)}+\mathbf{c}\\ {\hat{\mathbf{y}}}^{(t)}& =\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({\mathbf{o}}^{(t)}\right)\end{array}\text{\hspace{1em}(1)}$$
假设使用交叉熵作为模型的损失函数，由于每个时刻都有一个最终输出${\hat{\mathbf{y}}}^{(t)}$，因此模型的总损失函数为
$$\begin{array}{rl}E(\mathbf{y},\hat{\mathbf{y}})& =\sum _t{E}^{(t)}\left({\mathbf{y}}^{(t)},{\hat{\mathbf{y}}}^{(t)}\right)\\ E^{(t)}\left({\mathbf{y}}^{(t)},{\hat{\mathbf{y}}}^{(t)}\right)& =-\sum _{i=1}^{|V|}{y}_i^{(t)}\log {\hat{y}}_i^{(t)}\end{array}$$
假设模型各参数、输入、输出和中间结果维度为
$$\begin{array}{rl}{\hat{\mathbf{y}}}^{(t)},{\mathbf{o}}^{(t)},\mathbf{c}& \in {\mathbb{R}}^{|V|\times 1}\\ {\mathbf{s}}^{(t)},{\mathbf{a}}^{(t)},\mathbf{b}& \in {\mathbb{R}}^{h\times 1}\\ \mathbf{x}& \in {\mathbb{R}}^{d\times 1}\\ \mathbf{U}& \in {\mathbb{R}}^{h\times d}\\ \mathbf{W}& \in {\mathbb{R}}^{h\times h}\\ \mathbf{V}& \in {\mathbb{R}}^{|V|\times h}\end{array}$$
由于$\mathbf{V}$和$\mathbf{c}$不依赖于之前时刻的内容，因此比较容易计算。考虑到
$$\frac{\partial E}{\partial {\mathbf{o}}^{(t)}}=\frac{\partial E}{\partial E^{(t)}}\frac{\partial E^{(t)}}{\partial {\mathbf{o}}^{(t)}}=\frac{\partial E^{(t)}}{\partial {\mathbf{o}}^{(t)}}={\hat{\mathbf{y}}}^{(t)}-{\mathbf{y}}^{(t)}:={\mathbf{\delta }}_1^{(t)}$$
可得
$$\begin{array}{rl}\frac{\partial E}{\partial \mathbf{c}}& =\sum _{t=1}^T\frac{\partial E^{(t)}}{\partial {\mathbf{o}}^{(t)}}\frac{\partial {\mathbf{o}}^{(t)}}{\partial \mathbf{c}}=\sum _{t=1}^T{\mathbf{\delta }}_1^{(t)}\\ \frac{\partial E}{\partial \mathbf{V}}& =\end{array}$$