深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU

翻译：@胡杨([email protected]) && @胥可([email protected])
校对调整：寒小阳 && 龙心尘
时间：2016年7月
出处：
http://blog.csdn.net/han_xiaoyang/article/details/51932536
http://blog.csdn.net/longxinchen_ml/article/details/51940065

说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表

1.语言模型

语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为 m $m$的词汇序列$\{w_1,\ldots,w_m\}$的联合概率被表示为$P(w_1,\dots,w_m)$。由于在得到具体的词汇之前我们会先知道词汇的数量，词汇$w_i$的属性变化会根据其在输入文档中的位置而定，而联合概率$P(w_1,\ldots,w_m)$的计算通常只考虑包含$n$个前缀词的词窗口而非考虑全部的前缀词：

$$P(w_1,\ldots,w_m)=\prod_{i=1}^{i=m}P(w_i|w_1,\ldots,w_{i-1})\approx\prod_{i=1}^{i=m}P(w_i|w_{i-(n-1)},\ldots,w_{i-1})\tag{1}$$

公式1在语音识别和机器翻译系统中对判定一组词序列是否为相应输入序列的正确生成结果有着极为重要的作用。在一个给定的机器翻译系统中，针对各个短语或句子的翻译任务，软件通常被要求生成一组替代词序列（例如：“我已经”；“我曾有”；“我有”；“被我已经”；“被我占有”）以及它们的得分以判定它们是否能组成最优的翻译序列。

在机器翻译任务中，模型通过计量和比较各个替换输出词序列之间的得分优劣，从它们中为输入短语寻找最佳的答案词序列。为了完成这项工作，模型需要经常在词排序和词选择两个任务模型之间切换。而上面提到的目标将通过为所有的候选词序列设置概率计算函数而达成，这个函数将比较这些候选词序列各自的得分。获得最高得分的候选词序列就是机器翻译任务的输出。例如：相比例句“小的这只猫真是”，机器会给例句“这只猫真小”更高的评分，相比“放学后步行去房子”，“放学后步行回家”会得到更高的得分。为了计算这些概率，将比较统计n元语言模型和词频模型的效果。比如，如果选择2元语言模型，语义2元组的词频通过统计当前词和其前面一个词，这就需要与1元语法模型的词频计算方法区分开来。公式2和3分别展示了2元语义模型和3元语义模型在处理这种关系时的做法。

$$p(w_2|w_1)=\frac{count(w_1,w_2)}{count(w_1)}\tag{2}$$
$$p(w_3|w_1,w_2)=\frac{count(w_1,w_2,w_3)}{count(w_1,w_2)}\tag{3}$$

公式3中表现出来的关系集中于基于上下文中固定窗口内容（例如：$n$个前缀词范围）对后续词的预测。在某些情况下，仅仅抽取$n$个前缀词作为窗口范围可能不足以很好地捕捉上下文信息。例如，当一篇文章在后段着重描写西班牙与法国的历史，而在前文中，当你读到“这两个国家走向了战争”这句话时，仅有此句的前文显然不能够让我们识别出这两个国家的命名实体。Bengio等人提出了第一个大规模的深度学习自然语言处理框架，此框架能够通过学习得到词汇的分布化表征捕捉上面提到的这种上下文关系；图1展示了这种神经网络的框架。在这个模型中，输入词向量在隐层和输出层均得到使用。公式4展示了引入标准tanh()函数的softmax()分类函数中的各个参数，这个函数起到线性分类器的作用，$W^{(3)}x+b^{(3)}$,这一组短式代表全体前缀词的输入词向量。

$$\hat{y}=softmax(W^{(2)}tanh(W^{(1)}x+b^{(1)})+W^{(3)}x+b^{(3)})\tag{4}$$
然而，在所有传统的语言模型中，由于包含 $n$长窗口的语言记忆信息规模会随着系统的运行呈指数式的增长，所以面对较大型的词窗口，如果不将记忆信息单独抽离处理，上面的任务几乎是不可能完成的。

图1

2.递归神经网络（RNN）

不同于传统的机器翻译模型仅仅考虑有限的前缀词汇信息作为语义模型的条件项，递归神经网络（RNN）有能力将语料集中的全部前序词汇纳入模型的考虑范围。
图2展示了RNN模型的架构，其中各个垂直矩形框代表每轮迭代的隐层，$t.$每个这样的隐层都拥有若干神经元，每个神经元都对输入向量执行线性矩阵操作而通过非线性操作输出结果（例如，tanh()函数）。在每一轮迭代中，前一步迭代的输出随着文档中下一条词汇的词向量而变化， $x_t$，是隐层的输入且隐层将产生预测输出值 $\hat{y}$和提供给下一层隐层的输出特征向量 $h_t$（见公式5和公式6）。单独每个神经元的输入和输出情况如图3所示。

图2

$$h_t=\sigma(W^{(hh)}h_{t-1}+W^{(hx)}x_{[t]})\tag{5}$$
$$\hat{y}_t=softmax(W^{(S)}h_t)\tag{6}$$
网络中各个参数的设置细节及含义如下：

• $x_1,\ldots,x_{t-1},x_t,x_{t+1},\ldots,x_T$：表示拥有$T$数量词汇的语料中各个词汇对应的词向量。
• $h_t=\sigma(W^{(hh)}h_{t-1}+W^{(hx)}x_t)$：每一轮迭代$t$中用于计算隐层输出特征的传递边
  — $x_t\in\mathbb{R}^d$：在时刻$t$的输入词向量。
  — $W^{hx}\in\mathbb{R}^{D_h\times d}$：利用输入词向量$x_t$作为条件计算得到的权重矩阵
  — $W^{hh}\in\mathbb{R}^{D_h\times D_h}$：利用前一轮迭代的输出作为条件计算得到的权重矩阵
  — $h_{t-1}\in\mathbb{R}^{D_h}$：在前一轮迭代$t-1$中非线性函数的输出结果。并且$h_0\in\mathbb{R}^{D_h}$为当迭代轮次为$t=0$时的初始化隐层输出向量。
  — $\sigma()$：为非线性分类函数（这里使用sigmoid分类函数）
• $\hat{y}_t=softmax(W^{(S)}h_t)$：每一轮迭代$t$针对全部词汇的输出概率分布。基本上，