NLP（自然语言处理）：Improving Neural Language Modeling via Adversarial Training 通过对抗噪音提升神经语言模型

---

前言

本篇文章来自Dilin Wang et al. 于2019年发表的文章：Improving Neural Language Modeling via Adversarial Training. 文章通过引入对抗模型的方式缓解了低频词的训练问题。

---

0. 摘要(Abstract)

近年来，深度学习的应用在语言模型的提升上带来了明显的提升。然而，在实现过程中，大规模的自然语言模型会出现过拟合的情况。在这篇文章中，我们提出了一个简单但高效的对抗训练机制对自然语言模型进行正则化处理。这项方法在训练时，于输出层的词嵌处引入了一个对抗噪音。我们展示出，在对对抗噪音的优化中存在一个简单的闭式解，因此，可以借此形式来设计一个简单有效的优化算法。理论上，我们发现了此算法可以显著的提高算法词嵌向量的多样性，以提高算法的鲁棒能力。从实验中，我们的算法将SOTA算法在PTB和Wikitext-2数据集上取得了46.01和38.07的复杂度。当我们的算法应用于机器翻译中时，可以在基于transformer模型获得一定提升，并在两项翻译数据集中均取得了BLEU的提升。

1. 引言(Introduction)

基于统计的语言模型中，机器翻译是一项测试模型的基本任务。其应用十分广阔，包括自动语音识别，机器翻译和机器视觉等。近年来，深度神经网络已经变成构建语言模型时最强劲的模型之一。而不幸的是，在训练大型RNN模型时，一项主要的挑战在于模型趋于过拟合，这样的问题通常都起源于RNN模型的高复杂度和自然语言输入的离散性。虽然许多正则化技术都用于解决此类问题，如early stop和dropout。但在现行的模型算法上，模型的训练集结果与测试集结果相差甚远，表明过拟合仍然是最常见出现的问题。

此篇文章中，我们设计了一种简单但十分有效的 极小化极大训练策略(minimax training strategy) 用于正则化。我们的想法是将一个对抗扰动加于语言模型的softmax层中的词嵌矩阵之上，并优化参数，以能最大化对抗扰动/噪音对模型的影响。值得注意的是，在我们的模型中，我们为这项扰动的优化设计了一个十分简单和高效的算法，可以让我们十分轻松的将其部署在传统模型中，而不带来额外的训练参数。

我们模型在理论上有一个十分复杂却讨好的理论特性，它可以高效促进词嵌向量的多样性，可以提升自然语言模型的泛化能力。在之前的工作中，为词嵌加入多样性这样的要求，通常通过添加额外的多样性惩罚项这种显性的方式完成。这种方式会影响优化中似然的计算，且在词表数很大时，计算成本很高。有趣的是，我们提出的这种对抗方法不需要添加额外的惩罚项，并且对比一般的正则方法，能更高效的计算。

从实验中，我们发现这种对抗算法能显著的提升在语言模型和机器翻译中SOTA算法的效果。对语言模型来说，我们建立了一个新兴的模型并在各个数据集均取得了SOTA的结果。

2. 背景：神经语言模型(Background: Neural Language Model)

一般来说，word-level的语言模型，其原理都基于条件向量的链式法则，即:

$$p(x_{1:T}=\prod _{t=1}^{T}p(x_t|x_{1:t-1})),\text{\hspace{1em}(1)}$$

其中$x_{1:T}=[x_1,x_2,...,x_T]$ 代表了一个长度为T的句子，$x_t\in \mathcal{V}$ 是第t个词，$\mathcal{V}$代表了字典集。在现代的自然语言模型中，条件概率$p(x_t|x_{1:t-1})$通常会被RNN所表征，其中每个时间步$t$ 的上下文表示为$x_{1:t-1}$，并且由一个隐层向量 $h_t\in {\mathbb{R}}^{d_h}$ 递归表征：

$$h_t=f(x_{t-1},h_{t-1};\mathbf{\theta }),\text{\hspace{1em}(2)}$$

其中，$f$代表了一个非线性映射，$\theta$代表可训练的参数。接下来，条件概率就可以通过一个softmax方程进行表征：

$$\begin{array}{rl}p(x_t|x_{1:t-1};\mathbf{\theta };\mathbf{\omega })& =Softmax(x_t,\mathbf{\omega },h_t)\\ & :=\frac{exp({\omega }_{x_t}^{\mathrm{T}}{h}_t)}{{\sum }_{l=1}^{|\mathcal{V}|}exp(w_l^{\mathrm{T}}{h}_t)},\end{array}\text{\hspace{1em}(3)}$$

其中 $\mathbf{\omega }={\omega }_i\subset {\mathbb{R}}^d$ 为Softmax的参数；${\omega }_i$可以被看作词 $i\in \mathcal{V}$ 的词嵌矩阵，$h_t$ 是上下文 $x_{1:t-1}$ 的隐藏表达。内积 ${\omega }_{x_t}^{\mathrm{T}}{h}_t$ 衡量了词 $x_t$ 与其之前的上下文语境 $x_{1:t-1}$ 的相似度，并使用softmax函数将其转化为一个概率值。

在实现过程中，非线性映射 $f$ 由RNN的结构决定，如LSTM，GRU等。这种映射关系可能会用于另一种词嵌入向量集 ${\omega }_i^{\prime }\in {\mathbb{R}}^{d^{\prime }}$ 即

$$f(x_{t-1},h_{t-1};\mathbf{\theta })=f_{RNN}(w_{x_{t-1}}^{\prime },h_{t-1};{\mathbf{\theta }}^{\prime }),$$

其中${\mathbf{\theta }}^{\prime }$为RNN中$f_{RNN}$的权重，$\mathbf{\theta }=[{\omega }^{\prime },{\theta }^{\prime }]$，会和 $\omega$ 一起训练。这里，${\omega }_i^{\prime }$是词得嵌入矩阵，它会在输入段被模型训练，也就是我们说的输入词嵌矩阵。而 ${\omega }_i$ 是输出词嵌矩阵。一种常用的技巧是令这两个词嵌矩阵为一个矩阵，我们称之为权重绑定(Weigh tying)，其能减少训练所需的总参数量，并带来一定的提升。

在给定一系列句子为 { x 1 : T l } l \{x_{1:T}^l\}_l {x1:Tl​}l​时，参数 $\mathbf{\theta }$ 和 $\mathbf{\omega }$ 会通过最大似然同时训练：

max ⁡ θ , ω { L ( θ , ω ) : = ∑ t , l l o g p ( x t l ∣ x 1 : t − 1 l ; θ , ω ) } . (4) \max_{\theta, \omega}\{\mathcal L(\bm\theta, \bm\omega):=\sum_{t, l}log p(x_t^l|x_{1:t-1}^l; \bm\theta, \bm\omega)\}. \tag4 θ,ωmax​{L(θ,ω):=t,l∑​logp(xtl​∣x1:t−1l​;θ,ω)}.(4)

这样的优化同时训练了大量的参数$[\mathbf{\theta },\mathbf{\omega }]$，训练同时包括了神经元中的参数，和词嵌矩阵中的参数，因此在实现中很容易引起过拟合。

3. 主要方法(Main Method)

基于在输出词嵌 ${\omega }_i$ 中加入对抗扰动，我们提出了一个简单的算法可以有效地减缓深度自然语言模型中的过拟合问题（如式3所示）。我们的方法简单的出奇，对比于标准的最大似然训练，几乎没有引入额外的计算量，却在一些挑战中带来了巨大的提升。我们也将输出词嵌矩阵画了出来，以展示其提升了输出词嵌向量 { ω i } \{\omega_i\} {ωi​} 的多样性。而这种多样性提升普遍能为结果的鲁棒性带来提升。

3.1. 对抗最大似然估计(Adversarial MLE)

我们的想法是在输出词嵌向量 { ω i } \{\omega_i\} {ωi​} 的最大似然训练中引入一个对抗噪音：

max ⁡ θ , ω min ⁡ { δ j ; t , l } ∑ t , l l o g   p ( x t l ∣ x 1 : t − 1 l ; θ , { ω j + δ j ; t , l } ) s . t . ∣ ∣ δ j ; t , l ∣ ∣ ≤ ϵ / 2 , ∀ j , t , l , (5) \max_{\bm\theta, \bm\omega} \min_{\{\delta_{j;t,l}\}} \sum_{t,l}log\ p(x_t^l | x_{1:t-1}^l; \bm\theta, \{\omega_j + \delta_{j;t, l}\}) \\ s.t. ||\delta_{j;t,l}|| \le \epsilon/2, \forall j, t, l, \tag 5 θ,ωmax​{δj;t,l​}min​t,l∑​log p(xtl​∣x1:t−1l​;θ,{ωj​+δj;t,l​})s.t.∣∣δj;t,l​∣∣≤ϵ/2,∀j,t,l,(5)

其中 ${\delta }_{j;t,l}$ 是对于词 ${\omega }_j,j\in \mathcal{V}$ 的一个对抗扰动项，其位置在对第 $l$ 个句子的第 $t$ 个位置。我们使用 $||\cdot ||$ 来表示L2正则项；$ϵ$ 用于控制扰动项的大小。
上述方程有一个显著的特点：在固定模型参数 $[\mathbf{\theta },\mathbf{\omega }]$ 下，对抗扰动项 δ = { δ i ; t , l } \bm\delta=\{\delta_{i;t,l}\} δ={δi;t,l​} 有一个简单的闭式解，通过这个闭式解，我们可以推导出一个简单有效的算法（算法1）来轮流优化 $[\mathbf{\theta },\mathbf{\omega }]$ 和 $\mathbf{\delta }$。

定义3.1. 对每个式(3)条件概率中的项 $p(x_t=1|x_{1:t-1};\mathbf{\theta },\mathbf{\omega })=Softmax(i,\mathbf{\omega },h_t)$，式(5)中对抗扰动项的优化如下公式所示：

min ⁡ { δ j } j ∈ V e x p ( ( ω i + δ i ) T h ) ∑ j e x p ( ( w j + δ j ) T h )    s . t   ∣ ∣ δ j ∣ ∣ ≤ ϵ / 2 , ∀ j ∈ V . \min_{\{\delta_j\}_{j\in \mathcal V}} \frac{exp((\omega_i + \delta_i)^T h)}{\sum_j exp((w_j + \delta_j)^Th)}\ \ s.t\ ||\delta_j|| \le \epsilon/2, \forall j \in \mathcal V. {δj​}j∈V​min​∑j​exp((wj​+δj​)Th)exp((ωi​+δi​)Th)​  s.t ∣∣δj​∣∣≤ϵ/2,∀j∈V.

这就等同于只在 ${\omega }_i$ 上添加大小为 $ϵ$的扰动项：

$$\underset{{\delta }_i}{\min }\frac{exp(({\omega }_i+{\delta }_i{)}^{T}h)}{exp(({\omega }_i+{\delta }_i{)}^{T}h)+{\sum }_{j\ne i}exp({\omega }_j^{T}h)}s.t|||{\delta }_i||\le ϵ,$$

其又可以进一步等价于：
$${\delta }_i^{\ast }=\underset{||{\delta }_i||\le ϵ}{\mathrm{argmin}}({\omega }_i+{\delta }_i{)}^{T}h=-ϵh/||h||.\text{\hspace{1em}(6)}$$

至此，我们可以得出：

A d v S o f t ϵ ( i , ω , h ) : = min ⁡ ∣ ∣ δ i ∣ ∣ 2 ≤ ϵ S o f t m a x ( i , { ω i + δ i , ω j ≠ i } , h ) = e x p ( ω i T h − ϵ ∣ ∣ h ∣ ∣ ) e x p ( ω i T h − ϵ ∣ ∣ h ∣ ∣ ) + ∑ j ≠ i e x p ( ω j T h ) \begin{aligned} AdvSoft_\epsilon(i, \omega, h) :&= \min_{||\delta_i||_2 \le \epsilon} Softmax(i, \{\omega_i + \delta_i, \bm\omega_{j \not = i}\}, h) \\ &= \frac{exp(\omega_i^Th-\epsilon||h||)}{exp(\omega_i^Th - \epsilon ||h||) + \sum_{j \not = i} exp(\omega_j^Th)} \end{aligned} AdvSoftϵ​(i,ω,h):​=∣∣δi​∣∣2​≤ϵmin​Softmax(i,{ωi​+δi​,ωj​=i​},h)=exp(ωiT​h−ϵ∣∣h∣∣)+∑j​=i​exp(ωjT​h)exp(ωiT​h−ϵ∣∣h∣∣)​​

在实现过程中，我们会轮流优化参数 $[\mathbf{\theta },\mathbf{\omega }]$ 和 δ = { δ i : t , l } \bm\delta=\{\delta_{i:t, l}\} δ={δi:t,l​}. 固定 $\mathbf{\delta }$ ，模型参数 $[\mathbf{\theta },\mathbf{\omega }]$ 使用梯度下降作为标准最大似然训练。而对 $\mathbf{\delta }$ 的训练是在固定参数 $[\mathbf{\theta },\mathbf{\omega }]$下，使用(6)式得到的结论进行优化，基本上没有引进额外的计算量。算法 1展示了这一过程。我们的算法可以视为 $AdvSof{t}_{ϵ}(i,\mathbf{\omega },h)$的近似梯度下降优化，但没有对正则项 $ϵ||h||$ 的反向传播。从实验上表明，如果对此正则项进行反向传播，反而得到的结果更差，在几个epoch后训练误差就开始离散（diverge）了。这可能是因为在 $ϵ||h||$ 的梯度计算中，为了提高 $AdvSof{t}_{ϵ}(i,\mathbf{\omega },h)$, $||h||$的值被迫很大，而这与我们在实验中的设置相违背。

算法 1

3.2. 词嵌向量的多样性(Diversity of Embedding Vectors)

我们设计的对抗策略有一个十分有趣的特点：它可以被看作一个鼓励词嵌向量分布更离散的方法。我们将展示对于词嵌向量 ${\omega }_i$ ，一旦存在一个上下文向量 $h$ 使 ${\omega }_i$ 在 $AdvSoft$ 的计算中支配其他词（dominate），该算法是如何确保其分布与其他词向量离散，并保持 $ϵ$ 的最小距离。这个简单的性质可以由对抗设置的定义来推导得出：如果在 ${\omega }_i$ 为原点， $ϵ$ 为半径的球中存在一个 ${\omega }_j$，则 ${\omega }_i$ (和 ${\omega }_j$ )永远不会主导支配，因为处于支配地位的那个词会被对抗的噪声所惩罚。

定义 3.2. 给定一个词嵌矩阵集合 ω = { ω i } i ∈ V \omega = \{\omega_i\}_{i \in \mathcal V} ω={ωi​}i∈V​，若存在一个向量 $h\in {\mathbb{R}}^d$，使 ${\omega }_i$ 在 $ϵ$的对抗噪声下支配其他词， 则称 $i\in \mathcal{V}$ 的这个词为 $ϵ$ -可识别，其中：

$$\underset{||{\delta }_i||\le ϵ}{\min }({\omega }_i+{\delta }_i{)}^{T}h=({\omega }_i^{T}h-ϵ||h||)>{\omega }_j^{T}h,\forall j\in \mathcal{V},j\ne i.$$

这时，我们可得 $AdvSof{t}_{ϵ}(i,\mathbf{\omega },h)\ge 1/|\mathcal{V}|$, 且尽管有对抗噪音，我们仍可以将 ${\omega }_i$ 归类为语境 $h$ 的目标词。

定理 3.3. 给定一系列词嵌向量 ω = { ω i } i ∈ V \bm\omega = \{\omega_i\}_{i \in \mathcal V} ω={ωi​}i∈V​，如果词 ${\omega }_i$ 为 $ϵ$ -可识别，则一定有：

$$\underset{j\ne i}{\min }||{\omega }_j-{\omega }_i||>ϵ,$$
此时 ${\omega }_i$ 将与其他所有词保持最小为 $ϵ$ 的距离。

证明 如果存在 $j\ne i$ 使 $||{\omega }_j-{\omega }_i||\le ϵ$ ，根据对抗优化的原理，我们可以得到：

$${\omega }_j^{T}h\ge \underset{||{\delta }_i||\le ϵ}{\min }({\omega }_i+{\delta }_i{)}^{T}h>{\omega }_j^{T}h.$$

而形成了一个对立（反证）。$\square$

注意，最大化对抗训练目标函数可以看作通过其上下文向量 $h$ 来将每个 ${\omega }_i$ 增强为 $ϵ$-可识别，而也同时隐形的训练了词嵌的多样性，使其可以与其他词区分开来。我们应该注意到，在 定义3.2 中的上下文向量 $h$ 不需要在训练集出现，虽然他很可能在训练时出现。

定理 3.4. 根据式(7)中的定义，我们可以得到：

$$AdvSof{t}_{ϵ}(i,\mathbf{\omega },h)\le \sigma (\Phi (i,\mathbf{\omega },||h||)),$$

其中 $\sigma (t)=\frac{1}{1+e^{-t}}$ 是sigmoid函数，而 $\Phi (i,\mathbf{\omega },\alpha )$ 是一个“能量方程”，它衡量了从 ${\omega }_i$ 到 ${\omega }_j$ 之间的距离，$\forall j\ne i$：

$$\begin{array}{rl}\Phi (i,\mathbf{\omega },\alpha )& =-log\sum _{j\ne i}exp(-\alpha (||{\omega }_i-{\omega }_j||-ϵ))\\ & \le \alpha \underset{j\ne i}{\min }(||{\omega }_i-{\omega }_j||-ϵ).\end{array}$$

证明 我们有

$$\begin{array}{rl}AdvSof{t}_{ϵ}(i,\mathbf{\omega },h)& =\frac{exp({\omega }_i^{T}h-ϵ||h||)}{exp({\omega }_i^{T}h-ϵ||h||+{\sum }_{j\ne i}exp({\omega }_j^{T}h))}\\ & =\sigma (\Psi (i,\mathbf{\omega },h)),\end{array}$$
其中

$$\Psi (i,\mathbf{\omega },h)=-log\sum _{j\ne i}exp(({\omega }_j-{\omega }_i{)}^{T}h+ϵ||h||)$$

注意到 $({\omega }_j-{\omega }_i)\ge -||{\omega }_j-{\omega }_i||\cdot ||h||$ ，我们可知：

$$\begin{array}{rl}\Psi (i,\mathbf{\omega },h)& =\log \sum _{j\ne i}exp(({\omega }_j-{\omega }_i{)}^{T}h+ϵ||h||)\\ & \le -log\sum _{j\ne i}exp(-||{\omega }_j-{\omega }_i||\cdot ||h||+ϵ||h||)\\ & =\Phi (i,\mathbf{\omega },||h||).\square \end{array}$$

因此，最大化 $AdvSof{t}_{ϵ}(i,\mathbf{\omega },h)$ 在我们算法中，同样也会最大化能量函数 $\Phi (i,\mathbf{\omega }||h||)$ 来通过增加一个更大的惩罚项，来暴力地使 ${\min }_{j\ne i}(||{\omega }_i-{\omega }_j||)\ge ϵ$。

4. 相关工作与讨论(Related Works and Discussions)

这一部分内容包括：对抗训练，直接多样化正则(Diversity Regularization)，大边界分类(Large-margin classification)，LM的其他正则技术。可以自行查阅。

5. 实验结果(Empirical Results)

由于这里我们最关心的是算法结构，实验结果可以通过开头链接，去阅读实验设置和数据集选择。
最终实验在perplexity和BLEU上都有提升，说明其设置十分合理。具体的数值请参见原始文章。

6. 总结(Conclusions)

本篇文章展示了一个对抗MLE训练策略，其在自然语言模型中可以提升词嵌空间的多样性和结果的泛化能力。这种方法可以在所有MLE基础模型上直接使用而不带来额外的训练参数和计算。通过这个方法，许多语言模型和翻译模型都得到了提升，取得了SOTA的结果。