神经翻译笔记5. 序列到序列模型与注意力机制

神经翻译笔记5. 序列到序列模型与注意力机制

本系列笔记从2018年3月开始编写，虽然题名为“神经翻译笔记”，但是历经2年3个月，虽然偶尔提到一些神经翻译使用的方法（例如subword），却仍并未真正涉及机器翻译本身，颇有点“博士买驴”的感觉。不过从本章开始，终于要进入正题，聊一聊神经机器翻译用到的核心技术了（然而要跟上时代，讲述Transformer，可能还需要过很久。本章预计会写10节，将是一个漫长的过程）

本章的主要内容是讲述基于RNN的序列到序列模型与注意力机制，本文参考如下课程讲义和教材：

• Koehn的NMT综述，13.5节

• Neubig的NMT和s2s教程，第7、8节（除CNN和树结构）（本文写完，Neubig的这篇文章就算看完了）

• Stanford CS224n 2020 Winter第8讲幻灯片、官方笔记

• 其它相关的经典论文

---

机器翻译概论

机器翻译是自然语言处理领域出现比较早的一类任务，其在1950年开始就受到了广泛研究。该任务的目的是将源语言$S$的句子$x$翻译成目标语言$T$的句子$y$。早期的机器翻译是纯基于规则的，人们通过编写的双语词典逐词翻译。在20世纪90年代到2014年以前，机器翻译一直处于统计机器翻译时代。假设给定了一个法语句子$x$，要找到其对应的最佳英语翻译$y$，实际上就是要找
$${\mathrm{argmax}}_{y}P(y|x)$$
根据贝叶斯定律，有
$${\mathrm{argmax}}_{y}P(y|x)=P(x|y)P(y)$$
这样的分解说明要做好机器翻译，需要引入两个模型

• 翻译模型，建模单词和词组应如何被翻译（可信性），该模型从平行语料中学习
• 语言模型，建模如何写出好的英语（通顺性），该模型从单语语料中学习

由此带来的问题是，应该如何从平行语料中学习翻译模型$P(x|y)$呢？做法是引入一个隐变量$a$，来学习$P(x,a|y)$。这里这个隐变量$a$被称为对齐信息，即源句$x$和目标句$y$之间的对应关系。理想上，将源语言的每个词翻译成目标语言的对应词，就应该大功告成了，但是实际上事情远没有这么简单，其核心原因就是自然语言中不同语言之间对齐的复杂性，例如

• 源句中有些词在目标句中无对应词。例如“Le Japon secoué par deux nouveaux séismes”翻译成英语“Japan shaken by two new quakes”，这里le在英语中就不翻译（单就单词来讲，le可以翻成the，但不符合英语文法）
• 源句词到目标句词的一对多关系。例如“Le reste appartenait aux autochtones”翻译成“The balance was the territory of the aboriginal people”，这里“appartenait”对应“was the territory”；“aux”对应“of the”，autochtones对应“aboriginal people”。有时有的单词可以对应很多个词，例如“il a m’entarté”中“entarté”对应英语的“hit with a pie”。这种词称为繁衍词（fertile word）
• 源句词到目标句词的多对一关系。例如“Le programme a été mis en application”翻译成“The program has been implemented”，这里“mis en application”对应“implemented”
• 源句词到目标句词的多对多关系，或者说短语级对应关系。例如“Les pauvres sont démunis”翻译成“The poor don’t have any money”，这里“sont démunis”翻译成“don’t have any money”

为了更准确地描述这种复杂的对齐关系，成功的统计翻译系统通常都比较庞大，由许多独立的子系统构成。此外，还需要大量的特征工程工作，甚至要为不同的语言现象分别设计特征，人力成本很高

神经翻译的提出有力地改变了这样的状况，它的核心思路是只使用一个系统，也就是一个神经网络模型端到端地解决所有问题。通过大规模语料的训练，模型接收到一个简单处理过的源语言句子，就可以直接生成一个目标语言句子，不用经过其它模型人工提取特征。这种神经网络模型称为序列到序列（sequence-to-sequence, s2s）模型，因为输入是一个标识符序列，输出也是一个标识符序列。典型的序列到序列模型可以看做是由编码器和解码器两个部分构成

• 编码器负责读取整个句子，编码成一个维度固定的向量并输出
• 解码器从编码器拿到输入的编码向量，逐步解码输出目标句的各个标识符

因此，序列到序列模型也通常被称为编码器-解码器模型（本文及后文会混用这两个名词，不对这两个概念做区分）。下面给出了一个最简单的序列到序列模型示意图（图自Neubig的turorial）

编码器-解码器结构

由于还没有涉及到CNN和Transformer，因此这里先假设编码器和解码器部分都是两个单向的RNN，编码器记作${\mathrm{R}\mathrm{N}\mathrm{N}}_f(\cdot )$，解码器记作${\mathrm{R}\mathrm{N}\mathrm{N}}_e(\cdot )$，则模型可以表示为
$$\begin{array}{r}{\mathbf{x}}_f^{(t)}\\ {\mathbf{h}}_f^{(t)}\\ \mathbf{x}\end{array}$$