Phrase-Based & Neural Unsupervised Machine Translation

Phrase-Based & Neural Unsupervised Machine Translation

论文：Phrase-Based & Neural Unsupervised Machine Translation
代码：Github
这篇Paper是EMNLP 2018的best paper，用于实现无监督机器翻译，不过无监督机器翻译的思想早就有研究者提出来了，这篇paper是在前人的基础上做了一些优化改进，使得模型更加容易训练，效果也有所提升。作者提出了两个模型，一个是NMT（神经机器翻译）模型，另一个是PBSMT（基于短语的统计机器翻译）模型。
作者的工作主要体现在以下两个方面：

• 对于一些相近的语言，作者提出了一种更加简单高效的初始化方法
• 作者总结了无监督机器翻译的三个原则，并把他们应用到PBSMT，发现效果比NMT还要好。
• 结合NMT和PBSMT效果可以得到进一步提升

无监督机器翻译的三个关键点

初始化

对于机器翻译问题的病态性，模型初始化是一种自然先验，代表了我们期待的解空间的分布。许多模型采用双语字典，得到逐个词翻译的结果，并以此作为初始化。这样会导致最终翻译的结果不可避免的具有源语言的语法特性。

语言模型

通过在单一语种上训练的语言模型，可以让模型学习到每一种语言中的句子该如何使用。可以提升句子的合理度，通顺度。

迭代反向翻译(Iterative Back-translation)

这里的思路就有点像CV里面的cycleGAN了，先把源语言翻译成目标语言，然后在翻译回来。把一个无监督问题变为了一个有监督问题。

作者提出的无监督机器翻译方法

符号介绍：$S$表示源句子空间，$T$表示目标句子空间。$P_s$表是源语言的语言模型，$P_t$表示目标语言的语言模型。$P_{s\to t}$表示源语言到目标语言的翻译模型，反之亦然。作者方法思路如下：

思路框架很简单：

• 训练语言模型：训练$P_s$,$P_t$，使得对于任意一个句子，都可以给出其出现的概率。语言模型其实就是判断句子合理程度的一个方式
• 初始化翻译模型：根据语言模型初始化翻译模型。
• 迭代优化：通过Back-translation, 逐步迭代优化模型。