「自然语言处理(NLP)」神经机器翻译(NMT)论文整理(一)

来源: AINLPer 微信公众号（每日更新…）
编辑: ShuYini
校稿: ShuYini
时间: 2020-02-27

引言： 下面是作者整理的关于神经机器翻译（NMT）相关的论文文章，下面这10篇文章都顶会ICLR发表的文章，能找到源码的作者也直接贴出来了，如果你对NMT感兴趣或者也在找一些相关的文章，希望能够帮助你~~

关于本次分享得十篇NMT文章，如果你一篇篇的论文下载不方便，你也可以关注 AINLPer 回复：NMT001 进行打包下载

TILE: Multilingual Neural Machine Translation with Knowledge Distillation
Author: Xu Tan, Yi Ren, Di He, Tao Qin, Zhou Zhao, Tie-Yan Liu
Paper:https://openreview.net/pdf?id=S1gUsoR9YX
Code: None
论文简述： 多语言机器翻译以其离线训练和在线服务的效率而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性。在本文提出了一种基于提取的方法来提高多语言机器翻译的准确性。

TILE: Mirror-Generative Neural Machine Translation
Author: Zaixiang Zheng, Hao Zhou, Shujian Huang, Lei Li, Xin-Yu Dai, Jiajun Chen
Paper:https://openreview.net/pdf?id=HkxQRTNYPH
Code: None
论文简述： 本文提出了镜像生成NMT架构 ，这是一个单一的统一架构，同时集成了源到目标翻译模型、目标到源翻译模型和两种语言模型。

TILE: Multi-Agent Dual Learning
Author: Yiren Wang, Yingce Xia, Tianyu He, Fei Tian, Tao Qin, ChengXiang Zhai, Tie-Yan Liu
Paper:https://openreview.net/pdf?id=HyGhN2A5tm
Code: None
论文简述： 现有的二元学习框架形成了一个包含两个主体(一个原始模型和一个二元模型)的系统来利用这种二元性。本文通过引入多个原模型和对偶模型对该框架进行了扩展，提出了多智能体对偶学习框架。在神经机器翻译和图像翻译任务上的实验证明了该框架的有效性。

TILE: Multilingual Neural Machine Translation With Soft Decoupled Encoding
Author: Xinyi Wang, Hieu Pham, Philip Arthur, Graham Neubig.
Paper:https://openreview.net/pdf?id=Skeke3C5Fm
Code: None
论文简述： 神经机器翻译(NMT)系统的多语言训练在低资源语言上带来了令人印象深刻的准确性改进。然而，在数据缺乏的情况下，有效地学习单词表示仍然面临着巨大的挑战。在本文中，我们提出了软解耦编码(SDE)，这是一种多语言词汇编码框架，专门设计来智能地共享词汇级别的信息，而不需要预先分割数据等启发式预处理。

TILE: Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs
Author: Sachin Kumar, Yulia Tsvetkov
Paper: https://openreview.net/pdf?id=rJlDnoA5Y7
Code: None
论文简述： Softmax函数用于几乎所有现有的用于语言生成的序列到序列模型的最后一层。然而，它通常是计算最慢的一层，将词汇表大小限制为最频繁类型的子集;它有很大的内存占用。为此本文提出了一种用连续嵌入层替换softmax层的通用技术。

TILE: Unsupervised Machine Translation Using Monolingual Corpora Only
Author: Guillaume Lample, Alexis Conneau, Ludovic Denoyer, Marc’Aurelio Ranzato.
Paper: https://openreview.net/pdf?id=rkYTTf-AZ
Code: None
论文简述： 提出了一种从两种不同语言的单语语料库中提取句子并将其映射到同一潜在空间的模型。通过学习从共享的特征空间中重构两种语言，该模型有效地学习了不使用任何标记数据的翻译。

TILE: Unsupervised Neural Machine Translation.
Author: Mikel Artetxe, Gorka Labaka, Eneko Agirre, Kyunghyun Cho。
Paper:https://openreview.net/pdf?id=Sy2ogebAW
Code: None
论文简述： 针对神经机器翻译（NMT）本文完全消除了并行数据的需要，并提出了一种新的方法，以完全无监督的方式，仅依靠单语语料库来训练一个NMT系统。我们的模型建立在最近关于无监督嵌入映射的工作上，并由一个稍微修改过的注意力编译码器模型组成，该模型可以单独在单语语料库上使用去噪和反向翻译的组合进行训练。

TILE: Towards Neural Phrase-based Machine Translation.
Author: Po-Sen Huang, Chong Wang, Sitao Huang, Dengyong Zhou, Li Deng.
Paper:https://openreview.net/pdf?id=HktJec1RZ
Code: None
论文简述： 本文提出了一种基于神经短语的机器翻译方法。该方法使用最近提出的基于分段的序列建模方法Sleep-WAke Networks (SWAN)对输出序列中的短语结构进行了显式建模。

TILE: Word translation without parallel data
Author: Guillaume Lample, Alexis Conneau, Marc’Aurelio Ranzato, Ludovic Denoyer, Hervé Jégou
Paper:https://openreview.net/pdf?id=H196sainb
Code: https://github.com/facebookresearch/MUSE
论文简述： 学习跨语言单词嵌入的最新方法依赖于双语词典或平行语料库。本文证明，可以在两种语言之间建立一个双语词典，而无需使用任何平行语料库，通过以无监督的方式对齐单语单词嵌入空间。在不使用任何字符信息的情况下，我们的模型甚至在一些语言对的跨语言任务上优于现有的监督方法。

TILE: Non-Autoregressive Neural Machine Translation.
Author: Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. Li, Richard Socher.
Paper: https://openreview.net/pdf?id=B1l8BtlCb
Code: None
论文简述： 现有的神经机器翻译方法将每个输出字置于先前生成的输出之上。本文引入了一个模型，该模型避免了这种自回归特性，而是并行地生成其输出，从而允许在推理期间降低一个数量级的延迟。

Attention

更多自然语言处理相关知识，还请关注 AINLPer公众号，极品干货即刻送达。