翻译模型

翻译模型发展史

1980年，提出基于规则的翻译
1993年，IBM提出基于词的统计翻译模型
2003年，Koehn提出基于短语的统计翻译模型
2014年，谷歌和蒙特利尔大学提出端到端神经网络机器翻译，Sequence to Sequence Learning with Neural Networks和Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation，即seqtoseq
2015年，德国雅各布大学基于seqtoseq模型，引入attention机制，即Neural Machine Translation by Jointly Learning to Align and Translate
2017年，谷歌发表Attention Is All You Need提出Transformer模型,舍弃以往在seqtoseq上使用性能较好RNN变体，完全依赖于attention机制
2017年，谷歌发表Massive Exploration of Neural Machine Translation Architectures，该篇论文用实验来分析神经网络翻译模型中哪些模块在真正地起作用

后续内容

以2014年由谷歌和蒙特利尔大学提出的神经机器翻译出发，通过梳理相关论文来理解不同翻译模型