2018年，Gu等人提出了一种新的机器翻译模型，这种模型不用再从左到右的顺序依次翻译了，使得翻译过程可以并行化。
模型本身依然是基于Transformer的，不同的是在测试时可以并行解码。模型结构如下图所示：
把并行计算结果时，不同位置之间的词独立带来的问题归结为训练样本中存在 multimodal target distribution的问题。找到一个很好的切入点，并通过引入隐含变量来降低mode的空间，帮助decoder进行decode。同时论文中采用knowledge distillation的方式，利用auto-regressive model来帮助模型进行训练，也是一个非常好的做法。最终使得，模型在non-auto-regressive的情况下，达到了auto-regressive模型的效果。
TODO具体的论文阅读
3411
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
