Transformer论文详解，论文完整翻译（二）

Transformer论文详解，论文完整翻译（二）

第一章 介绍

特别是RNN，LSTM，GRU，已经稳固的在序列模型和转换问题建立了SOTA，像语言模型和机器翻译。大量的相关工作一直在持续进行去推动循环语言模型的发展和encoder-decoder结构。

循环模型典型的因素是计算了输入输出序列的位置信息。为了在每步计算时与加入位置信息，他们生成了一个序列隐状态h（t），通过一个函数处理前一个隐状态h（t-1）和当前的位置t的输入。这种内在的序列自然排除了训练样本时并行的可能，在长序列中的情况下消耗更大，内存的约束限制了批处理样本。最近的工作在计算效率上通过因子分解的trick和条件计算取得了较大进展，同时后者也提升了效果。然而，序列计算的基本限制，依然存在。

Atttention结构在很多任务中，成为了序列模型和翻译模型不可缺少的部分，使得模型的依赖忽略了输入和输出的序列距离。然而，少数情况下，attention结构用来循环网络的连结。

在本文中我门提出了Transformer，一种避开了循环的模型结构，替换为完全依赖attention来刻画输入输出间的全局依赖。Transforemer允许大量的并行，能达到SOTA效果仅仅在8个P100 GPU的12小训练之后。

（本人总结，请勿转载）