Attention Is All You Need 中文版

文章目录

• Attention Is All You Need

• • 摘要

  • 1 Introduction（简介）
  • 2 Background（背景）
  • 3 Model Architecture（模型结构）
  • • 3.1 Encoder and Decoder Stacks（编码器栈和解码器栈）
    • 3.2 Attention（注意力机制）
    • 3.2.1 Scaled Dot-Product Attention（缩放的点积注意力机制）
    • 3.2.2 Multi-Head Attention（多头注意力机制）
    • 3.2.3 Applications of Attention in our Model（注意力机制在我们模型中的应用）
    • 3.3 Position-wise Feed-Forward Networks（基于位置的前馈神经网络）
    • 3.4 Embeddings and Softmax （词嵌入和 softmax）
    • 3.5 Positional Encoding（位置编码）
    • 4 Why Self-Attention（为什么选择selt-attention）
  • 5 Training(训练)
  • • 5.1 Training Data and Batching（训练数据和batch）
    • 5.2 Hardware and Schedule(硬件和时间)
    • 5.3 Optimizer（优化器）
    • 5.4 Regularization（正则化）
  • 6 Results（结果）
  • • 6.1 Machine Translation（机器翻译）
    • 6.2 Model Variations（模型变体）
    • 6.3 English Constituency Parsing（英文选区分析）
  • 7 Conclusion（结论）

 

Attention Is All You Need

摘要

  主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表明，我们的模型在质量上更好，同时具有更高的并行性，且训练所需要的时间更少。我们的模型在 WMT2014 英语-德语的翻译任务上取得了28.4的BLEU评分。在现有的表现最好模型的基础上，包括整合模型，提高了2个BLUE评分。在WMT2014英语-德语的翻译任务上,我们的模型在8个GPU上训练了3.5天（这个时间只是目前文献中记载的最好的模型训练成本的一小部分），创造了单模型的SOTA结果，BLEU分数为41.8，通过在大量和少量训练数据上所做的英语选区分析工作的成功，表明Transformer能很好的适应于其它任务。

1 Introduction（简介）

  RNN,LSTM,GRU,Gated Recurrent Neural Networks 在序列建模和转换任务上，比如语言模型和机器翻译，已经是大家公认的取得SOTA结果的方法。自此，无数的努力继续推动递归语言模型和encoder-decoder体系结构的界限。</