【论文笔记】Attention is all you need

原文作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit

原文标题：Attention is all you need

原文来源：NIPS 2017

原文链接：https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf

Attention is all you need

主流序列转导模型基于复杂的CNN或RNN，包括编码器和解码器。有的模型使用注意力机制连接编码器和解码器，达到了最优性能。本文提出了一个仅基于注意力机制的网络架构，Transformer。实验表明，该模型需要的训练时间明显减少，性能更好。

模型架构

文中使用了经典的encoder-decoder架构。Encoder将输入序列转化成一个固定维度的稠密向量。decoder将之前生成的固定向量再转化成输出序列。

encoder

文中的encoder由n个相同层组成。每层有两个子层：第一个子层是一个多头自注意力机制，第二子层是一个简单的位置全连接前馈网络。另外在每个子层间使用残差连接，然后进行层归一化。每个子层的输出为

$$\text{LayerNorm}(x+\text{Sublayer}(x))$$

模型中的所有子层，包括嵌入层的维度为512。

decoder

Decoder同样由n个相同层组成。除了encoder中的两个子层外，decoder还增加了一个子层：对encoder层的输出执行多头注意力。另外对自注意力子层进行修改(Mask)，防止某个position受后续的position的影响。确保位置i的预测只依赖于小于i的位置的已知输出。

Attention机制

注意力函数将query(Q)和一组键值对(K、V)映射为输出，Q、K、V都是向量。对V进行加权求和得到输出，每个V的权值通过Q和K的相似度得到。

如图2所示为本文提出的attention机制。输入为$d_k$维的Q和K，$d_v$维的V。计算Q和K的点积，除以$\sqrt{d_k}$，再使用一个softmax得到V的权重。

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

值得注意的是本文中的注意力函数有一个缩放因子$\frac{1}{\sqrt{d_k}}$。文中提到，最常见的注意力函数有两种，一种是additive，一种就是上述的点积。Additive attention使用前馈网络来作为兼容性函数得到V的权重。当$d_k$比较小时，两种注意力机制的表现差不多，随着$d_k$的增大，additive注意力比点积注意力表现要好。由于点积可以使用高度优化的矩阵乘法代码来实现，因此更快，空间效率更高，这也是作者选择点积的原因。作者认为，当$d_{}$