Transformer：Attention Is All You Need

论文标题：Attention Is All You Need
论文链接：https://arxiv.org/abs/1706.03762

一 、概述

Transformer是一种新的架构，用来学习输入和输出之间的全局依赖关系。比起以往使用RNN（recurrent neural network）来处理NLP领域中的诸多任务，Transformer是一种全新的架构，其中规避开了recurrence架构，并且相比于RNN，其并行计算的能力更强（more parallelizable）。

二、模型架构

1. 模型中的encoder和decoder

• 整体架构

大多数神经序列转导模型都有一个encoder-decoder结构。Decoder将输入$(x_1,x_2,\cdots ,x_n)$映射到$z=(z_1,z_2,\cdots ,z_n)$，获得$z$后，decoder会在每个时间步产生一个序列中的元素，直至生成整个序列$(y_1,y_2,\cdots ,y_m)$。在每一个时间步，模型都是自回归的，也就是在生成下一个元素时使用先前生成的元素作为附加输入。

Transformer也使用了encoder-decoder架构，其具体架构图如下：

• Encoder

Transformer的encoder由6个相同的层堆叠而成，每一层有两个子层，其中第一个子层是multi-head attention层，第二个子层就是一个简单的前馈网络，在每个子层后面都有一个residual connection和layer normalization，也就是说每个子层的输出可以表示为：

$$LayerNorm(x+SubLayer(x))$$

$SubLayer(x)$代表每个子层实现的函数。为了促使这些residual connection发挥作用，模型中的所有子层以及下面的embedding层，都会产生维度$d_{model}=512$的输出。

• Decoder

Transformer的decoder也是由6个相同的层堆叠而成，除了encoder中的两种子层，decoder还添加了第三种子层，也就是在encoder的输出上执行multy-head attention的一层。同样的每一层后面都有residual connection和layer normalization。图中decoder最下面的子层会被修改来防止每个位置attend到这个位置后面的元素。

2. Attention

• Scaled Dot-Product Attention

Transformer架构中的self-attention机制是将query、key和value映射到输出，query、key和value都是向量，而且query和key维度都是$d_k$，value维度是$d_v$。每一个输入的token都对应一个query、key和value，我们将key与每一个query做点积，然后除以$\sqrt{d_k}$，最后再使用一个$softmax$函数来做归一化。所有token之间的attention都是并行计算的，因此我们使用$Q、K、V$代表所有的query、key和value，计算公式如下：

$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$$

该过程用图表示如下：

• additive attention和dot-product attention

最常用的两种attention的机制是additive attention和dot-product attention（multiplicative attention）。其中在上式中如果没有scaling factor $\frac{1}{\sqrt{d_k}}$，就是dot-product attention。Additive attention使用具有单个隐藏层的前馈网络来计算兼容性函数。两种attention在理论上的复杂度相同，但在实践中dot-product attention能使用优化的矩阵乘法运算，所以计算更快，同时由于它没有使用前馈网络，所以占用空间更小，所以transformer选用了dot-product attention。

• 为什么dot-product attention要被scaled

当$d_k$较小时，两种attention的效果差不多，但如果$d_k$较大时，dot-product attention相较于additive attention效果就会差一些。论文猜测这是因为当$d_k$较大时，点积的值就会更大，容易进入$softmax$函数的饱和区，因此要除以scaling factor $\frac{1}{\sqrt{d_k}}$。简单举个例子来验证上述猜测，假设$q$和$k$是独立且随机的，而且均值为$0$，方差为$1$，则它们的点积$q\cdot k={\sum }_{i=1}^{d_k}{q}_i{k}_i$的均值为$0$，方差就是$d_k$。

• Multi-Head Attention

相比于使用$d_{model}$维的query、key和value来做一次attention，论文发现，使用不同线性映射分别将输入映射到$d_k、d_k、d_v$维度上$h$次效果更好。所有$h$次线性映射都是并行执行的，每次映射都会生成维度为$d_v$的输出，这些$d_v$维度的输出会被 concatenate起来然后再做一次线性映射得到最终的输出，concatenate以后再做一次线性变换是为了做一次融合，该过程的计算公式如下：

$$\begin{gathered} MultiHead(Q,K,V)=Concat(hea{d}_1,\cdots ,hea{d}_h)W^O \\ wherehea{d}_i=Attention(Q{W}_i^Q,K{W}_i^K,V{W}_i^V) \end{gathered}$$

上式中$W_i^Q\in {\mathbb{R}}^{d_{model}\times d_k},W_i^K\in {\mathbb{R}}^{d_{model}\times d_k},W_i^V\in {\mathbb{R}}^{d_{model}\times d_v}$并且$W_i^O\in {\mathbb{R}}^{h{d}_v\times d_{model}}$。

通常，我们设置$h=8$，对于每次attention，我们设置$d_k=d_v=d_{model}/h=64$，由于维度变小，所以multi-head attention的总复杂度相对于single-head attention差不多。

下图展示了multi-head attention的过程：

• Transformer中attention的应用

Transformer中主要有三处地方用到了attention机制：
①在架构图decoder的中间部分，query来自于先前的decoder层，而key和value来自于encoder的输出，这样设计允许了decoder中的每一个位置都能attend到输入的序列的任何一个位置。这样的设计模仿了传统的seq-to-seq模型的encoder-decoder attention机制。
②Transformer的encoder使用了attention机制，每一个self-attention层的query、key、value都来自于前一层的输出，每个位置都能attend到前一层的所有位置。
③在架构图decoder的下面的部分，每个位置被允许attend到该位置之前包括该位置的地方，为了保证自回归属性，我们必须避免出现左向信息流。可以通过将不合法连接（当前位置右侧）的 scaled dot-product attention中$softmax$函数的输入设置为$-\infty $来实现这一操作，这一部分被称为masked multi-head attention。

3. Position-wise Feed-Forward Networks

除了attention子层以外，每一层都还包含一个前馈网络层，这个前馈网络层包含两个线性变换，中间有一个ReLU激活，其公式如下：

$$FFN(x)=max(0,x{W}_1+b_1)W_2+b_2$$

这个前馈网络的输入和输出的维度都是$d_{model}$，中间层的维度为$d_{ff}=2048$。

4. Embeddings and Softmax

使用已经训练好的embeddings来将输入和输出映射成维度为$d_{model}$的向量。Decoder的输出会通过一个线性变换和$softmax$层来被转换成预测下一个token的概率向量，然后再通过embedding层转换为$d_{model}$维度的向量。在Transformer中我们在两个embedding层和$softmax$层之前的线性变换层之间共享参数。在embedding层中，这些weight被乘以$\sqrt{d_{model}}$。

5. Positional Encoding

Transformer中没有循环和卷积结构，我们需要将输入序列的位置信息考虑进来。我们通过给输入embedding加上一个positional encodings来实现这一目的。Positional encodings的维度也是$d_{model}$，这样它才可以和input embedding加起来。Positional encodings有很多选择，包括会在训练过程中被学习的和固定的。

在Transformer中选用不同频率的正弦和余弦函数：

$$\begin{gathered} P{E}_{(pos,2i)}=sin(pos/10000^{2i/d_{model}}) \\ P{E}_{(pos,2i+1)}=cos(pos/10000^{2i/d_{model}}) \end{gathered}$$

上式中$pos$是位置，$i$是维度。从上式可以看出，positional encodings的不同的维度对应不同的正弦信号，这些正弦信号的波长是一个几何级数，从$2\pi$到$10000\cdot 2\pi$。

选择这个函数的原因是假设这样可以允许模型更容易学习到相对位置的信息，因为对于任意固定的偏移$k$，$P{E}_{pos+k}$能够被表示成$P{E}_{pos}$的线性函数。解释一下这一点，我们知道正余弦函数的和角公式如下：

$$\begin{gathered} sin(x+y)=sin(x)cos(y)+sin(y)cos(x) \\ cos(x+y)=cos(x)cos(y)-sin(y)sin(x) \end{gathered}$$

利用上述公式我们可以得到：

$$\begin{gathered} P{E}_{(pos+k,2i)}=P{E}_{(pos,2i)}P{E}_{(k,2i+1)}+P{E}_{(pos,2i+1)}P{E}_{(k,2i)} \\ P{E}_{(pos+k,2i+1)}=P{E}_{(pos,2i+1)}P{E}_{(k,2i+1)}-P{E}_{(pos,2i)}P{E}_{(k,2i)} \end{gathered}$$

上述正余弦函数的方法是固定的positional encodings，同样地我们也可以使用学习得到的positional embeddings。之所以选择正余弦的方式是因为这种方式可能允许模型推断比训练时遇到的更长的序列。

6. 其他

李宏毅老师有关模型架构的讲解：https://www.jianshu.com/p/e305771b1b54

三、为什么选择Self-Attention

在该部分我们将self-attention与循环和卷积网络进行对比。我们对比以下三个指标：
①每层总的计算复杂度；
②可以并行的计算量，通过所需的最小顺序操作数来衡量；
③网络中长程依赖的路径长度。

很多序列转导模型的一个关键任务是学习长程依赖关系。一个影响学习该依赖关系的关键因素是前向和后向信号必须在网络中传播的长度。输入和输出序列中任意位置组合的这些路径越短，越容易学习长程依赖关系，因此选择对比不同层组成的网络中任意两个输入和输出位置之间的最大路径长度。

对比结果如下表所示：

表中$n$未序列长度，$d$为表示的维度，$k$是卷积核的大小，$r$是受限self-attention的邻域大小。在序列长度很长时，可以考虑限制每个位置只能attend到长度为$r$的邻域内，这样可以降低计算复杂度，但会增大最大路径长度。Self-attention有另一个好处就是有更好的可解释性。

四、训练

1. 优化器

使用Adam优化器进行训练，设置${\beta }_1=0.9,{\beta }_2=0.98,ϵ=10^{-9}$，另外根据以下公式调整学习率：

$$lrate=d_{model}^{-0.5}\cdot min(step\_nu{m}^{-0.5},step\_num\cdot warmup\_ste{p}^{-1.5})$$

利用这个公式可以使得在$warmup\_step$个trainging step以内，学习率线性增长，随后会将学习率与training step的平方根成比例地缩小。我们使用$warmup\_step=4000$。

2. 正则化

• Residual Dropout

在每个子层的输出被与输入相加和做layer normalization之前要被dropout。另外，在encoder和decoder中也会将embeddings与positional encodings的和做dropout。我们设置$P_{drop}=0.1$。

• Label Smoothing

在训练时，我们使用label smoothing的值为${ϵ}_{ls}=0.1$。 这让模型不易理解，因为模型学得更加不确定，但提高了准确性和BLEU得分。

五、模型效果

1. 机器翻译

对比了Transformer在WMT 2014 English-to-German和WMT 2014 English-to-French两个数据集上与其他模型的效果：

2. 模型变种

对比了Transformer的不同架构的效果：