Transformer中的attention的来龙去脉

论文原文Attention is all you need:
https://arxiv.org/pdf/1706.03762.pdf

参考的链接：
https://zhuanlan.zhihu.com/p/46990010
https://www.tensorflow.org/tutorials/text/transformer
https://segmentfault.com/a/1190000020021078
https://blog.csdn.net/mpk_no1/article/details/72862348

0 经典attention机制 generalized

以下均已翻译模型为例子：
attention涉及的变量主要分为三部分，编码层的输入变量$h_i$,解码器隐层状态相当于系统当前时间$t$状态$s_t$,以及对于$(h_1,h_2,\cdots ,h_{T_x})$这一输入的隐状态$z$用来预测$t+1$时刻的$s$

attention的计算总的来说分为三步

1. 计算$s_i$和$h_j$的适配程度(compatibility function),相似度
   $$f_{ij}=F(s_i,h_j)$$

2. 归一化求出权重，通常使用softmax
   $$w_{ij}=\frac{{\mathrm{e}}^{f_{ij}}}{{\sum }_{k=1}^{T_x}{\mathrm{e}}^{f_{ik}}}$$
   其中$T_x$为源语句长度。$h_j$对$s_i$的相似度。

3. 将对应的attettion分配给对应的value，并求和得到最终的输出值
   $$c_i=\sum _{j=1}^{T_x}{w}_{ij}\ast h_j$$

1 attention的不同类型

其中根据不同的compatibility function，attention主要分为additive和dot-procduct两种

additive attention

$$f_{ij}=F(s_i,h_j)=v^{T}tanh(W[s_i{h}_j])=v^{T}tanh(W_1{s}_i+W_2{h}_j])$$

doc-product attention

$$f_{ij}=F(s_i,h_j)=s_i^T{h}_j$$
或者加入另外的参数矩阵（Multiplicative attention）
$$f_{ij}=F(s_i,h_j)=s_i^{T}W{h}_j$$

这是transformer中解释的选择dot-product类型的原因
加性注意力和乘法注意力在复杂度上是相似的，但是乘法注意力在实践中往往要更快速、具有更高效的存储，因为它可以使用矩阵操作更高效地实现。两个变体在低维度 $d_k$ 解码器状态中性能相似，但加性注意力机制在更高的维度上相对于没有scaled的乘法注意力性能更优，这也是scaled使用的原因。

2 self-attention

自己关注自己，没有额外信息输入，简言之 $s$和$h$同源即可

3 key-value pairs attention

在self attention的基础上将$h_j$拆分一个$k_j$和对应的$v_j$
【以下为原文的翻译】
注意力函数可视为将一个$query$和一组$key-value$ pairs映射到$output$，其中$query$,$keys$,$values$, $output$都是向量。$output$为$values$的加权和，其中的权重是由$query$和$value$对应的$key$的"适配"函数(compatibility)得到的。
attention常见的有两种 additive attention 和 dot-product(multi-plicative)
总的来说，共分为三步

1. 计算$key$和$query$的适配程度(compatibility function)
   $$F(Q,K_1),F(Q,K_2),\cdots ,F(Q,K_n)$$
2. softmax
   $$w_i=\frac{{\mathrm{e}}^{F(Q,K_i)}}{{\sum }_{j=1}^n{\mathrm{e}}^{F(Q,K_j)}}$$
3. 将对应的attettion分配给对应的value，并求和得到最终的输出值
   $$output=\sum _{i=1}^n{w}_i\ast V_i$$

2 Scaled Dot-Product Attention

预定义$Q$和$K$的维度为$d_k$, $V$的维度为$d_v$。很容易理解，dot-product说明"适配"函数选取的是点乘，并且进一步scaled一下：
$F(Q,K)=\frac{Q{K}^T}{\sqrt{d_k}}$
分子$\sqrt{d_k}$在原文中有解释：
如上文所讲，对于较大的$d_k$,点乘的值会增加，会使得进行softmax计算的时候偏移到梯度很小的地方，训练停滞。从统计学上来讲，对于均值为0和方差为1的独立变量$q$和$k$，他们的点乘$qk$均值为0方差变为$d_k$，除以$\sqrt{d_k}$之后，可以保证方差始终为1