注意力机制的理解

Attention

相关概念

自主性提示/聚焦式注意力—查询(query)(例如一个人在看一张图片，图片中有很多物体，但是此人喜欢观察屎，因此对地上的屎最感兴趣)

非自主性提示/基于显著性的注意力—键(key)(例如图片中有某些东西特别显眼，吸引了观察者的注意)

最后眼睛盯着哪看—值(value)

注意力机制的框架如下所示：
（上图来自李沐 et al. 动手学深度学习）

一个简单的例子进行理解

对于给定的数据集$(x_1,y_1),...,(x_n,y_n)$，如何学习预测函数$y=f(x)$，使得对于一个输入$x$可以获得预测值$\hat{y}$？

一个简单的方法就是对所有$y_i$值进行平均加权，用均值作为最后的预测值。

基于注意力的方法就是对于样本中的$y_i$赋予不同的权重。如果输入$x$和样本中的某个$x_i$更接近，那么相应的$y_i$会被分配更高的权重，这样相应的预测也会较为准确。于是$f(x)$可设计如下:
$$f(x)=\sum _{i=1}^n\frac{K(x-x_i)}{{\sum }_{j=1}^{n}K(x-x_j)}{y}_i$$
其中$K$是一种核函数。

如果$K$是高斯核函数，那么:
$$f(x)=\sum _{i=1}^{n}softmax(-\frac{1}{2}(x-x_i{)}^2)y_i$$
$f(x)$还可以写成一种更通用的形式:$f(x)={\sum }_{i=1}^n\alpha (x,x_i)y_i$ .

注意力机制的计算可以分为两步，一是计算对于一个输入的注意力分布，如对$\alpha (x,x_i)$的计算，二是计算对与输入的加权平均，如对$f(x)$的计算。

带参数的注意力汇聚

将可学习的参数$w$加入到$f(x)$中，即:$f(x)={\sum }_{i=1}^{n}softmax(-\frac{1}{2}(w(x-x_i){)}^2)y_i$ .

换个方式描述

将上述几个公式总结一下:
$$\begin{array}{rl}f(x)& =\sum _{i=1}^n\alpha \left(x,x_i\right)y_i\\ & =\sum _{i=1}^n\frac{\exp \left(-\frac{1}{2}{\left(\left(x-x_i\right)w\right)}^2\right)}{{\sum }_{j=1}^n\exp \left(-\frac{1}{2}{\left(\left(x-x_j\right)w\right)}^2\right)}{y}_i\\ & =\sum _{i=1}^n\mathrm{softmax}\left(-\frac{1}{2}{\left(\left(x-x_i\right)w\right)}^2\right)y_i.\end{array}$$
$x$称为查询，$(x_1,y_1),...,(x_n,y_n)$是一系列键值对。
对于第二行的公式，我们将$s(x)=-\frac{1}{2}((x-x_i)w{)}^2$称为评价函数。
将上述符号全部向量化，查询为$\mathbf{q}$，键值对为$({\mathbf{k}}_1,{\mathbf{v}}_1),...,({\mathbf{k}}_{\mathbf{n}},{\mathbf{v}}_{\mathbf{n}})$，于是有:
$$f\left(\mathbf{q},\left({\mathbf{k}}_1,{\mathbf{v}}_1\right),\dots ,\left({\mathbf{k}}_m,{\mathbf{v}}_m\right)\right)=\sum _{i=1}^m\alpha \left(\mathbf{q},{\mathbf{k}}_i\right){\mathbf{v}}_i$$
$$\alpha \left(\mathbf{q},{\mathbf{k}}_i\right)=softmax\left(a\left(\mathbf{q},{\mathbf{k}}_i\right)\right)=\frac{\exp \left(a\left(\mathbf{q},{\mathbf{k}}_i\right)\right)}{{\sum }_{j=1}^m\exp \left(a\left(\mathbf{q},{\mathbf{k}}_j\right)\right)}$$

评价函数

不同的注意力评分函数会导致不同的注意力汇聚操作。常用的评分函数有以下几种:

1. 加性函数:$s(\mathbf{k},\mathbf{q})={\mathbf{w}}_1\tanh ({\mathbf{w}}_2\mathbf{k}+{\mathbf{w}}_3\mathbf{q})$，其中${\mathbf{w}}_1,{\mathbf{w}}_2,{\mathbf{w}}_3$都是可学习的参数。
2. 点积函数:$s(\mathbf{k},\mathbf{q})={\mathbf{q}}^{\top }\mathbf{k}$
3. 缩放点积函数:$s(\mathbf{k},\mathbf{q})=\frac{{\mathbf{q}}^{\top }\mathbf{k}}{\sqrt{D}}$，$D$是输入向量的维度。缩放点积函数是较为常用的。
4. 双线性点积函数:$s(\mathbf{k},\mathbf{q})={\mathbf{k}}^{\top }\mathbf{W}\mathbf{q}$
   一般来说，点积评分函数相较于加性评分函数计算效率更高，但当查询向量的维度较高时，点积评分函数会有较大的方差，导致softmax函数梯度较小。因此一般用缩放点积函数，保证点积的方差始终为1。

多头注意力机制

用$(\mathbf{K},\mathbf{V})=\left({\mathbf{k}}_1,{\mathbf{v}}_1\right),\cdots ,\left({\mathbf{k}}_n,{\mathbf{v}}_n\right)$表示$n$组键值对，多头注意力利用多个查询$\mathbf{Q}=({\mathbf{q}}_1,...,{\mathbf{q}}_{\mathbf{m}})$来并行地从输入信息中选取多组信息。每个注意力机制关注输入信息的不同部分。其关键特征在于并行。

自注意力机制

自注意力机制，顾名思义，关注自身的注意力分布。$\mathbf{K},\mathbf{Q},\mathbf{V}$都是对同一个数据$\mathbf{X}$进行线性变换（注意这里的$\mathbf{X}$不是查询）。最后得到的结果，根据上述注意力机制，相当于假如从$\mathbf{Q}$中提取出一个${\mathbf{q}}_{\mathbf{i}}$，那么应该关注其它哪些$\mathbf{q}$。比如对于一句话：”小花家的狗会做饭“，如果查询向量是”会“，那么进行自注意力运算后的结果应该是"做饭"，即在看到”会“的时候，就应该给”做饭“更多的注意力。

如果用缩放点积来作为注意力评价函数，对于一个查询向量${\mathbf{q}}_{\mathbf{n}}$，可得单个输出序列:
$${\mathbf{h}}_{\mathbf{n}}=att((\mathbf{K},\mathbf{V}),{\mathbf{q}}_{\mathbf{n}})$$

如果是多个查询向量组成的矩阵，那么最后的输出向量序列为:

$$\mathbf{H}=\mathbf{V}\mathrm{softmax}\left(\frac{{\mathbf{K}}^{\top }\mathbf{Q}}{\sqrt{{\mathbf{D}}_{\mathbf{k}}}}\right)$$

Transformer

一篇非常优秀的博客:小白Transformer

参考

动手深度学习，李沐等.

神经网络与深度学习，邱锡鹏.