自注意力（self-attention）和多头注意力（multi-head attention）

之前我们认识了 一般的注意力模型。本文将介绍自注意力和多头注意力，为后续介绍Transformer做铺垫。

自注意力

如果注意力模型中注意力是完全基于特征向量计算的，那么称这种注意力为自注意力：

图片改自：[1]

例如，我们可以使用权重矩阵${\mathbf{W}}_K\in {\mathbb{R}}^{d_k\times d_f}$、${\mathbf{W}}_V\in {\mathbb{R}}^{d_v\times d_f}$和${\mathbf{W}}_Q\in {\mathbb{R}}^{d_q\times d_f}$对特征矩阵$\mathbf{F}=[{\mathbf{f}}_1,\dots ,{\mathbf{f}}_{n_f}]\in {\mathbb{R}}^{d_f\times n_f}$进行线性变换，得到

键(Key)矩阵
$$\begin{array}{rl}\mathbf{K}& ={\mathbf{W}}_K\mathbf{F}\\ & ={\mathbf{W}}_K[{\mathbf{f}}_1,\dots ,{\mathbf{f}}_{n_f}]\\ & =\left[{\mathbf{k}}_1,\dots ,{\mathbf{k}}_{n_f}\right]\in {\mathbb{R}}^{d_k\times n_f}\end{array}$$

值(Value)矩阵
$$\begin{array}{rl}\mathbf{V}& ={\mathbf{W}}_V\mathbf{F}\\ & ={\mathbf{W}}_V[{\mathbf{f}}_1,\dots ,{\mathbf{f}}_{n_f}]\\ & =\left[{\mathbf{v}}_1,\dots ,{\mathbf{v}}_{n_f}\right]\in {\mathbb{R}}^{d_v\times n_f}\end{array}$$

查询(Query)矩阵
$$\begin{array}{rl}\mathbf{Q}& ={\mathbf{W}}_Q\mathbf{F}\\ & ={\mathbf{W}}_Q[{\mathbf{f}}_1,\dots ,{\mathbf{f}}_{n_f}]\\ & =\left[{\mathbf{q}}_1,\dots ,{\mathbf{q}}_{n_f}\right]\in {\mathbb{R}}^{d_q\times n_f}\end{array}$$

$\mathbf{Q}$的每一列${\mathbf{q}}_i$都用作注意力模型的查询。当使用查询向量${\mathbf{q}}_i$计算注意力时，生成的上下文向量${\mathbf{c}}_i$将汇总特征向量中对查询${\mathbf{q}}_i$来说重要的的信息。

首先，对查询${\mathbf{q}}_i，i=1,2,...,n_f$计算键向量${\mathbf{k}}_j$的注意力得分：

$$\underset{1\times 1}{e_{i,j}}=\mathrm{score}\left(\underset{d_q\times 1}{{\mathbf{q}}_i},\underset{d_k\times 1}{{\mathbf{k}}_j}\right)，j=1,2,...,n_f$$

查询${\mathbf{q}}_i$表示对信息的请求。注意得分$e_{i,j}$表示根据查询${\mathbf{q}}_i$，键向量${\mathbf{k}}_j$中包含的信息有多重要。计算每个值向量的得分，得到关于查询${\mathbf{q}}_i$的注意力得分向量：

$${\mathbf{e}}_{\mathbf{i}}=[e_{i1},e_{i2},...,e_{i,n_f}{]}^T$$

然后，使用对齐函数$\mathrm{align}()$进行对齐：
$$\underset{1\times 1}{a_{i,j}}=\mathrm{align}\left(\underset{1\times 1}{e_{i,j};}\underset{n_f\times 1}{{\mathbf{e}}_{\mathbf{i}}}\right)，j=1,2,...,n_f$$

得到注意力权重向量：${\mathbf{a}}_i=[a_{i,1},a_{i,2},...,a_{i,n_f}{]}^T$。

最后计算上下文向量：
$$\underset{d_v\times 1}{{\mathbf{c}}_i}=\sum _{j=1}^{n_f}\underset{1\times 1}{a_{i,j}}\times \underset{d_v\times 1}{{\mathbf{v}}_j}$$

总结以上步骤，自注意力计算表达式为：

$${\mathbf{c}}_i=\text{ self-att }({\mathbf{q}}_i,\mathbf{K},\mathbf{V})\in {\mathbb{R}}^{d_v}$$
由于${\mathbf{q}}_i={\mathbf{W}}_Q{\mathbf{f}}_i$，因此可以说上下文向量${\mathbf{c}}_i$包含所有特征向量中（包括${\mathbf{f}}_i$）对特定特征向量${\mathbf{f}}_i$来说重要的的信息。例如，对于语言，这意味着自注意力可以提取单词特征之间的关系（动词与名词；代词与名词等等），如果${\mathbf{f}}_i$是一个词的特征向量，那么自注意力可以计算得到其他词对于${\mathbf{f}}_i$来说重要的信息。对于图像，自注意力则可以得到各个图像区域特征之间的关系。

计算$\mathbf{Q}$中所有查询向量的上下文向量，得到自注意力层的输出：
$$\mathbf{C}=\text{ self-att }(\mathbf{Q},\mathbf{K},\mathbf{V})=[{\mathbf{c}}_1,{\mathbf{c}}_2,...,{\mathbf{c}}_{n_f}]\in {\mathbb{R}}^{d_v\times n_f}$$

多头注意力

多头注意力通过利用同一查询的多个不同版本并行实现多个注意力模块来工作。其思想是使用不同的权重矩阵对查询$\mathbf{q}$进行线性变换得到多个查询。每个新形成的查询本质上都需要不同类型的相关信息，从而允许注意模型在上下文向量计算中引入更多信息。

多头注意力的$d$个头部都有自己的多个查询向量、键矩阵和值矩阵：${\mathbf{q}}^{(l)},{\mathbf{K}}^{(l)}$和${\mathbf{V}}^{(l)}$，$l=1,\dots ,d$。

查询${\mathbf{q}}^{(l)}$由原始查询$\mathbf{q}$经过线性变换得到，而${\mathbf{K}}^{(l)}$和${\mathbf{V}}^{(l)}$则是$\mathbf{F}$经过线性变换得到。每个注意力头都有自己的可学习权重矩阵${\mathbf{W}}_q^{(l)}、{\mathbf{W}}_K^{(l)}和{\mathbf{W}}_V^{(l)}$。第$l$个头的查询、键和值的计算如下：

$$\underset{d_q\times 1}{{\mathbf{q}}^{(l)}}=\underset{d_q\times d_q}{{\mathbf{W}}_q^{(l)}}\times \underset{d_q\times 1}{q},$$

$$\underset{d_k\times n_f}{{\mathbf{K}}^{(l)}}=\underset{d_k\times d_f}{{\mathbf{W}}_K^{(l)}}\times \underset{d_f\times n_f}{F}$$

$$\underset{d_v\times n_f}{{\mathbf{V}}^{(l)}}=\underset{d_v\times d_f}{{\mathbf{W}}_V^{(l)}}\times \underset{d_f\times n_f}{F}$$

每个头都创建了自己对查询$\mathbf{q}$和输入矩阵$\mathbf{F}$的表示，从而允许模型学习更多的信息。例如，在训练语言模型时，一个注意力头可以学习关注某些动词（例如行走、驾驶、购买）与名词（例如，学生、汽车、苹果）的关系，而另一个注意力头部则学习关注代词（例如，他、她、it）与名词的关系。

每个头还将创建自己的注意力得分向量${\mathbf{e}}_i^{(l)}={\left[e_{i,1}^{(l)},\dots ,e_{i,n_f}^{(l)}\right]}^T\in {\mathbb{R}}^{n_f}$，以及相应的注意力权重向量${\mathbf{a}}_i^{(l)}={\left[a_{i,1}^{(l)},\dots ,a_{i,n_f}^{(l)}\right]}^T\in {\mathbb{R}}^{n_f}$

然后，每个头都会产生自己的上下文向量${\mathbf{c}}_i^{(l)}\in {\mathbb{R}}^{d_v}$，如下所示：

$$\underset{d_v\times 1}{{\mathbf{c}}_i^{(l)}}=\sum _{j=1}^{n_f}\underset{1\times 1}{a_{i,j}^{(l)}}\times \underset{d_v\times 1}{{\mathbf{v}}_j^{(l)}}$$

我们的目标仍然是创建一个上下文向量作为注意力模型的输出。因此，要将各个注意力头产生的上下文向量被连接成一个向量。然后，使用权重矩阵${\mathbf{W}}_O\in {\mathbb{R}}^{d_c\times d_{v}d}$对其进行线性变换：
$$\underset{d_c\times 1}{{\mathbf{c}}_i}=\underset{d_c\times d_{v}d}{{\mathbf{W}}_O}\times \mathrm{concat}\left(\underset{d_v\times 1}{{\mathbf{c}}_i^{(1)}};\dots ;\underset{d_v\times 1}{{\mathbf{c}}_i^{(d)}}\right)$$

这保证最终的上下文向量${\mathbf{c}}_i\in {\mathbb{R}}^{d_c}$符合目标维度

参考：

[1] A General Survey on Attention Mechanisms in Deep Learning https://arxiv.org/pdf/2203.14263v1.pdf