注意力足矣（Attention Is All You Need）

本文将介绍一个不使用卷积和循环网络层，而是完全基于注意力机制的模型——Transformer。提出这个模型的论文是Attention Is All You Need：

Transformer

一般注意力模型

自注意力（self-attention）和多头注意力（multi-head attention）

Transformer使用的注意力机制是多头自注意力，即将自注意力和多头注意力结合起来：

图片改自：[1]

下面将以Transformer为例展示多头自注意力，所以这里略过。

Transformer架构

Transformer总体架构如图：

左边为编码器，右边为解码器，$N\times$表示模块重复N次。

Transformer的编码器将输入$({\mathbf{x}}_0,\dots ,{\mathbf{x}}_{n-1})$进行编码，得到输入的表示$\mathbf{Z}$。

Transformer的解码器则是自回归的，即在生成下一符号时，使用先前生成的所有符号作为输入。给定$\mathbf{Z}$，解码器一次生成一个元素${\mathbf{y}}_i$直到输出整个序列$({\mathbf{y}}_0,\dots ,{\mathbf{y}}_{m-1})$。

以机器翻译(中文翻译为英文)为例：

（1）训练时

编码器

输入：生存还是毁灭
输出：编码Z

解码器

输入：BEGIN To be or not to be 和 Z（中间插入，如架构图所示）
目标：To be or not to be END

BEGIN和END为开始和结束的标识符。

（2）测试时

编码器

输入：生存还是毁灭
输出：编码Z

解码器自回归输入输出：

输入：BEGIN和Z（中间插入）
输出：To 

输入：BEGIN To 和Z（中间插入）
输出：be


输入：BEGIN To be 和Z（中间插入）
输出：or 

输入：BEGIN To be or和Z（中间插入）
输出： not 

输入：BEGIN To be or not和Z（中间插入）
输出： to 

输入：BEGIN To be or not to和Z（中间插入）
输出： be

输入：BEGIN To be or not to be和Z（中间插入）
输出：END
结束

下面三个小节将分别讲解Transformer的位置编码，编码器和解码器

位置编码

Transformer不包含卷积和循环模块。为了让模型能够利用输入的顺序，我们可以给输入的特征向量添加位置编码，增加一些位置信息。

令$t$是输入向量${\mathbf{x}}_t$的位置，$d$是输入向量的维度，$i$表示输入向量的第$i$个维度。Transformer使用不同频率的正弦和余弦函数作为位置编码，输入向量${\mathbf{x}}_t$的位置编码为：

$${\mathbf{p}}_t=\left[\begin{array}{c}{p}_{t,0}\\ p_{t,1}\\ p_{t,2}\\ p_{t,3}\\ ⋮\\ p_{t,d-2}\\ p_{t,d-1}\end{array}\right]=\left[\begin{array}{c}\sin \left({\omega }_0\cdot t\right)\\ \cos \left({\omega }_0\cdot t\right)\\ \sin \left({\omega }_1\cdot t\right)\\ \cos \left({\omega }_1\cdot t\right)\\ ⋮\\ \sin \left({\omega }_{d/2-1}\cdot t\right)\\ \cos \left({\omega }_{d/2-1}\cdot t\right)\end{array}\right]$$

$$p_{t,i}=\{\begin{array}{ll}\sin \left({\omega }_k\cdot t\right),& \text{ if }i=2k\\ \cos \left({\omega }_k\cdot t\right),& \text{ if }i=2k+1\end{array}$$

其中：$k=0,1,2,...,d/2-1$，${\omega }_k=\frac{1}{10000^{2k/d}}$

以维度$i$为横坐标，位置$t$为纵坐标，画出位置编码图像：

图片来源：[7]

每一行为一个位置编码${\mathbf{p}}_t$。

这种位置编码除了可以表示向量的绝对位置信息，即不同输入向量有不同的位置编码，还包含相对位置信息：

$$M.\left[\begin{array}{l}\sin \left({\omega }_k.t\right)\\ \cos \left({\omega }_k.t\right)\end{array}\right]=\left[\begin{array}{l}\sin \left({\omega }_k\cdot (t+\varphi )\right)\\ \cos \left({\omega }_k\cdot (t+\varphi )\right)\end{array}\right]$$

其中

$$M=\left[\begin{array}{cc}\cos \left({\omega }_k.\varphi \right)& \sin \left({\omega }_k.\varphi \right)\\ -\sin \left({\omega }_k.\varphi \right)& \cos \left({\omega }_k.\varphi \right)\end{array}\right]$$

即$\sin \left({\omega }_k\cdot (t+\varphi )\right)$和$\cos \left({\omega }_k\cdot (t+\varphi )\right)$可以由$\sin \left({\omega }_k.t\right)$和$\cos \left({\omega }_k.t\right)$线性表示。

对于输入$\mathbf{X}=[{\mathbf{x}}_0,...,{\mathbf{x}}_t,...,{\mathbf{x}}_{nf-1}]$，位置编码${\mathbf{p}}_t$与向量${\mathbf{x}}_t$具有相同的维度，所以可以将两者逐元素相加：

$$\mathbf{F}=[{\mathbf{x}}_0+{\mathbf{p}}_0,...,{\mathbf{x}}_t+{\mathbf{p}}_t,...{\mathbf{x}}_{n_f-1}+{\mathbf{p}}_{n_f-1}]$$

编码器

多头自注意力

Transformer总共有$h=8$个并行的自注意力层/头。每个自注意力头都有自己的可学习权重矩阵${\mathbf{W}}_K^{(l)}\in {\mathbb{R}}^{d_v\times d_f}$和${\mathbf{W}}_V^{(l)}\in {\mathbb{R}}^{d_q\times d_f}、{\mathbf{W}}_Q^{(l)}\in {\mathbb{R}}^{d_q\times d_f}$，$l=0,\dots ,h-1$，自注意力头${}^{(l)}$的查询、键和值根据特征矩阵${\mathbf{F}}^{(\text{old})}\in {\mathbb{R}}^{d_f\times n_f}$计算如下：

键(Key)矩阵：

$$\begin{array}{rl}{\mathbf{K}}^{(l)}& ={\mathbf{W}}_K^{(l)}\times {\mathbf{F}}^{(\text{old})}\in {\mathbb{R}}^{d_k\times n_f}\\ & =\left[{\mathbf{k}}_0^{(l)},\dots ,{\mathbf{k}}_{n_f-1}^{(l)}\right]\end{array}$$

值(Value)矩阵：

$$\begin{array}{rl}{\mathbf{V}}^{(l)}& ={\mathbf{W}}_V^{(l)}\times {\mathbf{F}}^{(\text{old})}\in {\mathbb{R}}^{d_v\times n_f}\\ & =\left[{\mathbf{v}}_0^{(l)},\dots ,{\mathbf{v}}_{n_f-1}^{(l)}\right]\end{array}$$

查询(Query)矩阵：

$$\begin{array}{rl}{\mathbf{Q}}^{(l)}& ={\mathbf{W}}_Q^{(l)}\times {\mathbf{F}}^{(\text{old})}\in {\mathbb{R}}^{d_q\times n_f}\\ & =\left[{\mathbf{q}}_0^{(l)},\dots ,{\mathbf{q}}_{n_f-1}^{(l)}\right]\end{array}$$

以缩放点乘(Scaled Dot-Product)作为打分函数计算注意力得分：

$$\begin{array}{rl}{\mathbf{E}}^{(l)}& =\left[\begin{array}{c}{\mathbf{e}}_0^{(l)},{\mathbf{e}}_1^{(l)},\dots ,{\mathbf{e}}_{n_f-1}^{(l)}\end{array}\right]\\ & =\left[\begin{array}{cccc}{e}_{0,0}^{(l)}& e_{1,0}^{(l)}& \cdots & e_{n_f-1,0}^{(l)}\\ e_{0,1}^{(l)}& e_{1,1}^{(l)}& \cdots & e_{n_f-1,1}^{(l)}\\ ⋮& ⋮& \ddots & ⋮\\ e_{0,n_f-1}^{(l)}& e_{1,n_f-1}^{(l)}& \cdots & e_{n_f-1,n_f-1}^{(l)}\end{array}\right]\\ & =\left[\begin{array}{cccc}{\mathbf{k}}_0^{{(l)}^T}{\mathbf{q}}_0& {\mathbf{k}}_0^{{(l)}^T}{\mathbf{q}}_1& \cdots & {\mathbf{k}}_0^{{(l)}^T}{\mathbf{q}}_{n_f-1}\\ {\mathbf{k}}_1^{{(l)}^T}{\mathbf{q}}_0& {\mathbf{k}}_1^{{(l)}^T}{\mathbf{q}}_1& \cdots & {\mathbf{k}}_1^{{(l)}^T}{\mathbf{q}}_{n_f-1}\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{k}}_{n_f-1}^{{(l)}^T}{\mathbf{q}}_0& {\mathbf{k}}_{n_f-1}^{{(l)}^T}{\mathbf{q}}_1& \cdots & {\mathbf{k}}_{n_f-1}^{{(l)}^T}{\mathbf{q}}_{n_f-1}\end{array}\right]/\sqrt{d_k}\\ & =\left[\begin{array}{c}{\mathbf{k}}_0^{{(l)}^T}\\ {\mathbf{k}}_1^{{(l)}^T}\\ ⋮\\ {\mathbf{k}}_{n_f-1}^{{(l)}^T}\end{array}\right]\cdot \left[\begin{array}{c}{\mathbf{q}}_0^{(l)},{\mathbf{q}}_1^{(l)},\dots ,{\mathbf{q}}_{n_f-1}^{(l)}\end{array}\right]/\sqrt{d_k}\\ & =\frac{{\mathbf{K}}^{{(l)}^T}{Q}^{(l)}}{\sqrt{d_k}}\end{array}$$

以Softmax()作为对齐函数，计算注意力权重：

$$\begin{array}{rl}{\mathbf{A}}^{(l)}& =[{\mathbf{a}}_0^{(l)},{\mathbf{a}}_1^{(l)},...,{\mathbf{a}}_{n_f-1}^{(l)}]\\ & =\left[\begin{array}{cccc}{a}_{0,0}^{(l)}& a_{1,0}^{(l)}& \cdots & a_{n_f-1,0}^{(l)}\\ a_{0,1}^{(l)}& a_{1,1}^{(l)}& \cdots & a_{n_f-1,1}^{(l)}\\ ⋮& ⋮& \ddots & ⋮\\ a_{0,n_f-1}^{(l)}& a_{1,n_f-1}^{(l)}& \cdots & a_{n_f-1,n_f-1}^{(l)}\end{array}\right]\\ & =\left[\begin{array}{cccc}\mathrm{Softmax}\left(e_{0,0}^{(l)};{\mathbf{e}}_0^{(\mathbf{l})}\right)& \mathrm{Softmax}\left(e_{1,0}^{(l)};{\mathbf{e}}_1^{(\mathbf{l})}\right)& \cdots & \mathrm{Softmax}\left(e_{n_f-1,0}^{(l)};{\mathbf{e}}_{{\mathbf{n}}_{\mathbf{f}}-1}^{(\mathbf{l})}\right)\\ \mathrm{Softmax}\left(e_{0,1}^{(l)};{\mathbf{e}}_0^{(\mathbf{l})}\right)& \mathrm{Softmax}\left(e_{1,1}^{(l)};{\mathbf{e}}_1^{(\mathbf{l})}\right)& \cdots & \mathrm{Softmax}\left(e_{n_f-1,1}^{(l)};{\mathbf{e}}_{{\mathbf{n}}_{\mathbf{f}}-1}^{(\mathbf{l})}\right)\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{Softmax}\left(e_{0,n_f-1}^{(l)};{\mathbf{e}}_0^{(\mathbf{l})}\right)& \mathrm{Softmax}\left(e_{1,n_f-1}^{(l)};{\mathbf{e}}_1^{(\mathbf{l})}\right)& \cdots & \mathrm{Softmax}\left(e_{n_f-1,n_f-1}^{(l)};{\mathbf{e}}_{{\mathbf{n}}_{\mathbf{f}}-1}^{(\mathbf{l})}\right)\end{array}\right]\\ & =\mathrm{Softmax}(\frac{{{\mathbf{K}}^{(\mathbf{l})}}^T{\mathbf{Q}}^{(l)}}{\sqrt{d_k}})\end{array}$$

自注意力头${}^{(l)}$输出为：

$$\begin{array}{rl}{\mathbf{C}}^{(\mathbf{l})}& =\left[{\mathbf{c}}_0^{(l)},{\mathbf{c}}_1^{(l)},\dots ,{\mathbf{c}}_{n_f-1}^{(l)}\right]\\ & =\left[{\mathbf{v}}_0^{(l)},{\mathbf{v}}_1^{(l)},\dots ,{\mathbf{v}}_{n_f-1}^{(l)}\right]\left[\begin{array}{cccc}{a}_{0,0}^{(l)}& a_{1,0}^{(l)}& \cdots & a_{n_f-1,0}^{(l)}\\ a_{0,1}^{(l)}& a_{1,1}^{(l)}& \cdots & a_{n_f-1,1}^{(l)}\\ ⋮& ⋮& \ddots & ⋮\\ a_{0,n_f-1}^{(l)}& a_{1,n_f-1}^{(l)}& \cdots & a_{n_f-1,n_f-1}^{(l)}\end{array}\right]\\ & ={\mathbf{V}}^{(l)}\mathrm{Softmax}(\frac{{\mathbf{K}}^{{(l)}^T}{Q}^{(l)}}{\sqrt{d_k}})\end{array}$$

将上述每个头部的自注意力计算过程总结为表达式：

$${\mathbf{c}}_i^{(l)}=\mathrm{s}\mathrm{e}\mathrm{l}\mathrm{f}-\mathrm{a}\mathrm{t}\mathrm{t}({{\mathbf{q}}_{\mathbf{i}}}^{(l)},{\mathbf{K}}^{(l)},{\mathbf{V}}^{(l)})$$

$$\begin{array}{rl}{\mathbf{C}}^{(l)}& =\left[{\mathbf{c}}_0^{(l)},{\mathbf{c}}_1^{(l)},\dots ,{\mathbf{c}}_{n_f-1}^{(l)}\right]\\ & =\mathrm{s}\mathrm{e}\mathrm{l}\mathrm{f}-\mathrm{a}\mathrm{t}\mathrm{t}({\mathbf{Q}}^{(l)},{\mathbf{K}}^{(l)},{\mathbf{V}}^{(l)})\\ & ={\mathbf{V}}^{(l)}\mathrm{Softmax}(\frac{{\mathbf{K}}^{{(l)}^T}{Q}^{(l)}}{\sqrt{d_k}})\in {\mathbb{R}}^{d_v\times n_f}\end{array}$$

我们的目标仍然是创建一个上下文向量作为注意力模型的输出。因此，要将各个注意力头产生的上下文向量被连接成一个向量$\mathrm{concat}\left({\mathbf{C}}^{(0)};{\mathbf{C}}^{(1)};\dots ;{\mathbf{C}}^{(h-1)}\right)\in {\mathbb{R}}^{d_{v}h\times n_f}$。然后，使用权重矩阵${\mathbf{W}}_O\in {\mathbb{R}}^{d_c\times d_{v}h}$对其进行线性变换：

$$\begin{array}{rl}\mathbf{C}& ={\mathbf{W}}_O\times \mathrm{concat}\left({\mathbf{C}}^{(0)};{\mathbf{C}}^{(1)};\dots ;{\mathbf{C}}^{(h-1)}\right)\\ & ={\mathbf{W}}_O\times \left[\mathrm{concat}({\mathbf{c}}_0^{(0)};\dots ;{\mathbf{c}}_0^{(h-1)}),\mathrm{concat}({\mathbf{c}}_1^{(0)};\dots ;{\mathbf{c}}_1^{(h-1)}),...,\mathrm{concat}({\mathbf{c}}_{n_f-1}^{(0)};\dots ;{\mathbf{c}}_{n_f-1}^{(h-1)})\right]\in {\mathbb{R}}^{d_c\times n_f}\end{array}$$

对于每一个头，可以令$d_k=d_v=d_q=d_c/h$。由于每个头部的输出尺寸大小都$/h$，所以总计算成本与全尺寸$d_c$单头注意的计算成本差不多。

Transformer的多头自注意力层还使用了残差连接和层归一化，最终输出为：

$${\mathbf{F}}^{(\text{new })}=\mathrm{LayerNorm}\left({\mathbf{F}}^{(\text{old})}+\mathbf{C}\right)$$

前馈网络

编码模块最终输出：
$$\mathbf{Z}=\mathrm{LayerNorm}\left({\mathbf{F}}^{(\text{new })}+\mathrm{FFN}({\mathbf{F}}^{(\text{new })})\right)$$

其中

$$\mathrm{FFN}({\mathbf{F}}^{(\text{new })})={\mathbf{W}}_1\mathrm{ReLu}({\mathbf{W}}_0{\mathbf{F}}^{(\text{new })}+{\mathbf{b}}_0)+{\mathbf{b}}_1$$

解码器

带掩码的多头自注意力

解码器为了保持自回归性，要求解码器中注意力层的输出${\mathbf{c}}_i$只与${\mathbf{v}}_0,...,{\mathbf{v}}_i$有关，这可以通过在打分函数和对齐函数之间加了一个掩码实现。

掩码：

$$\begin{array}{rl}{\mathbf{E}}^{\prime }& =\mathrm{Mask}(\mathbf{E})\\ & =\left[\begin{array}{cccc}{e}_{0,0}& e_{1,0}& \cdots & e_{n_f-1,0}\\ -\infty & e_{1,1}& \cdots & e_{n_f-1,1}\\ ⋮& ⋮& \ddots & ⋮\\ -\infty & -\infty & \cdots & e_{n_f-1,n_f-1}\end{array}\right]\end{array}$$

对齐：

$$\begin{array}{rl}\mathbf{A}& =[{\mathbf{a}}_0,{\mathbf{a}}_1,...,{\mathbf{a}}_{n_f-1}]\\ & =\left[\begin{array}{cccc}{a}_{0,0}& a_{1,0}& \cdots & a_{n_f-1,0}\\ a_{0,1}& a_{1,1}& \cdots & a_{n_f-1,1}\\ ⋮& ⋮& \ddots & ⋮\\ a_{0,n_f-1}& a_{1,n_f-1}& \cdots & a_{n_f-1,n_f-1}\end{array}\right]\\ & =\mathrm{Softmax}({\mathbf{E}}^{\prime })\\ & =\left[\begin{array}{cccc}\mathrm{Softmax}\left(e_{0,0};{\mathbf{e}}_0\right)& \mathrm{Softmax}\left(e_{1,0};{\mathbf{e}}_0\right)& \cdots & \mathrm{Softmax}\left(e_{n_f-1,0};{\mathbf{e}}_{{\mathbf{n}}_{\mathbf{f}}-1}\right)\\ 0& \mathrm{Softmax}\left(e_{1,1};{\mathbf{e}}_1\right)& \cdots & \mathrm{Softmax}\left(e_{n_f-1,1};{\mathbf{e}}_{{\mathbf{n}}_{\mathbf{f}}-1}\right)\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \mathrm{Softmax}\left(e_{n_f-1,n_f-1};{\mathbf{e}}_{{\mathbf{n}}_{\mathbf{f}}-1}\right)\end{array}\right]\end{array}$$

得到上下文矩阵，即自注意力层的输出：

$$\begin{array}{rl}\mathbf{C}& =\left[{\mathbf{c}}_0,{\mathbf{c}}_1,\dots ,{\mathbf{c}}_{n_f-1}\right]\\ & =\left[{\mathbf{v}}_0,{\mathbf{v}}_1,\dots ,{\mathbf{v}}_{n_f-1}\right]\left[\begin{array}{cccc}{a}_{0,0}& a_{1,0}& \cdots & a_{n_f-1,0}\\ 0& a_{1,1}& \cdots & a_{n_f-1,1}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & a_{n_f-1,n_f-1}\end{array}\right]\end{array}$$

可以看到，使用掩码之后，注意力层的输出${\mathbf{c}}_i$只与${\mathbf{v}}_0,...,{\mathbf{v}}_i$有关

其他跟编码器的是一样的。

以编码器输出作为输入的多头自注意力

解码器第二个多头自注意力与编码器的一样，不过它的$\mathbf{K}$, $\mathbf{V}$矩阵不是使用上一层的输出计算，而是使用编码器的最终编码信息计算。

若编码器的最终输出为${\mathbf{Z}}^{(enc)}$；上一层输出为${\mathbf{F}}^{(dec)}$，则：

键(Key)矩阵：

$$\begin{array}{rl}{\mathbf{K}}^{(l)}& ={\mathbf{W}}_K^{(l)}\times {\mathbf{Z}}^{(enc)}\end{array}$$

值(Value)矩阵：
$$\begin{array}{rl}{\mathbf{V}}^{(l)}& ={\mathbf{W}}_V^{(l)}\times {\mathbf{Z}}^{(enc)}\end{array}$$

查询(Query)矩阵：

$$\begin{array}{rl}{\mathbf{Q}}^{(l)}& ={\mathbf{W}}_Q^{(l)}\times {\mathbf{F}}^{(dec)}\end{array}$$

前馈网络

与编码器的相同。

暂时介绍到这里，更多细节可能会在后续的博客展开。

参考：

[1] A General Survey on Attention Mechanisms in Deep Learning https://arxiv.org/pdf/2203.14263v1.pdf

[2] Attention Is All You Need https://arxiv.org/pdf/1706.03762.pdf

[3] 《神经网络与深度学习》 邱锡鹏

位置编码推荐进一步阅读：

[4] https://zhuanlan.zhihu.com/p/454482273

[5] https://blog.csdn.net/qq_43391414/article/details/121061766

[6] https://zhuanlan.zhihu.com/p/106644634

[7] https://kazemnejad.com/blog/transformer_architecture_positional_encoding/