注意力机制的详细解释

注意力机制的详细解释

注意力机制可以描述为将查询（query）和一组键-值对（key-value pairs）映射到一个输出，其中查询、键、值和输出都是向量。输出是值的加权和，每个值的权重是通过查询与相应键的兼容性函数计算得到的。

缩放点积注意力机制（Scaled Dot-Product Attention）

图2的左侧部分展示了缩放点积注意力机制的工作流程。具体步骤如下：

1. 查询（Query）、键（Key）、值（Value）矩阵：

   • 输入包含查询矩阵$Q$、键矩阵$K$和值矩阵$V$。

2. 计算注意力分数（Attention Scores）：

   • 使用点积计算查询和键之间的相似度，得到注意力分数矩阵：
     $$\text{Attention Scores}=Q{K}^T$$

3. 缩放（Scaling）：

   • 对注意力分数进行缩放，避免数值过大导致Softmax函数的梯度过小：
     $$\text{Scaled Scores}=\frac{Q{K}^T}{\sqrt{d_k}}$$
     其中$d_k$是键向量的维度。

4. 掩码（Masking，选项）：

   • 对未来位置进行掩码，确保生成当前输出时不会看到未来的信息。这一步在训练自回归模型时尤其重要。

5. Softmax归一化：

   • 使用Softmax函数将缩放后的注意力分数转换为权重：
     $$\text{Attention Weights}=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)$$

6. 加权求和：

   • 使用注意力权重对值进行加权求和，得到最终的注意力输出：
     $$\text{Attention Output}=\text{Attention Weights}\cdot V$$

多头注意力机制（Multi-Head Attention）

图2的右侧部分展示了多头注意力机制的工作流程。具体步骤如下：

1. 线性变换：

   • 对输入的查询、键和值分别进行线性变换，得到多个不同的头。这些线性变换使用不同的权重矩阵：
     $$Q_i=Q{W}_i^Q,K_i=K{W}_i^K,V_i=V{W}_i^V$$
     其中$i$表示第$i$个头，$W_i^Q$、$W_i^K$和$W_i^V$是不同的权重矩阵。

2. 并行计算多个注意力头：

   • 对每个头独立计算缩放点积注意力。每个头的计算过程与上述缩放点积注意力相同。

3. 拼接和线性变换：

   • 将所有头的输出拼接在一起，然后通过一个线性变换生成最终的输出：
     $$\text{Multi-Head Output}=\text{Concat}({\text{head}}_1,{\text{head}}_2,\dots ,{\text{head}}_h)W^O$$
     其中$W^O$是输出的线性变换矩阵。

具体示例

假设我们有一个简单的示例，输入序列为：
$\text{Input Sequence}=\left[\begin{array}{cccc}23.1& 24.3& 22.8& 23.5\end{array}\right]$

我们将展示如何通过缩放点积注意力机制和多头注意力机制处理这个输入序列。

缩放点积注意力机制示例

假设查询、键和值矩阵如下：

$Q=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],K=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],V=\left[\begin{array}{cc}23.1& 24.3\\ 22.8& 23.5\end{array}\right]$

计算注意力分数：

$\text{Scores}=Q{K}^T=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]{\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]}^T=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

缩放：

$\text{Scaled Scores}=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

Softmax归一化：

$\text{Attention Weights}=\text{softmax}\left(\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& 0\\ 0& \frac{1}{\sqrt{2}}\end{array}\right]\right)=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

加权求和：

$\text{Attention Output}=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}23.1& 24.3\\ 22.8& 23.5\end{array}\right]=\left[\begin{array}{cc}23.1& 24.3\\ 22.8& 23.5\end{array}\right]$

多头注意力机制示例

假设我们有两个头，每个头的权重矩阵如下：

$W_1^Q=W_1^K=W_1^V=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right],W_2^Q=W_2^K=W_2^V=\left[\begin{array}{cc}0.3& 0.7\\ 0.7& 0.3\end{array}\right]$

计算第一个头的查询、键和值矩阵：

$Q_1=Q{W}_1^Q,K_1=K{W}_1^K,V_1=V{W}_1^V$

$Q_1=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$

$K_1=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$

$V_1=\left[\begin{array}{cc}23.1& 24.3\\ 22.8& 23.5\end{array}\right]\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]=\left[\begin{array}{cc}23.1& 24.3\\ 22.8& 23.5\end{array}\right]\left[\begin{array}{c}0.5\\ 0.5\end{array}\right]=\left[\begin{array}{c}23.7\\ 23.15\end{array}\right]$

计算注意力分数：

${\text{Scores}}_1=Q_1{K}_1^T=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]{\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]}^T=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$

缩放并归一化：

${\text{Scaled Scores}}_1=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right],{\text{Attention Weights}}_1=\text{softmax}\left(\left[\begin{array}{cc}\frac{0.5}{\sqrt{2}}& \frac{0.5}{\sqrt{2}}\\ \frac{0.5}{\sqrt{2}}& \frac{0.5}{\sqrt{2}}\end{array}\right]\right)$

$=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]$

加权求和：

${\text{Attention Output}}_1={\text{Attention Weights}}_1\cdot V_1=\left[\begin{array}{cc}0.5& 0.5\\ 0.5& 0.5\end{array}\right]\left[\begin{array}{c}23.7\\ 23.15\end{array}\right]=\left[\begin{array}{c}23.425\\ 23.425\end{array}\right]$

类似地计算第二个头的输出，并将两个头的输出拼接在一起：

$\text{Multi-Head Output}=\text{Concat}({\text{Attention Output}}_1,{\text{Attention Output}}_2)$

总结

通过详细解释和具体示例，我们展示了缩放点积注意力机制和多头注意力机制的工作原理。注意力机制通过查询与键的相似度计算注意力权重，并使用这些权重对值进行加权求和，从而捕捉输入数据中的重要信息。多头注意力机制通过并行计算多个注意力头，增强了模型捕捉不同子空间信息的能力，使得Transformer模型能够更好地处理复杂的序列数据。