transformer - 注意力机制

Transformer 的注意力机制

Transformer 是一种用于自然语言处理任务的模型架构，依赖于注意力机制来实现高效的序列建模。注意力机制允许模型在处理一个位置的表示时，考虑输入序列中所有其他位置的信息，而不仅仅是前面的几个位置。这种机制能够捕捉远距离的依赖关系，是 Transformer 的核心组件。

注意力机制的核心组件

在 Transformer 中，注意力机制的核心组件包括查询（Query，Q）、键（Key，K）和值（Value，V）。这些组件的具体作用和生成过程如下：

1. 查询（Query，Q）： 表示需要查找的信息。
2. 键（Key，K）： 表示可以提供的信息。
3. 值（Value，V）： 表示每个位置的实际信息或特征。

这些组件通过以下步骤实现注意力机制：

1. 输入嵌入和线性变换

原理解释： 输入序列首先通过嵌入层转化为嵌入向量，然后通过线性变换生成查询、键和值向量。假设输入序列为 $X$，线性变换生成 Q、K 和 V 的公式如下：

$$Q=X{W}^Q,K=X{W}^K,V=X{W}^V$$

生活中的例子： 想象你在图书馆寻找书籍。每本书都有其特定的主题标签（嵌入向量）。你通过查询标签（Q）寻找与你想读的书（K）匹配的标签，然后提取相应书籍的内容（V）。

目的： 通过线性变换生成查询、键和值向量，确保模型能够在统一的特征空间中进行相似度计算。

原因解释： 将输入转化为统一的特征表示后，模型能够更有效地计算相似度，并进行后续的注意力计算。

2. 计算点积注意力

原理解释： 点积注意力（Dot-Product Attention）的计算包括以下几个步骤：

1. 计算查询和键的点积： 计算查询向量 $Q$ 和键向量 $K$ 的点积，得到相似度矩阵。

   $$Q{K}^T$$

2. 缩放点积： 将点积结果除以键向量维度的平方根 $\sqrt{d_k}$ 进行缩放。

   $$\frac{Q{K}^T}{\sqrt{d_k}}$$

3. 应用 Softmax 函数： 对缩放后的点积结果应用 softmax 函数，得到注意力权重。

   $$A=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)$$

4. 加权求和值向量： 使用注意力权重对值向量 $V$ 进行加权求和，得到最终的注意力输出。

   $$Z=AV$$

生活中的例子： 你在图书馆用一个关键词（Q）搜索书籍。图书馆系统会根据每本书的主题标签（K）计算与关键词的相似度（点积），然后按照相似度高低（softmax）推荐书籍，并根据这些推荐给你提取书籍的内容（V）。

目的： 计算每个查询与键的相似度，分配注意力权重，并根据这些权重对值进行加权求和，得到最终的注意力输出。

原因解释： 通过计算相似度，模型能够识别输入序列中哪些部分相关，从而根据相关性分配注意力。缩放操作确保数值稳定，softmax 函数将相似度转化为概率分布，加权求和则整合了相关信息。

缩放点积的数学推导

为什么使用 $\sqrt{d_k}$ 进行缩放？这是因为点积的期望和方差。假设 $Q$ 和 $K$ 的每个元素是零均值单位方差的随机变量：

• 点积的期望为0。
• 点积的方差为 $d_k$。

通过缩放，使得点积的期望和方差标准化，防止数值过大导致梯度消失和数值不稳定。

生活中的例子： 想象你在图书馆搜索书籍时，系统会根据标签（K）的数量调整搜索结果的相似度计算。例如，如果标签很多，系统会将相似度分数进行缩放，避免过大的数值影响推荐。

目的： 缩放点积结果，确保数值稳定，避免梯度消失和数值不稳定问题。

原因解释： 点积的方差随着维度增加而变大，缩放操作将其标准化，确保计算的数值范围合理，从而提高模型训练的稳定性和效果。

3. 多头注意力机制

原理解释： 为了捕捉输入序列中的不同特征，Transformer 使用多头注意力机制（Multi-Head Attention）。具体步骤如下：

1. 线性变换生成多个头的 Q、K 和 V： 对输入进行多次线性变换，生成多个头的查询、键和值。

2. 独立计算每个头的注意力： 对每个头独立计算注意力。

3. 拼接多个头的输出： 将所有头的输出拼接在一起。

4. 线性变换融合多个头的输出： 对拼接后的输出进行线性变换，得到最终输出。

生活中的例子： 想象你在图书馆用不同的关键词（多个头）搜索书籍。每个关键词会得到一组推荐书籍（每个头的输出），然后你将所有推荐结果综合考虑，得到最终的书籍列表（拼接和线性变换）。

目的： 捕捉输入序列中的多种特征，增强模型的表达能力。

原因解释： 不同的头能够关注输入序列中的不同部分，通过多头注意力机制，模型能够更全面地理解输入序列中的信息。

4. 位置编码

原理解释： 由于 Transformer 不包含递归或卷积结构，因此需要引入位置编码（Positional Encoding）来保留输入序列中元素的位置信息。位置编码是添加到输入嵌入中的固定或可学习的向量。

常用的正弦和余弦位置编码公式如下：

$$P{E}_{(pos,2i)}=\sin \left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$
$$P{E}_{(pos,2i+1)}=\cos \left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$

生活中的例子： 想象你在图书馆借书时，图书馆会记录每本书的位置（位置编码），即使书籍内容相同，位置不同也会影响你找到书的效率。

目的： 保留输入序列中元素的位置信息，使模型能够捕捉顺序信息。

原因解释： 位置信息对于语言理解非常重要，通过位置编码，模型能够更好地理解序列中元素的相对位置和顺序。

5. 残差连接和层归一化

原理解释： 每个注意力层和前馈神经网络层后面都有残差连接（Residual Connection）和层归一化（Layer Normalization），以确保梯度流动更顺畅，并加速模型训练。

生活中的例子： 想象你在图书馆阅读书籍时，有一个记录你阅读进度的系统（残差连接），确保你不会丢失之前的阅读进度。同时，图书馆会定期整理和归类书籍（层归一化），确保书籍的排列整齐有序。

目的： 确保梯度流动更顺畅，加速模型训练，保持输入和输出的数值稳定。

原因解释： 残差连接能够避免梯度消失问题，层归一化则确保输入和输出的数值范围一致，增强模型的训练效果。

6. 前馈神经网络

原理解释： 注意力机制的输出通过前馈神经网络（Feedforward Neural Network, FFN），每个位置独立地通过相同的网络。FFN 包括两个线性变换和一个激活函数：

$$\text{FFN}(x)=\max (0,x{W}_1+b_1)W_2+b_2$$

生活中的例子： 想象你在图书馆选择了几本书（注意力输出），然后你决定逐本阅读，并将每本书的内容进行总结和理解（前馈神经网络处理）。

目的： 对注意力输出进行进一步的特

征提取和处理。

原因解释： 前馈神经网络能够对每个位置的特征进行深度处理，提取更高层次的表示。

7. Transformer 编码器和解码器

原理解释： Transformer 包括编码器和解码器两个部分：

• 编码器（Encoder）： 由多个相同的层组成，每层包括多头注意力机制和前馈神经网络。
• 解码器（Decoder）： 与编码器类似，但每层包括额外的一个用于处理编码器输出的多头注意力层。

编码器和解码器的交互通过注意力机制，解码器中的多头注意力机制利用编码器的输出来生成新的序列。

生活中的例子： 想象你在图书馆借书（编码器），你阅读这些书并记下笔记（解码器），然后用这些笔记写一篇文章（生成新的序列）。

目的： 实现序列到序列的任务，如机器翻译和文本生成。

原因解释： 编码器提取输入序列的特征，解码器根据这些特征生成新的序列，完成语言理解和生成任务。

结合具体实例

假设我们有一个句子 “I love NLP”，输入嵌入如下：
$$X=\left(\begin{array}{ccc}0.1& 0.2& 0.3\\ 0.4& 0.5& 0.6\\ 0.7& 0.8& 0.9\end{array}\right)$$

通过线性变换生成 Q、K 和 V：
$$Q=X{W}^Q,K=X{W}^K,V=X{W}^V$$

假设 $W^Q$、$W^K$ 和 $W^V$ 是：
$$W^Q=\left(\begin{array}{ccc}0.1& 0.2& 0.3\\ 0.4& 0.5& 0.6\\ 0.7& 0.8& 0.9\end{array}\right),W^K=\left(\begin{array}{ccc}0.1& 0.3& 0.5\\ 0.2& 0.4& 0.6\\ 0.3& 0.5& 0.7\end{array}\right),W^V=\left(\begin{array}{ccc}0.1& 0.2& 0.3\\ 0.4& 0.5& 0.6\\ 0.7& 0.8& 0.9\end{array}\right)$$

计算结果：
$$Q=\left(\begin{array}{ccc}0.14& 0.32& 0.5\\ 0.32& 0.77& 1.22\\ 0.5& 1.22& 1.94\end{array}\right),K=\left(\begin{array}{ccc}0.26& 0.44& 0.62\\ 0.62& 1.07& 1.52\\ 0.98& 1.7& 2.42\end{array}\right),V=\left(\begin{array}{ccc}0.14& 0.32& 0.5\\ 0.32& 0.77& 1.22\\ 0.5& 1.22& 1.94\end{array}\right)$$

通过点积和 softmax 计算得到注意力权重矩阵 $A$：
$$A=\left(\begin{array}{ccc}0.2& 0.3& 0.5\\ 0.1& 0.7& 0.2\\ 0.4& 0.4& 0.2\end{array}\right)$$

将注意力权重应用于值向量，得到最终输出矩阵 $Z$：
$$Z=AV$$
$$Z=\left(\begin{array}{ccc}0.2& 0.3& 0.5\\ 0.1& 0.7& 0.2\\ 0.4& 0.4& 0.2\end{array}\right)\left(\begin{array}{ccc}0.14& 0.32& 0.5\\ 0.32& 0.77& 1.22\\ 0.5& 1.22& 1.94\end{array}\right)=\left(\begin{array}{ccc}0.342& 0.81& 1.278\\ 0.21& 0.658& 1.106\\ 0.256& 0.612& 0.968\end{array}\right)$$

总结

Transformer 中的注意力机制通过查询（Q）、键（K）和值（V）捕捉输入序列中元素之间的相关性，利用多头注意力机制增强模型的表达能力。通过缩放点积、应用 softmax、加权求和值向量，模型能够有效地调整输入序列中的信息权重。位置编码确保了位置信息的保留，残差连接和层归一化加速了训练，前馈神经网络进一步处理了注意力输出。编码器和解码器的结合使得 Transformer 能够高效地进行序列到序列的任务，如机器翻译和文本生成。