Transformer 02：多头注意力机制的工作原理

上一篇博文介绍了自注意力机制原理，本文介绍多头注意力机制的工作原理，最后会附上代码示例，通过代码应用自注意力机制模块的步骤。

多头注意力机制是Transformer架构中的一个关键创新，它允许模型在不同的表示子空间中并行地学习输入数据的不同方面。这种机制增加了模型的灵活性和能力，使其能够捕捉到更复杂的特征关系。多头注意力机制的核心思想是将注意力操作分拆成多个“头”，每个头独立地进行注意力计算，然后将这些计算的结果合并起来。

1. 分割嵌入向量

首先，输入的嵌入向量被分割成多个较小的部分，每个部分对应一个注意力“头”。分割后的向量有更低的维度，这允许模型在更细粒度上学习数据的表示。

多头注意力机制中分割嵌入向量的步骤是实现多头注意力核心功能的基础，它允许模型在多个不同的表示子空间中并行处理信息。这一步骤涉及将每个输入向量（比如词嵌入向量）分割成多个部分，每个部分对应一个注意力头。

1.1 分割嵌入向量的步骤

假设输入的嵌入向量维度为 ，注意力头数为 ，则每个头处理的向量维度为 。分割嵌入向量的具体步骤如下：

1. 准备输入向量：首先，我们有输入向量，其维度为 ​，其中  是批次大小，是序列长度。

2. 应用线性变换：对输入向量  应用三个不同的线性变换（全连接层），分别生成查询（Q）、键（K）和值（V）向量。每个线性变换的权重矩阵维度为 。

3. 分割向量：将线性变换后的查询、键和值向量分割成 个部分，每部分的维度为 。这一步通常通过调整张量的形状来实现。

1.2 数学方法解释

1. 线性变换：对于查询、键和值的生成，使用线性变换（全连接层）的数学表达式可以表示为：

          (1)       

        (2)

         (3)