注意力机制 self-attention 的原理探究

一、点积的认识

向量的点积可以表示相似性的原因在于它衡量了两个向量之间的方向是否相似。当两个向量的方向趋于一致时，它们的点积会更大；当两个向量的方向趋于相互垂直时，它们的点积会接近于0。这种性质使得点积在衡量向量之间的相似性和相关性时非常有用。

具体来说，两个向量A和B的点积A*B可以表示为两个向量在同一方向上的投影长度之积的和。如果两个向量在同一方向上的投影长度越大，它们的点积也会越大，表明它们的方向更加相似。相反，如果两个向量的方向差异较大，它们在同一方向上的投影长度会减小，点积也会减小，表明它们的方向差异较大。

因此，通过计算向量的点积，我们可以判断两个向量之间的方向是否相似，从而衡量它们的相似性。在机器学习和数据分析中，点积常用于计算特征之间的相似性，从而进行特征选择、聚类、分类等任务。

1.1 向量夹角可以表示相似性的原理

两个向量A和B之间的夹角可以通过它们的点积和向量的模（长度）来计算。假设向量A = [a_1, a_2, ..., a_n]，向量B = [b_1, b_2, ..., b_n]，它们之间的夹角可以通过以下公式计算： 

其中，向量A和向量B的点积，||A||和||B||分别表示向量A和向量B的模（长度）。

推导过程：

通过以上推导，我们可以看到向量夹角的计算与点积之间有着密切的关系。通过点积和向量的模（长度）的计算，我们可以求解两个向量之间的夹角，从而衡量它们之间的相似度或相关性。

所以本质上还是点积的大小进行线性的缩放，不会影响相似性的衡量。

二、注意力机制

在深度学习中，注意力机制是一种重要的技术，用于模型在处理序列数据时能够更加关注重要的部分，从而提高模型的性能。注意力机制可以使模型在生成输出时，根据输入的不同部分赋予不同的权重，使得模型能够更加灵活地学习和利用输入数据的信息。

下面我们以Transformer模型中的自注意力机制（Self-Attention）为例来详细解释和实现注意力机制。

2.1 注意力机制的描述

在注意力机制中，Q（Query）、K（Key）、V（Value）和softmax函数是核心概念，用于计算注意力权重并生成输出表示。

Query（查询）、Key（键）、Value（值）

• Query Q（查询）：查询是用来寻找与之相关性的键的向量。在注意力机制中，查询向量Q通常是通过对输入数据进行线性变换得到的，用于衡量查询与键的相似度，决定了在生成输出表示时每个键的重要程度。

• Key K（键）：键是用来表示输入数据的向量，与查询一起计算注意力权重。键向量K也是通过对输入数据进行线性变换得到的。

• Value V（值）：值是用来生成最终输出表示的向量。值向量V同样是通过对输入数据进行线性变换得到的，根据注意力权重对值进行加权求和得到最终输出。

Softmax函数

Softmax函数是一个常用的激活函数，通常用于多分类问题中，将输入转化为概率分布。在注意力机制中，softmax函数被用来计算注意力权重，将注意力分数转化为概率分布，使得不同位置的输入在生成输出时得到不同的权重。

2.2 生成过程和举例说明

2.3 推导举例

为了推导注意力的分数，我们首先定义查询向量Q和键向量K之间的相关性度量，通常使用点积（dot product）作为相似度度量。然后通过缩放处理和应用softmax函数，将相关性转化为注意力权重。

相关性表示：

• 通过点积计算查询向量Q和键向量K之间的相似度，可以理解为在d维空间中，两个向量的方向相同且长度相似时，点积的值较大，表示两个向量之间的相关性较高。

• 缩放处理可以使得点积的值不受向量维度的影响，使得训练更加稳定。

• softmax函数将缩放后的分数转化为概率分布，使得不同位置的输入在生成输出时得到不同的权重，体现了不同位置之间的相关性。

通过以上推导，可以看到为什么可以使用点积作为相关性度量，并通过缩放和softmax函数得到注意力权重，从而实现在生成输出表示时对不同位置的输入进行加权处理。