Transformer - K, Q, V向量

在Transformer模型中，Q（Query）、K（Key）和V（Value）这三个向量是注意力机制（Attention Mechanism）中的核心概念。

Q、K、V的权重矩阵WQ、WK、WV用于将同一个输入X映射到不同的向量空间中，方便进行比对。（这是为多头自注意力准备的）

在多头注意力的情况下，每个头的Q、K、V的侧重点各不相同，用于从不同的角度去分析当前输入X与其他词的相关性，即注意力，并记录在模型文件中。

1、Q（Query）向量

功能：Q向量代表查询，它用于在编码器和解码器中提出“查询”以寻找相关的信息。

计算方式：通过对输入序列的每个元素（例如，词嵌入向量）与权重矩阵WQ进行线性变换得到。

作用：在自注意力机制中，一个元素的Q向量与其他所有元素的K向量进行点积运算，以衡量这个元素与序列中其他元素的关联度。

2、K（Key）向量

功能：K向量代表键，它用于存储每个元素的信息，以供查询时使用。

计算方式：同样通过对输入序列的每个元素与权重矩阵WK进行线性变换得到。

作用：在注意力机制中，K向量用于与所有Q向量进行交互，以确定对于每个查询，序列中的哪些元素是重要的。

3、V（Value）向量

功能：V向量代表值，它包含了将根据注意力权重被聚合的信息。

计算方式：通过将输入序列的每个元素与权重矩阵WV进行线性变换得到。

作用：在自注意力机制中，一旦通过Q和K的点积得到了注意力权重，这些权重就会用于加权V向量。这样，对于每个查询，我们能够获得一个加权求和后的上下文表示。

4、为什么不能把K和V的角色交换？

在标准的注意力机制中，Q、K和V向量的角色是固定的，K和V不能随意交换，因为它们各自承担着不同的职责：

K向量用于确定信息的相关性（即哪个元素与当前元素更相关）。

V向量则携带了实际的信息内容，这些内容将根据相关性被聚合。

如果交换了K和V，那么在计算注意力权重时，我们将无法正确评估不同元素之间的相关性，这会导致模型无法有效地从序列中提取和聚合信息，最终影响模型的表现。

总的来说，Q、K和V向量的设计是为了让模型能够动态地聚焦于输入序列中与当前处理元素最相关的部分，从而捕捉序列数据中的复杂关系。

转自：https://www.jianshu.com/p/7bfb5c3487fb