注意力模型QKV矩阵与位置向量计算

DreamNotOver

已于 2024-08-16 23:52:23 修改

阅读量717

点赞数 11

分类专栏：机器学习算法文章标签：注意力模型QKV 位置向量计算

于 2024-08-16 23:10:50 首次发布

本文链接：https://blog.csdn.net/lwhsyit/article/details/141271659

版权

16 篇文章 0 订阅

订阅专栏

13 篇文章 0 订阅

订阅专栏

在注意力机制中，Query (Q)、Key (K) 和 Value (V) 矩阵是通过对输入向量进行线性变换得到的，而这些矩阵的初始化与更新与神经网络的权重类似。

线性变换：在注意力机制中，输入序列通常是一个词向量或特征向量矩阵，记为 XXX（形状为 (n,dmodel)(n, d_{\text{model}})(n,dmodel)，其中 nnn 是序列长度， dmodeld_{\text{model}}dmodel 是词向量的维度）。Q、K、V 矩阵则是通过对这个输入矩阵 XXX 进行线性变换得到的：

通过反向传播更新：在训练过程中，Q、K、V 矩阵的权重是通过反向传播算法更新的。当计算损失函数的梯度时，权重矩阵的梯度被计算出来，然后使用优化算法（如 SGD、Adam）来更新这些权重。
多头注意力中的独立更新：在多头注意力机制中，会有多个独立的头（如 8 头、16 头），每个头都有自己的 Q、K、V 矩阵。每个头的权重矩阵独立初始化和更新。

通过以上的步骤和过程，Q、K、V 矩阵被初始化和更新，而 dk 则作为缩放因子确保注意力权重的稳定性。这些步骤构成了注意力机制的核心运作原理。

位置向量（Positional Encoding）在 Transformer 等模型中用于为输入序列中的每个位置编码位置信息，以便模型能够捕捉序列中的顺序关系。由于 Transformer 是完全基于注意力机制的，它没有像 RNN 那样的序列信息，因此需要位置向量来引入序列顺序的概念。

位置编码的重要性：由于 Transformer 没有内在的顺序信息（不像 RNN 那样逐步处理序列），所以需要通过显式的方式将位置信息加入到输入序列中。
加性方式：位置编码通常是通过将它们直接加到输入词向量中，从而在输入中显式编码位置信息。

最常用的计算位置向量的方法是基于正弦和余弦函数。Transformer 论文《Attention is All You Need》中提出了这种方法，具体公式如下：

对于序列中的第 posp个位置，第 2i，2i+1 维的编码分别为：

其中：

解释：

正弦和余弦函数用于编码不同频率的信息，以确保每个位置具有唯一的编码，同时保持相似位置之间的关系。
通过使用不同的频率（由 100002idmodel10000^{\frac{2i}{d_{\text{model}}}}10000dmodel2i 控制），这些位置向量能够编码不同尺度上的位置信息。

可学习的位置编码：在一些变体中，位置向量被作为可学习的参数，模型在训练过程中学习最佳的位置信息表示。这种方法在实际中也很有效，尽管它不像固定的正弦/余弦编码那样具有明确的解释性。
相对位置编码：除了绝对位置编码，相对位置编码关注的是序列元素之间的相对位置，尤其在一些需要处理长距离依赖的任务中（如文档摘要生成）非常有用。

通过理解和应用位置向量，Transformer 等模型能够捕捉到序列中的位置信息，从而更好地处理和生成与顺序相关的输出。