绝对位置编码与相对位置编码区别

本文作者： slience_me

---

绝对位置编码与相对位置编码区别

绝对位置编码（Absolute Positional Encoding）和相对位置编码（Relative Positional Encoding）是用于在Transformer等模型中处理序列数据时引入位置信息的两种不同方法。

绝对位置编码

• 绝对位置编码是在序列中每个位置上都固定地分配一个唯一的编码。这种编码通常是基于正弦和余弦函数的周期性函数生成的。
• 例如，在一个长度为100的序列中，第一个位置的绝对位置编码可能是[0.841, 0.0, 0.909, …]，第二个位置的编码可能是[0.909, 0.841, 0.0, …]，以此类推。

相对位置编码

• 相对位置编码是根据元素之间的相对位置关系来动态地生成位置信息。这种编码允许模型在处理序列时考虑元素之间的相对距离。
• 例如，在一个文本序列中，如果两个词之间的相对位置是“前一个词在前”，那么相对位置编码可能会给这种关系分配一个特定的向量表示；如果是“后一个词在前”，那么分配另一个向量表示。

区别和举例：

• 区别：绝对位置编码是固定的、不考虑元素之间的关系，而相对位置编码是动态的、根据元素之间的相对关系来分配编码。
• 举例：在处理一个长度为5的序列时，绝对位置编码会为每个位置分配一个固定的编码，而相对位置编码会根据不同的位置关系动态地生成不同的编码。比如，对于相对位置编码，如果元素之间的相对关系是“前一个位置在前”，那么它可能会被编码为[0.8, -0.2]；如果是“后一个位置在前”，那么可能会被编码为[-0.3, 0.6]。