相对位置编码与绝对位置编码

最新推荐文章于 2025-03-18 17:39:20 发布
最新推荐文章于 2025-03-18 17:39:20 发布
阅读量1.7k 收藏 10
点赞数 4
分类专栏： NLP 文章标签： 自然语言处理 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43469443/article/details/128405129
版权
本文探讨了Transformer模型中位置编码的重要性，包括绝对位置编码和相对位置编码。绝对位置编码通过训练得到，但无法捕捉相对位置信息；相对位置编码则解决了这一问题，能够表达词与词之间的距离。正弦位置编码是一种数学上优雅的解决方案，通过线性组合表示相对位置。文章还提到了层次分解方法来扩展绝对位置编码的适用范围，以处理超长文本，并链接了几篇相关研究论文供深入阅读。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

位置编码

在输入的第k个向量xk中加入位置向量pk变为xk+pk，其中pk只依赖于位置编号k.位置向量和词向量相加而不是拼接。不选择拼接，
（1）拼接会导致参数数量的增加，其学习难度进一步上升

（2）另一个解释的原因是选择拼接后的效果有时积极有时消极

绝对位置编码

BERT使用的是训练出来的绝对位置编码，这种编码方式简单直接，效果也不错,且位置嵌入只与词的位置i有关，绝对方法将输入tokens的绝对位置从1编码到最大序列长度。也就是说，每个位置都有单独的编码向量。然后将编码向量与输入Tokens组合，以将位置信息输入给模型。但是该方法不能表达1与2之间的距离相比2与5的距离更小。因此引入了相对的位置编码
绝对位置编码的生成和生成词向量的方法相似，先初始化位置编码，再放到预训练过程中，训练出每个位置的位置向量。缺点是没有外推性，如果预训练的最大长度为512的话，那么只能处理长度为512的句子，最近研究表明可以通过层次分解的方式，可以使得绝对位置编码能外推的足够长的范围n^2
链接: 《层次分解位置编码，让BERT可以处理超长文本》
链接: ICCV2021 | Vision Transformer中相对位置编码的反思与改进

链接: 相对位置编码和绝对位置编码原理及源码

正弦位置编码

Position Encodeing 公式如下
在这里插入图片描述
pos即position，意为token在句中的位置，句子长度L，pos=0，1…L-1,i为向量的某一维度在这里插入图片描述
i=0，1…255.
根据数学公式
在这里插入图片描述
可以将公式拆分开为
在这里插入图片描述
可以看出，对于pos+k位置的位置向量某一维2i或2i+而言可以表示为pos位置与k位置的位置向量的2i与2i+1维的线性组合，这样的线性组合意味着位置中蕴含了相对的位置信息

参考链接: 如何理解Transformer论文中的positional encoding，和三角函数有什么关系？

相对位置编码

图片举例
在这里插入图片描述
图片中为了得到两个 i 的表示向量，如果不加入位置编码是会把两个i看作一样的，但是从语义语法的角度这是不合理，为了解决该问题就引入
相对位置变量：一个位置相对另一个位置的采用一组可训练的embedding向量来表示输入的句子中每个单词的位置编码。可以表示出单词之间的相互距离，该距离为一个设定值2k+1，左边K个右边k个，当前一个。超过范围就认为影响较小没必要精确计算两者之间的距离。具体计算请参考链接
中文版
链接: relative position representation
英文原版
强烈推荐 How Self-Attention with Relative Position Representations works

LLM - 理解 旋转位置编码(RoPE) 与 绝对相对位置编码 之间的差异
AGI
07-10 1158
Transformer 是基于 多头自注意力机制 (Multi Head Self-Attention, MHSA) 的算法，然而，MHSA 对于位置不敏感，需要添加 位置编码(PE)，主要包括绝对位置编码 (默认的 Transformer 位置编码)、相对位置编码，以及主流的旋转位置编码 (Rotary Position Embedding, RoPE)。
大语言模型原理基础与前沿 相对位置编码
AI天才研究院
07-05 746
相对位置编码通过预先定义的正弦和余弦函数生成，这些函数对于不同的位置和维度有不同的周期性，以此来表示相对位置信息。在构建相对位置编码时，通常会考虑每个位置相对于序列起点的位置，以及序列中的位置相对于其他位置的位置。相对位置编码是提升大语言模型性能的关键技术之一，它通过引入相对位置信息，帮助模型更好地理解文本结构和上下文依赖。随着技术的不断进步，相对位置编码的应用将会更加广泛，特别是在多模态理解、对话系统和复杂文本生成等领域。
绝对位置编码，相对位置编码
weixin_42887772的博客
07-25 1301
不同于CNN，RNN，对于Transformer模型，Attention模块是无法捕捉输入顺序的，即无法区分不同位置的Token1.想办法将位置信息融入到输入中，这构成了绝对位置信息的一般做法2.微调Attention结构，使它有能力分辨不同位置的token。...
相对位置编码和绝对位置编码
ding_programmer的博客
07-28 6039
位置编码的区别：相对位置编码和绝对位置编码是两种不同的位置编码方法。绝对位置编码是一种基于位置嵌入的方法，其中每个位置都被分配了一个唯一的位置向量。这些向量是固定的，与输入序列的内容无关。这种编码方式对于处理较短的序列效果较好，但在处理长序列时可能会存在问题，因为序列的长度超过了模型能够处理的位置编码的范围。相对位置编码是一种基于相对位置的方法，其中每个位置被编码为一个偏移量，表示该位置与其他位置之间的相对距离。相对位置编码可以通过在输入嵌入中添加额外的信息来实现。
绝对位置编码、相对位置编码、旋转位置编码分别是什么，他们的优缺点是【进阶版】
最新发布
yxx122345的博客
03-18 922
特性绝对位置编码相对位置编码旋转位置编码（RoPE）核心思想为每个位置分配唯一编码建模元素之间的相对位置通过旋转操作注入位置信息实现复杂度简单较复杂较复杂计算开销低较高中等长度外推能力有限（可学习编码）或较好（正弦）较好非常好是否建模相对位置否是是是否需要额外参数无（正弦余弦）或有（可学习）是无适用场景通用任务需要相对位置的任务（如翻译）长序列任务（如文档生成、代码）它的旋转操作是连续的、平滑的。它不需要额外参数，直接用数学公式计算位置信息。
浅谈相对位置编码和绝对位置编码
Xbusiwang的博客
01-25 5640
相对位置编码：没有完整建模整个序列的位置信息，而是在算当前位置的Attention的时候，考虑了当前位置和被Attention位置之间的相对距离（这一操作可以体现在计算Attention过程中，在计算中引入一个相对位置向量进行学习，下图展示：）；相对位置编码是一种根据位置之间的相对关系来编码序列的方法。（3）标题对于ij的相对位置表示为j与i的相对距离，其中clip（j-i,k）用来对j-i进行截断处理，截断范围为（-k,k）其中k表示相对位置的范围区间，当j-i小于-k则令成-k，大于k则令成k;
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
Bin_Dut的博客
04-02 2857
绝对位置编码最原始的正余弦位置编码（即sinusoidal位置编码）是一种绝对位置编码，但从其原理中的正余弦的和差化积公式来看，引入的其实也是相对位置编码。优势： 实现简单，可预先计算好，不用参与训练，速度快。劣势： 没有外推性，即如果预训练最大长度为512的话，那么最多就只能处理长度为512的句子，再长就处理不了了。当然，也可以将超过512的位置向量随机初始化，然后继续微调。相对位置编码。
绝对位置编码【三角/递归/相乘】-＞相对位置编码【XLNET/T5/DEBERTA】-＞旋转位置编码(ROPE/XPOS)-＞复杂位置编码【CNN/RNN/复数/融合】
weixin_36378508的博客
03-18 9470
本文分成三类讲解： 1、绝对位置编码-BERT（学习位置编码） 2、正弦位置编码 3、相对位置编码-NEZHA 4、（处理超文本-层次位置编码） 对每一种都进行的讲解，并在代码中详细加了注释！ 1、绝对位置编码-BERT BERT使用的是训练出来的绝对位置编码，这种编码方式简单直接，效果也不错。 这种方法和生成词向量的方法相似，先初始化位置编码，再放到预训练过程中，训练出每个位置的位置向量。 关于该方法的代码如下，用Keras写的，参考苏剑林老师的bert4keras中的代码 from keras.la.
绝对编码器和相对编码器的区别
08-19
绝对编码器和相对编码器的区别 编码器是衡量机械运动的重要组件，它可以将机械运动转换为电信号，提供位置、速度和加速度等信息。在实际应用中，编码器可以分为两种：绝对编码器和相对编码器。两种编码器的工作原理...
位置编码(五) 相对位置编码 二维位置编码 裁剪位置编码 RPE 2d-PE CPE
duoyasong5907的博客
12-04 1182
RPE 2d-PE CPE
【大模型知识点】位置编码——绝对位置编码，相对位置编码，旋转位置编码RoPE
想买很多漂亮衣服但是买不起的博客
03-09 1489
本文介绍了大模型中常见的绝对位置编码和相对位置编码方法，如transformer的正余弦位置编码，可学习位置编码，RoPE和ABiLi
绝对位置编码和相对位置编码有什么联系和区别？
weixin_63866037的博客
01-04 956
绝对位置编码和相对位置编码是Transformer模型中处理序列数据时引入位置信息的两种不同方法。它们各有优缺点，适用于不同的任务场景。在选择使用哪种位置编码时，需要根据具体任务的需求和模型的复杂度进行权衡。在某些情况下，结合使用两种位置编码方法可能会取得更好的效果。
[NLP] 相对位置编码(二) Relative Positional Encodings - Transformer-XL
weixin_30794499的博客
07-26 1751
1. Motivation 在Transformer-XL中，由于设计了segments，如果仍采用transformer模型中的绝对位置编码的话，将不能区分处不同segments内同样相对位置的词的先后顺序。 比如对于$segment_i$的第k个token，和$segment_j$的第k个token的绝对位置编码是完全相同的。 鉴于这样的问题，transformer-XL中采用...
Transformer中的位置编码：绝对位置编码、相对位置编码与旋转位置编码
bagell的博客
09-11 3986
位置编码是Transformer模型中至关重要的一部分，不同的编码方式适用于不同的任务和数据类型。本文详细介绍了绝对位置编码、相对位置编码和旋转位置编码的原理、实现及应用，通过具体的案例分析展示了它们在实际任务中的表现。随着NLP领域的不断发展，新的位置编码方法可能会不断涌现，进一步提升Transformer模型在复杂任务中的表现。了解并掌握这些位置编码方法，将有助于研究人员和工程师更好地应用Transformer模型，处理各种序列数据，提升模型的性能和应用效果。
预训练模型相对位置编码和绝对位置编码的通俗理解
qq_15821487的博客
11-22 1077
上图中以第5个位置(索引为4)的单词为中心，那么其左边的单词的编号为：-1，-2，-3，-4，右边的单词的编号为：+1，+2，+3，+4。对于第一个位置的单词“I”，当transformer计算“I”跟“therefore”的attention信息时候，"therefore"会采用第6个位置编码，因为我们是以第4个索引为中心，“therefore”是位于“I”的右边相对于“I”的相对距离为2，所以其采用的是第6个embedding向量。1.作者认为超出范围的位置还采用精准的位置编码时没必要的。
绝对位置编码、相对位置编码、旋转位置编码分别是什么，他们的优缺点是
yxx122345的博客
08-26 1946
绝对位置编码、相对位置编码和旋转位置编码是 Transformer 模型中用于处理序列中元素顺序信息的不同方法。它们各自有不同的机制、优点和缺点。
相对位置编码和绝对位置编码原理及源码
sunghosts的专栏
09-03 1243
Bert问世后瞬间引爆了NLP领域，同时也让Transformer火了起来，Transformer中特征提取的方式不是传统的CNN，RNN等，而是用attention的形式，这种模式被用在AI的各个领域中，包括CV和语音等。
BERT详解：+位置编码详解
breeze21的博客
05-08 1389
BERT详解：+位置编码详解
绝对位置编码和相对位置编码
03-08
### 绝对位置编码与相对位置编码 #### 定义与概念 绝对位置编码是一种直接为序列中的每个元素赋予唯一标识符的方式，通常基于元素在序列中的确切位置。这种方法简单直观，在许多实际应用中表现出良好的性能[^1]。 相对位置编码则采用不同的策略，不依赖于固定的位置编号，而是关注序列内部各部分间的相互关系。具体而言，此方法利用成对距离来表示不同元素间的关系，从而构建出能够反映这些关联性的编码向量。 #### 工作机制对比 对于绝对位置编码来说，实现方式较为直接——给定长度固定的输入序列，按照预定义规则（如正弦函数或线性增长）分配特定数值作为该位置上的附加特征。这种方式有助于模型理解长期依赖性和全局结构信息。 相比之下，相对位置编码更注重局部模式的学习以及上下文感知能力的发展。通过计算窗口内各个像素之间的相对位置关系，可以生成更加灵活多变的位置编码矩阵；这一过程涉及初始化相应规模的零矩阵，并依据每一对节点间的偏移量更新其值[^2]。 ```python import numpy as np def absolute_position_encoding(seq_len, d_model): pos = np.arange(seq_len)[:, None] i = np.arange(d_model)[None, :] angle_rates = 1 / np.power(10000, (2 * (i//2)) / np.float32(d_model)) angle_rads = pos * angle_rates # apply sin to even indices in the array; 2i angle_rads[:, 0::2] = np.sin(angle_rads[:, 0::2]) # apply cos to odd indices in the array; 2i+1 angle_rads[:, 1::2] = np.cos(angle_rads[:, 1::2]) return angle_rads def relative_position_encoding(window_size): matrix = np.zeros((window_size, window_size)) for row in range(window_size): for col in range(window_size): diff = abs(row - col) matrix[row][col] = diff return matrix ``` 上述代码片段展示了两种不同类型的位置编码的具体实现逻辑：`absolute_position_encoding()` 函数用于生成标准形式下的绝对位置嵌入向量，而 `relative_position_encoding()` 则负责创建描述相邻单元间距情况的数据表。 #### 应用场景差异 当处理具有明显时间戳记或者严格有序排列的任务时，比如自然语言处理领域内的翻译工作，绝对位置编码往往能提供更好的指导作用。然而，在某些情况下，特别是涉及到图像识别等领域时，考虑到对象之间可能存在复杂的交互效应，此时引入相对位置编码可能会带来意想不到的效果改进。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值