RoPE（旋转位置编码）详解【代码&公式】

已于 2025-06-04 21:53:40 修改
阅读量21 收藏
点赞数
分类专栏： # LLM/Transformer 文章标签： pytorch 深度学习 人工智能 RoPE\
于 2025-06-04 21:45:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/148435393
版权

RoPE（Rotary Position Embedding）通过将输入向量在每个位置上进行旋转变换，将位置信息编码进向量表示中。旋转角度随着位置（m）和维度（k）的变化而变化，这使得模型能够捕捉到序列中的相对位置信息。

一、最简单场景：dim=2

import torch

# 示例使用
batch_size = 1
seq_len = 3
D = 2  # 嵌入维度，必须为偶数，此处为了方便解释，设置为2
x = t
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Llama改进之——RoPE旋转位置编码
日积月累，天道酬勤
05-29 2421
旋转位置编码从理论到实战。
Llama旋转位置编码代码实现及详解
laice的博客
11-10 709
中介绍了旋转位置编码（RoPE）的特点和优势，这种输入长度动态可变的优势使得在Llama编码时，不需要掩码将多余的嵌入掩住。为了详细了解RoPE是如何实现的，接下来我们使用代码一步一步的来亲自实现RoPE编码！得到了角度theta之后，我们就可以在复平面中对编码进行旋转了，在复平面中根据公式（cos。然后我们对每个token中每个元素对计算要旋转的角度。y) j 可以实现位置的旋转了。
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
热门推荐
weixin_43646592的博客
05-29 4万+
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
旋转位置编码RoPE总结
PennyYu123的博客
07-14 4887
Rotary Position Embedding (RoPE)可谓是今年Transformer模型改进中的一大热门内容，在大模型时代，RoPE在LLaMA、ChatGLM、Palm中得到应用，并证明其有效性。RoPE的诞生可以追溯到2021年，由苏剑林大神在《RoFormer: Enhanced Transformer with Rotary Position Embedding》首次提出，有效地改善了传统位置编码不能很好地捕捉相对位置的问题，同时也为长度外推提供了可扩展性。Markdown。
大模型系列：快速通俗理解Transformer旋转位置编码RoPE
datian1234的博客
10-24 3019
旋转位置编码RoPE（Rotary Position Embedding）是一种Transformer模型中的位置编码策略，它广泛应用于LLama，ChatGLM等大模型，本篇先介绍RoPE的实现步骤和源码，再深入讲解RoPE涉及到的数学原理，力求做到从易到难，学习曲线平滑。
大模型都在用的：旋转位置编码
xian0710830114的专栏
04-26 7444
绝对位置编码和相对位置编码都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（RotaryPositionEmbedding,RoPE），兼顾效率和相对位置关系。 RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性，比如ChatGLM、LLaMA等。
RoPE详细解读
weixin_43214046的博客
06-28 1260
RoPE 旋转位置编码技术解读
Llama为何要采用RoPE旋转位置编码？
m0_64752471的博客
09-29 973
最近在做 LLM 窗口外推的相关工作，因此刚好也回顾一下目前最流行的位置编码 RoPE。01RoPE（Rotary Position Embedding），是苏剑林大神在 2021 年就提出的一种 Transformer 模型的位置编码。RoPE 是一种可以以绝对位置编码形式实现的相对位置编码，兼顾了模型性能和效率。2023 年上半年的时候，大模型位置编码尚有 Alibi 和 RoPE 在相互比拼，而到了 2023 年下半年，及今 2024 年，新开源出来的模型，大部分都是使用 RoPE 了。
LLM中的RoPE位置编码代码解析与RoPE的性质分析（一）
上帝是个娘们的博客
05-27 1643
RoPE相关博客都有复杂的数学推导，看起来有一定的难度，本博客没有复杂数学推导，尽量从图解的方式分析RoPE与其对于的性质。
RoPE旋转位置编码
weixin_40777649的博客
12-27 902
【代码】RoPE旋转位置编码。
roformer:旋转变压器
03-25
旋转变压器 Rotary Transformer，简称RoFormer，是我们自研的语言模型之一，主要是为Transformer结构设计了新的旋转式位置编码（Rotary Position Embedding，RoPE）。RoPE具有良好的理论性质，并且是目前唯一一种可以应用到线性注意的绝对位置编码，目前来看实验结果也颇为不错。 详细介绍： : 依赖 bert4keras 0.10.4 参考配置：在24G显存的3090上，跑maxlen = 1024，batch_size能跑到8以上。 下载 （提取码：xy9x） 引用 Bibtex： @techreport{zhuiyiroformer, title={RoFormer: Transformer with Rotary Position Embeddings - ZhuiyiAI}, author={Jianlin Su}
RoPE（旋转式位置编码）
qq_41898761的博客
06-13 3469
对q,k进行操作（f（））使得他们带上位置m,n的绝对位置信息， 通过内积后，希望结果带上相对位置信息，因此假设存在下列恒等关系 假设f(q,0)=q 和f(k,0)=k 先求出在二维情景下的情况，在推广到高纬度借助复数来求解。在复数中有⟨q,k⟩=Re[qk∗]，Re[] 代表复数的实部，所以我们有 简单起见，我们假设存在复数g(q,k,m−n)，使得f(q,m)f∗(k,n)=g(q,k,m−n)，然后我们用复数的指数形式，设 那么代入方程后就得到方程组...
大模型学习-基础篇（二）RoPE旋转位置编码
qq_43671025的博客
09-05 1396
fqmcosmθ−sinmθsinmθcosmθq0q1fqmcosmθsinmθ​−sinmθcosmθ​q0​q1​​以及三个关键的理解：1.不同位置，转角不一样。转角差包含了相对位置信息。2.维度：分成高频和低频高频：短距离低频：长距离3.高频外推性强，低频插值能力强。b站上有相关的介绍视频，可以参考观看，老师讲的很好。
什么是RoPE-旋转位置编码？
TFATS的博客
01-12 3782
我们知道句子中不同词语之前的位置信息十分重要，但是self-attention框架无法直接利用位置信息，因此研究者提出了许多方法将位置信息编码到学习过程中。一是绝对位置编码方法，将位置信息直接加入到输入中；二是相对位置编码方法，研究者通过微调attention的结构，使它具有识别token位置信息的能力。本文作者详细梳理了位置编码的流派，提出了一种旋转位置编码方式RoPE，并从数学角度证明RoPE带来的诸多优点。
十分钟读懂旋转编码（RoPE）
zenRRan的博客
09-05 5050
作者：绝密伏击单位：奇虎360高级算法专家进NLP群—>加入NLP交流群旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的...
旋转位置编码（Rotary Position Embedding, RoPE）
梁小憨憨的博客
05-22 748
最近看代码，看到了一些旋转矩阵编码的内容，学习了一下，这里记录一下方便以后查阅。
python学习打卡day40
2201_75852821的博客
05-31 1052
仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout。1.彩色和灰度图片测试和训练的规范写法：封装在函数中。展平操作：除第一个维度batchsize外全部展平。彩色和灰度图片测试和训练的规范写法：封装在函数中。训练和测试的规范写法。
PyTorch——非线性激活（5）
最新发布
qq_56238664的博客
06-03 472
非线性激活函数的作用是让神经网络能够理解更复杂的模式和规律。如果没有非线性激活函数，神经网络就只能进行简单的加法和乘法运算，没法处理复杂的问题。非线性变化的目的就是给我们的网络当中引入一些非线性特征。
2023 年 PYTORCH[特殊字符]深入课程
weixin_42380711的博客
06-02 1155
89.2 PyTorch 注意力 Transformer 模型构建。98.2 PyTorch Transformer NLP 模型构建。69.2 PyTorch Transformer模型构建。77.2 PyTorch图Transformer模型构建。100.2 PyTorch VAE 异常检测模型构建。67.2 PyTorch StyleGAN模型构建。79.2 PyTorch NLP持续学习模型构建。90.2 PyTorch 小样本语义分割模型构建。92.2 PyTorch NLP 半监督模型构建。
位置编码公式
03-26
<think>好的，用户现在问的是位置编码公式，特别是用中文回答。之前他问了Softmax函数的计算，现在转向位置编码，可能是对Transformer模型的学习感兴趣。我需要先回忆一下位置编码的相关知识，尤其是Transformer中的位置编码方法。 首先，用户可能已经了解Transformer模型中的自注意力机制，但自注意力本身不考虑序列顺序，所以需要位置编码来注入位置信息。位置编码分为绝对位置编码和相对位置编码，而Transformer原论文用的是正弦余弦的绝对位置编码。 接下来需要解释公式。原论文中的位置编码使用正弦和余弦函数的组合，频率不同，这样可以模型学习到相对位置信息。公式是PE(pos, 2i) = sin(pos / 10000^(2i/d_model))，PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))。需要详细拆解每个变量的意义，比如pos是位置，i是维度索引，d_model是嵌入维度。 然后要考虑用户的需求。他们可能想知道为什么用这样的公式，以及如何计算。可能需要解释这种编码方式允许模型学习到相对位置，因为正弦函数对相对位置有线性变换的性质。比如，PE(pos + k)可以表示为PE(pos)和某个线性变换的组合，这样模型更容易捕捉到相对位置信息。 此外，可能还需要提到其他位置编码方式，比如可学习的位置嵌入（如BERT使用的），或者相对位置编码（如Transformer-XL中的），但用户可能主要关注原论文的公式，所以重点在正弦余弦编码。 用户可能还关心代码实现，但之前Softmax的例子中有代码，所以这里是否需要给出示例？或者根据用户之前的提问风格，可能希望有步骤说明，比如如何计算某个具体位置的编码向量，比如pos=1，d_model=512，那么i从0到255，分别计算sin和cos的值。 另外，需要解释为什么这样设计：正弦和余弦函数的交替使用，使得位置编码可以扩展到任意长度的序列，而无需重新训练。同时，不同频率的正余弦函数可以让模型捕获不同粒度的位置信息，高频（i小的维度）变化快，低频（i大的维度）变化慢。 可能还需要提到位置编码如何与词向量结合，通常是相加而不是拼接，这样可以在不增加维度的情况下注入位置信息。同时，需要说明在Transformer中位置编码是在输入层加到词嵌入上的。 最后，总结位置编码的作用和设计思想，以及在实际应用中的变体。可能还要提及数值稳定性问题，比如归一化处理，或者是否存在其他方法，但原论文中的方法已经很稳定，所以可能不需要深入。 需要检查是否有遗漏点，比如为什么用指数部分10000，是否有其他基数的选择，比如有些工作用不同的基数来调整波长。或者是否有研究指出这种编码方式的有效性。 总之，结构应该是：定义公式，分解变量，具体计算步骤，设计原理（为什么用正余弦，为什么不同频率），与词嵌入的结合方式，变体（如可学习的），代码示例（可选），总结作用和应用。</think>--- ### **位置编码公式详解（以 Transformer 为例）** 位置编码（Positional Encoding）是 Transformer 模型的核心组件之一，用于为序列中的每个位置添加**顺序信息**，弥补自注意力机制无法感知输入顺序的缺陷。以下是其公式、设计原理和实际计算的完整解析： --- ### **1. 原始位置编码公式** 在 Transformer 论文中，位置编码通过**正弦和余弦函数交替组合**生成。对于位置 $pos$ 和维度索引 $i$，其公式为： $$ PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right) \\ PE_{(pos, 2i+1)} = \cos\left(\frac{10000^{2i/d_{\text{model}}}}\right) $$ 其中： - $pos$：输入序列中的位置（从 $0$ 开始计数） - $d_{\text{model}}$：词向量的维度（如 512） - $i$：当前计算的位置编码的维度索引（$0 \leq i < d_{\text{model}}/2$） --- ### **2. 公式拆解与设计思想** #### **(1) 波长控制** - **分母中的指数项**：$\frac{1}{10000^{2i/d_{\text{model}}}}$ 本质是 $\lambda_i = 10000^{2i/d_{\text{model}}}$，表示波长（Wave Length）。 - **波长随维度变化**：维度索引 $i$ 越大，波长 $\lambda_i$ 越长，对应频率越低（变化越缓慢）。 #### **(2) 交替使用正弦和余弦** - **奇偶维度交替**：偶数维度（$2i$）用正弦，奇数维度（$2i+1$）用余弦。 - **数学性质**：允许模型通过线性变换捕捉**相对位置关系**。例如，存在线性组合 $PE_{pos+k} = PE_{pos} \cdot M_k$（$M_k$ 为变换矩阵），便于模型学习位置偏移。 --- ### **3. 具体计算步骤（以 $pos=1$, $d_{\text{model}}=4$ 为例）** 假设词向量维度为 4，位置 $pos=1$，计算其位置编码： 1. **确定维度索引范围**：$i$ 取 $0$ 和 $1$（因为 $d_{\text{model}}/2 = 2$） 2. **计算每个维度的值**： - **当 $i=0$**： $$ PE_{(1,0)} = \sin\left(\frac{1}{10000^{0/4}}\right) = \sin(1) \approx 0.8415 \\ PE_{(1,1)} = \cos\left(\frac{1}{10000^{0/4}}\right) = \cos(1) \approx 0.5403 $$ - **当 $i=1$**： $$ PE_{(1,2)} = \sin\left(\frac{1}{10000^{2/4}}\right) = \sin\left(\frac{1}{100}\right) \approx 0.0100 \\ PE_{(1,3)} = \cos\left(\frac{1}{10000^{2/4}}\right) = \cos\left(\frac{1}{100}\right) \approx 0.9999 $$ 3. **最终位置编码向量**： $$ PE_{1} = [0.8415, 0.5403, 0.0100, 0.9999] $$ --- ### **4. 位置编码的可视化** 将位置编码矩阵绘制为热力图，可观察到： - **纵向（位置方向）**：相邻位置的编码值平滑变化。 - **横向（维度方向）**：低维度（左侧）高频振荡，高维度（右侧）低频变化。 ![Positional Encoding Heatmap](https://jalammar.github.io/images/t/transformer_positional_encoding_heatmap.png) --- ### **5. 为什么选择正弦/余弦函数？** #### **(1) 相对位置建模** - **线性关系**：对于固定偏移 $k$，存在线性变换 $M_k$，使得 $PE_{pos+k} = PE_{pos} \cdot M_k$。模型可通过学习 $M_k$ 捕捉相对位置。 - **方向感知**：正弦函数对正向和反向偏移敏感，增强序列方向性。 #### **(2) 长度外推性** - 正弦/余弦函数定义域为全体实数，模型可处理**比训练时更长的序列**（尽管实际性能可能下降）。 #### **(3) 与词嵌入的兼容性** - **简单相加**：位置编码与词嵌入**直接相加**（$X = \text{Embedding} + PE$），而非拼接，避免增加维度。 --- ### **6. 代码实现** ```python import numpy as np def positional_encoding(pos, d_model): pe = np.zeros(d_model) for i in range(d_model // 2): denominator = 10000 ** (2 * i / d_model) pe[2*i] = np.sin(pos / denominator) pe[2*i+1] = np.cos(pos / denominator) return pe # 示例：生成位置 1 的编码（d_model=4） print(positional_encoding(1, 4)) # 输出: [0.8415, 0.5403, 0.0100, 0.9999] ``` --- ### **7. 位置编码的变体** | **类型** | **方法** | **特点** | |------------------|-------------------------------------------------------------------------|--------------------------------------| | 可学习的位置嵌入 | 随机初始化一个矩阵，随训练更新（如 BERT） | 灵活但可能过拟合短序列 | | 相对位置编码 | 编码相对距离而非绝对位置（如 Transformer-XL） | 更擅长处理长序列 | | RoPE (Rotary) | 通过旋转矩阵将位置信息融入注意力计算（如 LLaMA） | 保持相对位置的模长不变，数学性质更优 | --- ### **8. 总结** | **关键点** | **说明** | |--------------------|--------------------------------------------------------------------------| | 核心目标 | 为自注意力机制补充序列顺序信息 | | 波长设计 | 不同维度对应不同频率，捕获多粒度位置特征 | | 相加而非拼接 | 保持输入维度不变，与词嵌入直接融合 | | 长度外推性 | 理论上支持无限长序列，但实际需结合模型结构优化 | | 与注意力机制协同 | 通过 Query-Key 的点积操作，隐式学习位置关系 | 位置编码是 Transformer 突破 RNN 序列建模瓶颈的关键设计之一，其数学形式简洁却深刻，平衡了表达能力与计算效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值