Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现

已于 2023-09-18 22:09:29 修改
阅读量4.1w 收藏 196
点赞数 96
分类专栏： NLP 文章标签： 位置编码 transformer 大模型 人工智能 深度学习
于 2023-05-29 17:25:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43646592/article/details/130924280
版权

  • 🔥 RoPE为苏剑林大佬之作，最早应用于他自研的RoFormer (Rotary Transformer)，属于相对位置编码。效果优于绝对位置编码和经典式相对位置编码。出自论文：《RoFormer: Enhanced Transformer with Rotary Position Embedding》

  • 🔥 据我了解，最近发布的大语言模型：Meta的LLaMA、清华的ChatGLM都采用了RoPE。这也足以证明了RoPE的优势。

  • 🔥 本文讲解下个人对RoPE原理的理解以及自己用torch复现了一下，更详细地请参阅苏神的原文（文末已附上链接）。

  • 😄 如对RoPE公式推导有任何疑问，可评论区或私信反馈，我将做出详细解答。

文章目录

1、RoPE 动机

1.1、绝对位置编码

  • 最原始的正余弦位置编码（即sinusoidal位置编码）是一种绝对位置编码，但从其原理中的正余弦的和差化积公式来看，引入的其实也是相对位置编码。

  • 绝对位置编码的讲解可看我的博客：随记·手撕coding | absolute positional embedding

  • 优势： 实现简单，可预先计算好，不用参与训练，速度快。

  • 劣势： 没有外推性，即如果预训练最大长度为512的话，那么最多就只能处理长度为512的句子，再长就处理不了了。当然，也可以将超过512的位置向量随机初始化，然后继续微调。

1.2、相对位置编码

1.3、RoPE

  • RoPE通过绝对位置编码的方式实现相对位置编码，综合了绝对位置编码和相对位置编码的优点。
  • 主要就是对attention中的q, k向量注入了绝对位置信息，然后用更新的q,k向量做attention中的内积就会引入相对位置信息了。

2、RoPE 原理

⭐ 那rope是怎么在q,k中注入这种相对位置信息的呢？我看了苏神的推导。大概是这样的：先假设q,k是二维的情形，因为复数可用二维向量表示，所以借助复数域来求解。在推导的过程中，用的最多的一句话就是：“为简单起见，假设xxx” 这对推导十分关键。

2.1、将待解问题公式化（提出假设）

首先，假设新的qk向量（即假设已注入绝对位置信息）的内积会引入相对位置信息。并在最后假设合理的初始化条件：
在这里插入图片描述

2.2、推导求解

不是一般性，考虑其q,k向量为二维的情形，借助复数域推导出为q,k向量编码绝对位置信息的函数 f 。
在这里插入图片描述

别看公式多，理解起来并不难。下面我细说一下其中几个关键的推导步骤：

  • 式(8) 的推导：
    在这里插入图片描述

2.3、RoPE的编码形式

上面我们设了q,k的绝对位置编码函数为：
在这里插入图片描述
然后又求出了：在这里插入图片描述
而：
在这里插入图片描述
那带入(4)式就可以得出q,k的绝对位置编码函数了（下面以q为例，k同理）
在这里插入图片描述
为避免这个正交矩阵过于稀疏，浪费算力，代码实现时都是依据下面公式来计算RoPE：
在这里插入图片描述
注：苏神在θ的选择上沿用了tansformer的θi = 10000-2i/d 。因为苏神实验发现，在RoPE中采用这个θ也可以带来一定的远程衰减性（意思就是token之间的依赖关系会随着距离的变远而衰减，这也符合我们的直观理解）。当然别的θ也可，只要满足远程衰减。

3、RoPE 代码实现（torch版）

  • 代码实现基于torch，代码中也写好详细注释。如有错误，评论区或私信我反馈，谢谢~
import torch
import torch.nn as nn
import torch.nn.functional as F
import math

# %%

def sinusoidal_position_embedding(batch_size, nums_head, max_len, output_dim, device):
    # (max_len, 1)
    position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(-1)
    # (output_dim//2)
    ids = torch.arange(0, output_dim // 2, dtype=torch.float)  # 即公式里的i, i的范围是 [0,d/2]
    theta = torch.pow(10000, -2 * ids / output_dim)

    # (max_len, output_dim//2)
    embeddings = position * theta  # 即公式里的：pos / (10000^(2i/d))

    # (max_len, output_dim//2, 2)
    embeddings = torch.stack([torch.sin(embeddings), torch.cos(embeddings)], dim=-1)

    # (bs, head, max_len, output_dim//2, 2)
    embeddings = embeddings.repeat((batch_size, nums_head, *([1] * len(embeddings.shape))))  # 在bs维度重复，其他维度都是1不重复

    # (bs, head, max_len, output_dim)
    # reshape后就是：偶数sin, 奇数cos了
    embeddings = torch.reshape(embeddings, (batch_size, nums_head, max_len, output_dim))
    embeddings = embeddings.to(device)
    return embeddings


# %%

def RoPE(q, k):
    # q,k: (bs, head, max_len, output_dim)
    batch_size = q.shape[0]
    nums_head = q.shape[1]
    max_len = q.shape[2]
    output_dim = q.shape[-1]

    # (bs, head, max_len, output_dim)
    pos_emb = sinusoidal_position_embedding(batch_size, nums_head, max_len, output_dim, q.device)


    # cos_pos,sin_pos: (bs, head, max_len, output_dim)
    # 看rope公式可知，相邻cos，sin之间是相同的，所以复制一遍。如(1,2,3)变成(1,1,2,2,3,3)
    cos_pos = pos_emb[...,  1::2].repeat_interleave(2, dim=-1)  # 将奇数列信息抽取出来也就是cos 拿出来并复制
    sin_pos = pos_emb[..., ::2].repeat_interleave(2, dim=-1)  # 将偶数列信息抽取出来也就是sin 拿出来并复制

    # q,k: (bs, head, max_len, output_dim)
    q2 = torch.stack([-q[..., 1::2], q[..., ::2]], dim=-1)
    q2 = q2.reshape(q.shape)  # reshape后就是正负交替了



    # 更新qw, *对应位置相乘
    q = q * cos_pos + q2 * sin_pos

    k2 = torch.stack([-k[..., 1::2], k[..., ::2]], dim=-1)
    k2 = k2.reshape(k.shape)
    # 更新kw, *对应位置相乘
    k = k * cos_pos + k2 * sin_pos

    return q, k


# %%

def attention(q, k, v, mask=None, dropout=None, use_RoPE=True):
    # q.shape: (bs, head, seq_len, dk)
    # k.shape: (bs, head, seq_len, dk)
    # v.shape: (bs, head, seq_len, dk)

    if use_RoPE:
        q, k = RoPE(q, k)

    d_k = k.size()[-1]

    att_logits = torch.matmul(q, k.transpose(-2, -1))  # (bs, head, seq_len, seq_len)
    att_logits /= math.sqrt(d_k)

    if mask is not None:
        att_logits = att_logits.masked_fill(mask == 0, -1e9)  # mask掉为0的部分，设为无穷大

    att_scores = F.softmax(att_logits, dim=-1)  # (bs, head, seq_len, seq_len)

    if dropout is not None:
        att_scores = dropout(att_scores)

    # (bs, head, seq_len, seq_len) * (bs, head, seq_len, dk) = (bs, head, seq_len, dk)
    return torch.matmul(att_scores, v), att_scores


if __name__ == '__main__':
    # (bs, head, seq_len, dk)
    q = torch.randn((8, 12, 10, 32))
    k = torch.randn((8, 12, 10, 32))
    v = torch.randn((8, 12, 10, 32))

    res, att_scores = attention(q, k, v, mask=None, dropout=None, use_RoPE=True)


    # (bs, head, seq_len, dk),  (bs, head, seq_len, seq_len)
    print(res.shape, att_scores.shape)

 
 
 
 
 
 

Reference

LLM - 理解 旋转位置编码(RoPE) 与 绝对相对位置编码 之间的差异
AGI
07-10 1154
Transformer 是基于 多头自注意力机制 (Multi Head Self-Attention, MHSA) 的算法，然而，MHSA 对于位置不敏感，需要添加 位置编码(PE)，主要包括绝对位置编码 (默认的 Transformer 位置编码)、相对位置编码，以及主流的旋转位置编码 (Rotary Position Embedding, RoPE)。
Llama改进之——RoPE旋转位置编码
日积月累，天道酬勤
05-29 2232
旋转位置编码从理论到实战。
大模型系列：快速通俗理解Transformer旋转位置编码RoPE
datian1234的博客
10-24 2561
旋转位置编码RoPE（Rotary Position Embedding）是一种Transformer模型中的位置编码策略，它广泛应用于LLama，ChatGLM等大模型，本篇先介绍RoPE的实现步骤和源码，再深入讲解RoPE涉及到的数学原理，力求做到从易到难，学习曲线平滑。
【大模型】旋转位置编码（Rotary Position Embedding，RoPE）
酒酿小圆子呀～
02-27 311
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。备注：什么是大模型外推性？外推性是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。
详解旋转位置编码
qq_45889056的博客
03-04 803
通过数学公式和代码的对应关系，可以看出旋转位置编码的核心是通过复数旋转将位置信息融入查询和键向量中。，帮助你更好地理解旋转位置编码（Rotary Position Embedding, RoPE）的实现。旋转位置编码的核心思想是通过复数旋转将位置信息融入查询和键向量中，从而增强模型对序列位置的感知能力。，查询和键向量会被旋转一个与位置相关的角度，从而在计算注意力分数时引入位置信息。这种方法能够在不增加额外参数的情况下，显著提升模型对序列位置的感知能力。旋转位置编码的核心思想是通过。应用旋转位置编码后，
旋转位置编码（RoPE）详解：从一维序列到三维空间
最新发布
fydw_715的博客
04-09 778
旋转位置编码（RoPE）通过巧妙的旋转变换，提供了一种强大而优雅的方式来编码相对位置信息，特别是在 Transformer 的自注意力机制中表现出色。旋转位置编码（Rotary Position Embedding, RoPE）作为一种新颖的相对位置编码技术，因其能将位置信息以旋转变换的方式融入嵌入向量，并自然地在自注意力机制中体现相对位置关系而备受关注。RoPE 旨在通过旋转操作将位置信息编码进 Transformer 模型的嵌入向量中，以增强模型捕获序列中相对位置信息的能力。三个空间维度上的位置信息。
RoPE（旋转式位置编码）
qq_41898761的博客
06-13 3438
对q,k进行操作（f（））使得他们带上位置m,n的绝对位置信息， 通过内积后，希望结果带上相对位置信息，因此假设存在下列恒等关系 假设f(q,0)=q 和f(k,0)=k 先求出在二维情景下的情况，在推广到高纬度借助复数来求解。在复数中有⟨q,k⟩=Re[qk∗]，Re[] 代表复数的实部，所以我们有 简单起见，我们假设存在复数g(q,k,m−n)，使得f(q,m)f∗(k,n)=g(q,k,m−n)，然后我们用复数的指数形式，设 那么代入方程后就得到方程组...
旋转式位置编码Rotary Position Embedding（RoPE）
taoqick的专栏
06-04 1771
这篇堪称苏剑林老师的代表作了，简单来说RoPE就是乘上复数形式即可。以下转载自https://kexue.fm/archives/8265。其中Re[]表示实数部分，
Rotary Positional Embedding (RoPE)
m0_51200050的博客
06-25 1228
RoPE 通过将正弦和余弦位置编码嵌入到查询和键向量的旋转变换中，从而在自注意力机制中引入位置感知。这种方法在处理长序列和捕捉序列中元素的相对关系时表现得更好，并且能够灵活地适应不同的序列长度和任务需求。通过上面的示例，可以看到 RoPE 如何在查询和键向量中引入位置信息，从而实现更加有效的注意力机制。涉及到Rotary Positional Embedding（RoPE）的论文主要集中在改进Transformer模型及其在时间序列处理中的应用。
大模型都在用的：旋转位置编码
xian0710830114的专栏
04-26 7183
绝对位置编码和相对位置编码都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（RotaryPositionEmbedding,RoPE），兼顾效率和相对位置关系。 RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性，比如ChatGLM、LLaMA等。
大模型学习-基础篇（二）RoPE旋转位置编码
qq_43671025的博客
09-05 1357
fqmcosmθ−sinmθsinmθcosmθq0q1fqmcosmθsinmθ​−sinmθcosmθ​q0​q1​​以及三个关键的理解：1.不同位置，转角不一样。转角差包含了相对位置信息。2.维度：分成高频和低频高频：短距离低频：长距离3.高频外推性强，低频插值能力强。b站上有相关的介绍视频，可以参考观看，老师讲的很好。
旋转位置编码(RoPE)讲解和代码实现
L聪记博客
02-09 1160
旋转位置编码(RoPE)讲解和代码实现
LLama2源码分析——Rotary Position Embedding分析
CSN-001的博客
06-06 1600
原理推导参考自上文，以下结合huggingface代码分析公式计算过程。
LeetCode - Google 大模型10题 第2天 Position Embedding(位置编码) 3题
AGI
02-05 1200
在 Transformer 架构中，位置编码(Position Embedding) 是辅助模型理解序列中元素顺序的关键机制。
RoPE旋转位置编码浅析
段智华的博客
12-04 1723
RoPE旋转位置编码浅析本文介绍了旋转位置编码RoPE在大模型中的广泛应用，包括Llama、Mistral 7B、Baichuan、ChatGLM、Qwen、…等。由于计算资源限制，大模型通常在较小的上下文长度中进行训练，导致在推理超出预训练长度时性能显著下降。为了解决这个问题，涌现了许多基于RoPE的长度外推工作，旨在让大模型在预训练长度之外取得更好的效果。RoPE将相对位置信息集成到自注意力中，具有较好的位置外推性，并可与Flash-Attention v2配合使用，提升模型训练速度约20%.
RoPE旋转位置编码
weixin_40777649的博客
12-27 877
【代码】RoPE旋转位置编码。
【手撕ROPE】极简方法实现旋转位置编码ROPE，面试遇到手撕ROPE再也不怕了！
qq_30731313的博客
03-06 1329
ROPE极简实现，秒杀面试手撕
文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding
codename_cys的博客
05-08 4127
文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding 1. 工作简介 2. 常见位置编码方式 1. 绝对位置编码 1. Bert 2. Attention Is All You Need 2. 相对位置编码 1. 经典相对位置编码 2. XLNet 3. T5 4. DeBerta 3. RoPE方法介绍 4. 实验效果考察 1. 翻译任务上的表现 2. 预训练任务上的表现 3. GLUE下游Finet..
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 5387
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
rope embedding
01-15
### RoPE Embedding 的概念 RoPE（Rotary Positional Encoding），即旋转位置编码，在自然语言处理领域被广泛应用于序列建模任务中。不同于传统的绝对位置编码，RoPE 使用相对位置来表示单词之间的距离关系[^1]。 通过引入正弦和余弦函数组合而成的位置编码方式，使得模型能够更好地捕捉到不同长度输入下的词语间依赖关系。具体来说，对于给定的一个维度 d 和位置 i： \[ PE_{(i,2k)} = \sin\left(\frac{i}{10000^{2k/d}}\right) \] \[ PE_{(i,2k+1)} = \cos\left(\frac{i}{10000^{2k/d}}\right) \] 其中 \( k=0,\ldots,d/2-1 \)，这种形式允许模型学习更复杂的模式而不会受到固定大小的影响。 在实际应用过程中，为了防止内存溢出等问题发生，建议指定设备参数 `--device cpu` 进行计算资源管理[^3]。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("model_name", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( "model_name", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True ) # 防止 OOM 错误 model.to('cpu') ```
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

#苦行僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值