Llama改进之——RoPE旋转位置编码

已于 2024-05-30 22:22:16 修改
阅读量2.2k 收藏 23
点赞数 18
分类专栏： NLP项目实战 # 从Transformer到LLM 文章标签： LLaMA RoPE 旋转位置编码
于 2024-05-29 18:30:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjw123456/article/details/139301162
版权

引言

旋转位置编码(Rotary Position Embedding, RoPE)将绝对相对位置依赖纳入自注意力机制中，以增强Transformer架构的性能。目前很火的大模型LLaMA、QWen等都应用了旋转位置编码。

之前在[论文笔记]ROFORMER中对旋转位置编码的原始论文进行了解析，重点推导了旋转位置编码的公式，本文侧重实现，同时尽量简化数学上的推理，详细推理可见最后的参考文章。

复数与极坐标

复数由两个部分组成：实部(real part)和虚部(imaginary part)。实部就是一个普通的数字，可以是零、正数或负数。虚部是另一个实数与 i i i

了解本专栏 订阅专栏 解锁全文 超级会员免费看
图解RoPE旋转位置编码及其特性
强化学习曾小健
02-11 930
旋转位置编码RoPE (Rotary Position Embedding) 是目前大模型中广泛使用的一种位置编码，包括但不限于Llama、Baichuan、ChatGLM、Qwen等。由于计算资源限制，目前的大模型大多在较小的上下文长度中进行训练，在推理中，若超出预训练的长度，模型的性能将会显著降低。于是涌现出了许多基于RoPE的长度外推的工作，旨在让大模型能够在预训练长度之外，取得更好的效果。所以弄清楚RoPE的底层原理，对于RoPE-base模型进行长度外推至关重要。本文主要结合苏神关于。
大模型位置编码：RoPE的优化方案
最新发布
kakaZhui的博客
04-09 75
在Transformer 架构中，位置编码（Positional Encoding, PE）是让模型理解 Token 顺序的关键技术。近年来，旋转位置编码（Rotary Positional Embedding, RoPE）因其出色的性能和对相对位置的优雅编码而成为主流选择，被 Llama 系列等众多模型采用。然而，随着对超长上下文（如 128k 甚至更长）的需求日益增长，标准 RoPE 在超出其预训练长度时表现出的外推性（Extrapolation）问题逐渐显现。
什么是旋转位置嵌入（RoPE）？
m0_56695799的博客
02-14 772
这篇论文提出RoPE技术，利用了旋转矩阵的几何性质来处理位置信息
大模型学习笔记------Llama 3模型架构之旋转编码（RoPE）
gz7seven
03-14 1266
本文只要讲述Llama3中比较重要的旋转位置编码（RoPE）的基本原理与优点。
【Llama源码】旋转位置编码ROPE--源码阅读
OldButSimple的博客
05-29 1336
inv_freq为size=torch.Size([dim//2])的tensor。前向调用，负责生成旋转矩阵中的。q、cos、sin对应下标顺序与。
介绍llama2|数学之美与旋转位置编码RoPE（一）
weixin_43833206的博客
10-13 1217
快速理解旋转位置编码的意义和原理
旋转位置嵌入（RoPE）：一种增强Transformer性能的创新方法
机器学习，深度学习
01-07 700
该方法通过旋转矩阵编码绝对位置信息，同时显式建模相对位置依赖，从而提高了自注意力机制的效率，特别是在处理长文本任务时表现优越。本文其余部分的组织结构如下：在第3节中建立自注意力架构中位置编码问题的正式描述，并回顾相关的前人研究。在多个长文本分类基准数据集上的实验结果表明，增强的transformer模型RoFormer在性能上优于基线模型，从而验证了所提出的RoPE的有效性。最后，在各种长文本分类基准数据集上评估了增强的transformer，称为RoFormer，结果表明其始终优于其他替代方案。
一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）
zenRRan的博客
04-24 3265
来自：GiantPandaCV旋转式位置编码（RoPE）最早是论文[1]提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA 模型也是采用该位置编码方式。接下来结合代码和论文来解读一下 RoPE。基本概念首先论文中定义一个长度为 N 的输入序列为:其中 wi 表示输入序列中第 i 个 token，而...
Llama改进之——分组查询注意力
日积月累，天道酬勤
05-31 3913
本文介绍了分组查询注意力的实现以及如何应用旋转位置编码到分组查询注意力上。
大模型系列——旋转位置编码和长度外推
hang on it more longer
12-30 1081
return (在上面这段代码中，inv_freq对应的是各分量的旋转角度，长度为d/2这里的t为提前把所有可能的位置id 都先取好，并与对应的角度相乘，对应公式中的m，计算出来的矩阵freqs维度为（self.max_seq_len，d/2）。emb这样取每一行，即对应这个id下的所有m值。通过cat，拼接出来的emb后半部分和前半部分是一致的，维度变成d。
LLama2源码分析——Rotary Position Embedding分析
CSN-001的博客
06-06 1606
原理推导参考自上文，以下结合huggingface代码分析公式计算过程。
旋转位置编码下求llama-multi-head-attention
weixin_40777649的博客
01-03 841
【代码】旋转位置编码下求llama-multi-head-attention。
Llama为何要采用RoPE旋转位置编码？
m0_64752471的博客
09-29 962
最近在做 LLM 窗口外推的相关工作，因此刚好也回顾一下目前最流行的位置编码 RoPE。01RoPE（Rotary Position Embedding），是苏剑林大神在 2021 年就提出的一种 Transformer 模型的位置编码。RoPE 是一种可以以绝对位置编码形式实现的相对位置编码，兼顾了模型性能和效率。2023 年上半年的时候，大模型位置编码尚有 Alibi 和 RoPE 在相互比拼，而到了 2023 年下半年，及今 2024 年，新开源出来的模型，大部分都是使用 RoPE 了。
RoPE旋转位置编码图形化理解
芒果不茫的博客
07-15 1277
很多博文用公式描述RoPE的作用，看来看去还是似懂非懂，本文用图形的方式直观且形象化的展示RoPE的作用
大模型基础之位置编码RoPE
beingstrong的博客
08-03 1849
大模型基础之位置向量RoPE
RoPE旋转位置编码
weixin_40777649的博客
12-27 878
【代码】RoPE旋转位置编码。
旋转位置编码RoPE总结
PennyYu123的博客
07-14 4797
Rotary Position Embedding (RoPE)可谓是今年Transformer模型改进中的一大热门内容，在大模型时代，RoPE在LLaMA、ChatGLM、Palm中得到应用，并证明其有效性。RoPE的诞生可以追溯到2021年，由苏剑林大神在《RoFormer: Enhanced Transformer with Rotary Position Embedding》首次提出，有效地改善了传统位置编码不能很好地捕捉相对位置的问题，同时也为长度外推提供了可扩展性。Markdown。
一步一步理解大模型：复数形式的旋转位置编码
chattyfish的博客
05-29 1152
在传统的 Transformer 模型中，位置信息是通过加入到词向量中的固定位置编码来提供的。这种方法在处理较短的序列时工作得相当好，但在处理长序列时，位置编码可能会被淹没在词向量中，导致位置信息的丢失。在传统的 Transformer 模型中，位置信息是通过加入到词向量中的固定位置编码来提供的。这种方法在处理较短的序列时工作得相当好，但在处理长序列时，位置编码可能会被淹没在词向量中，导致位置信息的丢失。这样，位置信息就被直接编码到了词向量的方向上，而不仅仅是它的大小。
llama rope代码
01-21
### LLaMA RoPE 实现 在Transformer架构中，RoPE（Rotary Position Embedding）是一种有效的位置编码方法。对于LLaMA模型而言，RoPE被用来赋予模型理解序列中元素相对位置的能力。 下面是基于PyTorch的一个简化版的RoPE实现方式： ```python import torch import math def apply_rotary_pos_emb(q, k, sin, cos): q_embed = (q * cos) + (rotate_half(q) * sin) k_embed = (k * cos) + (rotate_half(k) * sin) return q_embed, k_embed def rotate_half(x): x1, x2 = x.chunk(2, dim=-1) return torch.cat((-x2, x1), dim=-1) class RotaryEmbedding(torch.nn.Module): def __init__(self, d_model, max_position_embeddings=2048, base=10000, device=None): super().__init__() inv_freq = 1.0 / (base ** (torch.arange(0, d_model, 2).float().to(device=device) / d_model)) self.register_buffer('inv_freq', inv_freq) # Build sinusoidal/base embeddings. t = torch.arange(max_position_embeddings, device=device).type_as(self.inv_freq) freqs = torch.einsum('i , j -> i j', t, self.inv_freq) emb = torch.cat((freqs, freqs), dim=-1) self.cos_cached = emb.cos()[None, None, :, :] self.sin_cached = emb.sin()[None, None, :, :] def forward(self, query, key): seq_len = query.shape[-2] return ( self.cos_cached[:, :, :seq_len, ...], self.sin_cached[:, :, :seq_len, ...] ) ``` 上述代码定义了一个`RotaryEmbedding`类来生成旋转位置编码，并提供了一个辅助函数`apply_rotary_pos_emb()`用于将这些编码应用于查询(query)和键(key)[^1]。 为了使该模块能够正常工作，在调用时需传入相应的query与key张量作为参数。此过程通常发生在自注意力机制之前，确保每个token都能获得其对应的位置信息增强表示形式[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值