大模型中的位置编码Rope + Llama3 源码示例 详解

最新推荐文章于 2025-03-14 23:36:29 发布
最新推荐文章于 2025-03-14 23:36:29 发布
阅读量892 收藏 24
点赞数 29
文章标签： 人工智能 自然语言处理 深度学习 语言模型 nlp python 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44837861/article/details/142478806
版权

大模型中的位置编码Rope + Llama3 源码示例 详解

今天由于idea的需要接触到了position embedding的细节知识，顺便做了一个梳理

首先，提供一些链接去学习rope的基础知识

位置编码基础：https://zhuanlan.zhihu.com/p/454482273
苏神原文：https://arxiv.org/abs/2104.09864
Rope知乎上的博客：https://zhuanlan.zhihu.com/p/642884818
https://zhuanlan.zhihu.com/p/647109286

了解原理后，我们直接看公式

在这里插入图片描述
我们的目标是找到functions f q ( . ) f_q(.) fq​(.)和 f k ( . ) f_k(.) fk​(.)，使其满足这个等式
这个等式是什么意思呢？
x m x_m xm​表示第m个token的feature， f q ( x m , m ) f_q(x_m, m) fq​(xm​,m)表示融合m位置编码后的 x m x_m xm​
x n x_n xn​表示第n个token的feature， f k ( x n , n ) f_k(x_n, n) fk​(xn​,n)表示融合m位置编码后的 x n x_n xn​
< f q ( x m , m ) , f k ( x n , n ) > <f_q(x_m, m), f_k(x_n, n)> <fq​(xm​,m),fk​(xn​,n)>表示inner product，内积
g表示一种方法，输入是 x m x_m xm​， x n x_n xn​，以及相对位置 m − n m - n m−n

我们直接看作者给出的solution（详细推导见上面博客链接）
这是一个2D的情形，就是token embedding只有2维时：
在这里插入图片描述
下面是具体的展开
在这里插入图片描述我们可以看到，其实只需要在 q q q前面乘上一个旋转角矩阵，就可以完成这个目标
那么上升到多维的场景，可以表示为这样：
在这里插入图片描述
由于 R R R太过稀疏，为了提高计算效率，作者给出了等价计算方法（该方法被广泛用在LLM中）：
在这里插入图片描述
所以这就是我们需要计算的公式，至于其中具体的性质、意义及推导，前面提供的链接中已经讲得非常明白了，这里不再阐述
在注意力机制中，我们仅对 q q q和 k k k套用这个公式计算位置编码

下面看一下llama3中实现这个公式的代码

总共分为两步，分别是计算RotaryEmbedding和将RotaryEmbedding apply 到 q q q和 k k k向量

计算RotaryEmbedding

首先，初始化上边公式里面的 θ \theta θ，在下面这个class的init方法里面。这个借鉴了最早Transformer中的绝对位置编码，我在下面也贴一下这个计算theta的公式
在这里插入图片描述
在这里插入图片描述
然后，算 m m m和 θ \theta θ的乘积，并计算得到 c o s ( m ∗ θ ) cos(m*\theta) cos(m∗θ)和 s i n ( m ∗ θ ) sin(m*\theta) sin(m∗θ)
在这里插入图片描述

将RotaryEmbedding apply 到 q q q和 k k k向量

方法很简单，就是通过下面这两行代码实现的上面公式

这里的rotate_half代码如下
在这里插入图片描述

那最后，我们可以得到了位置编码后的q和k，并按照常方法计算attention
在这里插入图片描述

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（六）Llama 3 已训练的大模型合并LoRA权重参数
段智华的博客
05-24 825
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
大模型之使用PyTorch编写Meta的Llama 3实际功能代码（三）
段智华的博客
05-20 554
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
大模型学习笔记------Llama 3模型架构之旋转编码（RoPE）
最新发布
gz7seven
03-14 1256
本文只要讲述Llama3中比较重要的旋转位置编码（RoPE）的基本原理与优点。
各种位置编码
薰珞婷紫小亭子的博客
11-08 4462
位置编码
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（九）Transformer架构
段智华的博客
04-26 490
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（九）Transformer架构。
llama3 结构详解
08-19 4518
然而，在MHA中，由于每个head都有独立的键和值，内存和计算成本较高，特别是在处理长序列或大批量数据时。我们知道，在《Attention is all you need》一文中，作者为了提高计算效率，提出了MHA技术，思想是采用分而治之的策略，把K、Q、V 对应的切分为若干个短向量，然后使用Scaled Dot-Product Attention 计算出attention score后，再把结果拼接起来，从而避免了超大向量乘法的计算消耗，从而提高了计算效率。的计算中，也没有做减去均值的操作(
TUPE ：重新思考语言预训练中的位置编码
abcdefg90876的博客
07-14 4919
作者|sliderSun知乎专栏 |优选读、BERT巨人肩膀整理|NewBeeNLP一篇来自微软关于Transformer中位置编码的文章，关于位置编码，我们之前也有讨论过，参...
LLaMa-1/2/3 原理+源码——拆解 (KV-Cache, RoPE, RMSNorm, GQA, SwiGLU)
ZhengrongYue的博客
12-28 9879
LLama原理拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
大模型之使用PyTorch编写Meta的Llama 3实际功能代码（二）
段智华的博客
05-20 508
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
大模型之使用PyTorch编写Meta的Llama 3实际功能代码（四） 构建 Llama3 类模型本身
段智华的博客
05-20 443
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
大模型之使用PyTorch编写Meta的Llama 3实际功能代码（六）
段智华的博客
05-20 1021
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
给 ｢大模型初学者｣ 的 LLaMA 3 核心技术剖析
Baihai_IDP的博客
07-13 1689
”这样的问题时，期望的回答自然是“白色（white）”。仅需具备一定的 Python 编程基础，并对神经网络和 Transformer 架构有基本的认识，便能跟随本文的指引，观察 LLaMA 3 如何根据输入生成输出，见证它如何基于输入生成连贯且有意义的文本。—— 如前文所述，LLaMA-3 采用的是 tiktoken 库中的字节对编码（BPE）分词技术，这项技术是在一个包含了 15 万亿个 tokens 的超大数据集上训练得来的，比 LLaMA-2 使用的数据集足足大了7倍之多。
大模型都在用的：旋转位置编码
xian0710830114的专栏
04-26 7215
绝对位置编码和相对位置编码都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（RotaryPositionEmbedding,RoPE），兼顾效率和相对位置关系。 RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性，比如ChatGLM、LLaMA等。
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
热门推荐
结构之法 算法之道
10-27 5万+
关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。
聊聊大模型位置编码及其外推性
zenRRan的博客
09-06 585
作者|王嘉宁整理|NewBeeNLPhttps://wjn1996.blog.csdn.net/article/details/131753251进NLP群—>加入NLP交流群现如今很多大模型都开始支持超过4096长度的推理，例如GPT-4支持超过30k，ChatGLM2-6B也支持最长为32K的文本。但是由于显存资源的限制，这些大模型在真正在训练过程中不一定要训练这么长的文本，通...
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 5402
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
大模型基础之位置编码RoPE
beingstrong的博客
08-03 1840
大模型基础之位置向量RoPE
大模型旋转位置编码RoPE
学习与分享人工智能技术
01-17 648
本文介绍了大模型领域的旋转位置编码RoPE。
2d rope位置编码
12-27
### 2D 绳子位置编码方法解释 为了处理二维数据的空间关系，在自然语言处理和其他领域中引入了多种位置编码方案。对于特定应用如图像或网格上的序列建模，采用基于正弦波函数的位置编码是一种常见做法[^1]。 这种编码方式通过不同频率的正弦和余弦函数来表示各个维度上相对距离的信息。具体来说： - 对于给定的位置 `(i, j)` 和特征维度 `d`， - 使用两个不同的频率因子分别作用于行索引 `i` 和列索引 `j` 上； - 这样可以确保即使是在较大的输入尺寸下也能保持良好的泛化能力。 以下是 Python 实现的一个简单例子，展示了如何创建适用于二维矩阵的位置编码向量： ```python import numpy as np def get_2d_sinusoid_encoding_table(n_position_rows, n_position_cols, d_hid): &#39;&#39;&#39; Sinusoid position encoding table for 2D inputs &#39;&#39;&#39; def cal_angle(position, hid_idx): return position / np.power(10000, 2 * (hid_idx // 2) / d_hid) def get_posi_angle_vec(position_row_col_tuple): row, col = position_row_col_tuple return [cal_angle(row, hid_j) for hid_j in range(d_hid)] + \ [cal_angle(col, hid_j) for hid_j in range(d_hid)] sinusoid_table = np.array([get_posi_angle_vec((pos_i, pos_j)) for pos_i in range(n_position_rows) for pos_j in range(n_position_cols)]) sinusoid_table[:, 0::2] = np.sin(sinusoid_table[:, 0::2]) # dim 2i sinusoid_table[:, 1::2] = np.cos(sinusoid_table[:, 1::2]) # dim 2i+1 return sinusoid_table.reshape(n_position_rows, n_position_cols, -1).astype(&#39;float32&#39;) # Example usage: n_position_rows = 8 n_position_cols = 8 d_hid = 64 encoding_table = get_2d_sinusoid_encoding_table(n_position_rows, n_position_cols, d_hid) print(encoding_table.shape) # Output should be (8, 8, 128), since each spatial dimension gets its own set of encodings. ``` 此代码片段定义了一个名为 `get_2d_sinusoid_encoding_table()` 的函数，它接受三个参数：行列数 (`n_position_rows`, `n_position_cols`) 及隐藏层大小(`d_hid`) 。该函数返回一个形状为 `[rows, cols, 2*d_hid]` 的张量作为最终的结果，其中每一项都对应着相应坐标的绝对位置嵌入向量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值