【LLM】大模型之扩展Context长度（RoPE等方法）

已于 2024-03-02 15:35:51 修改
阅读量5.2k 收藏 10
点赞数 6
分类专栏： 自然语言处理 LLM大模型 文章标签： 大模型 扩展上下文 RoPE
于 2023-07-18 06:44:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/131746217
版权

note

文章目录

零、位置编码

我们都知道在经典的transformer模型中，输入的文本序列经过embedding层，为每个token转为对应向量表示后，还需要对词嵌入加入位置编码进行上下文语义的建模。为了得到不同位置对应的编码，transformer模型使用不同频率的正余弦函数（其中POS表示单词所在的位置，2i和2i+1表示位置编码向量中对应的维度，d是对应位置编码向量的总维度）： PE ⁡ ( pos ⁡

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI测试入门：理解 LLM 的上下文长度（context length）
blues_C的博客
10-12 1253
在 LLM 处理信息时，文本被分解成一系列的标记（tokens），这个过程称为标记化（tokenization）。然后给模型提供每个标记在原始文本中的位置信息，这个过程称为位置编码（position encoding）。经过标记化和位置编码后，模型会处理这些结构化信息。
《深入浅出LLM基础篇》（四）：主流大模型介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 2352
本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
如何扩展大模型的上下文长度
SmartCodeTech的博客
03-15 5321
本文将基于比较火的 Llama 2 大模型的结构介绍上下文长度的方法与挑战，然后探讨一些业界流行的上下文长度扩展的技术，最后给大家推荐下 KubeAI 大模型训练推理平台可以上手实验。
大模型 | 一篇搞明白上下文长度扩展：从RoPE到YARN
最新发布
m0_56255097的博客
04-10 1297
绝对位置：RoPE本身的形式向输入向量添加了绝对位置信息。相对位置：应用RoPE后的向量在进行内积运算时相当于考虑了输入向量的相对位置信息。考虑位置 m 处的向量 q 与位置n处的向量 k 二者应用RoPE后的内积为远程衰减：给定向量维度 D 特定 b bb 的取值能够使得应用RoPE后的向量内积具有远程衰减性质，即：对于两个固定的向量，他们之间的相对距离越远，内积值越小。形式简单，与当前attention机制的结合非常自然。
大模型学习
zhuikefeng的博客
01-08 4054
其中b是batch，s是序列长度，a是注意力头数，l是transformer层数，h指隐藏层维度。优化器状态占用的显存大小也是一样，与优化器类型有关，与模型参数量有关，但与输入数据的大小无关。计算量和参数量的关系，近似认为，在一次前向传递中，对于每个token，每个模型参数，需要进行2次浮点数运算，即一次乘法法运算和一次加法运算。，b是batch，l是transformer层数，h指隐藏层维度，s是输入序列长度，n是输出序列长度，4=2*2，k和v的cache，每个cache fp16存储，占用2B。
语言大模型100K上下文窗口的秘诀
OneFlow深度学习框架
06-21 3831
上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大的上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。最新发布的语言大...
【大模型提示词框架系列】CRISPE 框架：上下文（Context）、角色（Role）、说明（Instruction）、主题（Subject）、预设（Preset）和例外（Exception）
AI天才研究院
09-03 5079
在人工智能和自然语言处理领域，大型语言模型（Large Language Models，LLMs）的出现和发展引发了一场技术革命。这些模型，如GPT-3、GPT-4、BERT等，展现出了惊人的语言理解和生成能力。然而，如何有效地与这些模型进行交互，以获得最佳的输出结果，成为了一个关键问题。这就是提示词工程（Prompt Engineering）的重要性所在。CRISPE框架是一种新兴的提示词设计方法，旨在提供一个系统化的方法来构建高效的提示词。
万字长文搞懂LLM大模型技术原理！
强化学习曾小健
11-24 1055
本文从Llama 3报告出发，基本整理一些现代LLM的技术。'基本'，是说对一些具体细节不会过于详尽，而是希望得到一篇相对全面，包括预训练，后训练，推理，又能介绍清楚一些具体技术，例如RM，DPO，KV Cache，GQA，PagedAttention，Data Parallelism等等的索引向文章。由于东西比较多，且无法详尽细节，所以推荐大家二次整理为自己的笔记。本文的主要参考是Llama Team的The Llama 3 Herd of Models报告原文，以及沐神回归B站新出的论文精读系列。同时也
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问
cjnn0710的博客
07-25 2183
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问。
LongRoPE：突破局限，将大模型上下文窗口扩展至200万tokens
步子哥的博客
07-10 933
LongRoPE作为迈向无限上下文窗口的第一步，为大模型的发展带来了新的可能性。阅读和理解整本书籍或长篇文档。分析复杂的法律文件或科学论文。生成更连贯、更具逻辑性的长篇文本。LongRoPE的出现为大模型的应用开辟了更广阔的空间，让我们共同期待未来更加智能的AI应用。
一文了解：LLM 的上下文长度（context length)
qianggezhishen的专栏
10-10 3024
想象一下，如果LLM的上下文窗口变大了，它们就能在回答我们之前，考虑更多的信息，这样它们的回答就会更准确，内容也会更丰富。总的来说，上下文窗口对于LLM来说就像是它们的视野，视野越宽，它们能做的事情就越多，但同时也需要更多的资源。想象一下，你有一个超级聪明的助手，它能写文章、回答问题，但有时候它需要更多的信息来给出最好的答案。但是，如果上下文窗口变大了，LLM就需要更多的脑力和记忆空间来工作，这就有点像是我们的电脑需要更多的内存和处理器一样。它们让模型不仅能处理更多的信息，还能在需要的时候去找更多的资料。
一文了解：LLM 的上下文长度(context length) | LeetTalk Daily
LinkTime_Cloud的博客
10-18 1084
“LeetTalk Daily”，每日科技前沿，由LeetTools AI精心筛选，为您带来最新鲜、最具洞察力的科技新闻。在近年来，随着大规模语言模型（LLM）在自然语言处理领域的广泛应用，长上下文支持的需求日益增加。长上下文支持不仅能够提升模型在处理复杂任务时的表现，还能增强LLM在长文本生成和理解中的能力。为此，研究者们提出了多种方法来扩展LLM的上下文长度，其中包括位置插值（Position...
LLM-RoPE
weixin_46039722的博客
08-19 1732
LLM 大语言模型中，最基础的就是 Token Embedding，针对 Query 中的每一个 Token，其都拥有对应的 Embedding 作为其表征。由于 Attention 的设计，网络感知不到 token 之间的位置关系。 以上图为例，每个 key 和 query 计算对应的相似度，由于 Query 是查找所有 Token 的向量并相加，所以调换 token 的顺序并不影响最终的 Query 向量，同理计算相似度并加权得到的 Attention Value 也不会受影响。而对于 LLM 对于自
如何扩展大模型的上下文长度?
2201_75499313的博客
03-14 3412
本文从 Llama 大模型的结构入手，介绍了其模块结构，重点解析了 Attention 机制中的 RoPE 层。要实现 Llama 模型上下文长度的扩展，需要对应扩展 RoPE 位置编码层。但是直接扩展会导致模型困惑度上升，针对这个问题，我们介绍了业界常见的几种上下文扩展方法，包括位置查找法、动态插值法和 Yarn 方法等。长下文推理对性能要求比较高，为此我们也介绍了一些为了提升性能而优化 Attention 的方法，比如 LongLoRA[10] 这篇论文的 S2-Atten 的方法。
Parallel Context Windows for Large Language Models
c_cpp_csharp的专栏
08-30 1628
当应用于处理长文本时，大型语言模型（LLM）受到其上下文窗口的限制。现有的解决这一限制的努力涉及训练专门的体系结构，并且不能很容易地应用于现成的LLM。我们提出了并行上下文窗口（PCW），这是一种在没有进一步训练的情况下减轻任何现成LLM的上下文窗口限制的方法。该方法的关键是将长上下文分割成块（“窗口”），将注意力机制限制为仅在每个窗口内应用，并在窗口之间重复使用位置嵌入。
RoPE和大模型外推
haixiao0720的博客
04-16 1037
cosmθ1​sinmθ1​​−sinmθ1​cosmθ1​​×sinαcosα​×lengthcosmθ1​sinα−sinmθ1​cosαsinmθ1​sinαcosmθ1​cosα​×length。
谈LLM的Context Cache功能
强化学习曾小健
06-25 1576
Context Cache简单来说是一个LLM推理时候的跨请求缓存相同前缀的计算结果的方案。由于KV Cache已经在LLM推理中普遍采用，所以作为其跨请求的自然推广，Context Cache这个设计是很自然的。但在实用场景中，Context Cache的实用意义似乎没有那么强：一方面这需要不同请求间共享足够长的prompt前缀，但在API平台上收到的实际请求中，不同用户不同请求能满足这个要求的比例很低，一般只有system prompt与prompt模版的前部才满足。
大模型基础之位置编码RoPE
beingstrong的博客
08-03 1928
大模型基础之位置向量RoPE
LLM大语言模型在C#中的应用实例
标签中的"LLM 大语言模型 C# Pleisto.Flappy"表明了这个示例项目可能涉及到大语言模型的使用，C#是微软开发的一种面向对象的编程语言，通常用于开发Windows应用程序、游戏、数据库等。标签中的"Pleisto"可能表示这个...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值