LLM：NTK-Aware Scaled RoPE

已于 2024-08-22 11:43:15 修改
阅读量686 收藏
点赞数
分类专栏： LLM & AIGC & VLP 文章标签： LLM 人工智能
于 2024-01-24 14:34:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/135818631
版权
本文介绍了NTK-Aware Scaled RoPE，这是对Position Interpolation的一种改进，旨在保留LLM中的高频信息。通过调整不同位置编码分组的旋转速度，NTK方案在高频部分进行外推，低频部分进行内插，有效改善了模型性能。该方法考虑了神经网络的特性，确保靠前的高频信息得到保护，提高了长度扩展时的模型表现。
摘要由CSDN通过智能技术生成

继前文介绍 Position Interpolation-线性插值方案对LLM外推扩展，本文介绍PI的改进方案：NTK-Aware Scaled RoPE。经过搜索，目前发现有两种方式来理解NTK-Aware Scaled RoPE。

方式1：从旋转弧度的角度进行理解

Position Interpolation：

通过缩小每个位置的旋转弧度，每个位置的旋转弧度变为原来的\frac{L}{L{}'}  ，长度扩大几倍，则旋转弧度缩小几倍。换个说法：将之前未见过的弧度也插入到见过的训练弧度范围内，以满足外推需求。由于旋转弧度是线性变

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
专栏目录
订阅专栏
QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
10-09 572
近年来，大型语言模型(llm)得到了迅速的发展。尽管llm在许多语言理解任务中具有很强的能力，但沉重的计算负担在很大程度上限制了llm的应用，特别是当需要将它们部署到边缘设备上时。本文提出了一种量化感知的低秩自适应(QA-LoRA)算法。其原因在于量化自由度与自适应自由度不平衡，解决方法是采用群算子，提高量化自由度，降低自适应自由度。QA-LoRA很容易用几行代码实现，它为原始LoRA提供了双重能力:(i)在微调期间，LLM的权重被量化(例如，进入INT4)，以减少时间和内存使用;
大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值(对此介绍最详)、YaRN到S2-Attention
结构之法 算法之道
12-19 8841
下半年以来，我全力推动我司大模型项目团队的组建，我虽兼管整个项目团队，但为了并行多个项目，最终分成了三个项目组，每个项目都有一个项目负责人，分别为霍哥、阿荀、朝阳，有何问题 欢迎随时留言评论，thanks了解几种外推方案做了什么然后再顺着苏剑林文章的思路来看为什么这样做但总觉得不够深刻moe我有了解过GLaM，Mistral那边的没了解过打算了解下，估计也大差不差。
一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——基于NTK-aware插值
热门推荐
结构之法 算法之道
04-19 1万+
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
【手撕LLM-NTK RoPE】长文本“高频外推、低频内插“从衰减性视角理解
z551646的博客
07-17 1508
首先定义频率，在周期函数中，如 ， 越大，频率越大。在位置编码中，随维度增加,减小，频率越低那么我们可得：位置编码的低维对应高频，高维对应低频。那么新的问题来了，相对距离衰减到底是由高频影响还是低频？本文从语言建模假设出发，阐述距离衰减性对序列关系的影响，如不满足衰减性，将对模型造成破坏性影响。并从衰减性视角统一观察不同位置编码的衰减表现，实验直观表明NTK-RoPE下增大base即可扩展到长文本建模能力本文切分高低维来计算衰减性，分析出“短距离高频外推，长距离低频内插”，在RoPE。
位置编码学习
银晗的学习博客
04-08 1310
我们对长度外推的期望其实不仅仅是“平移不变性”，而是“平移更好性”，也就是说越往后效果应该越好才对（比如In Context Learning场景，给的examples越多，效果应该越好），所以模型还应该要能捕捉全局依赖的能力。而NTK-aware Scaled RoPE通过“高频外推、低频内插”隐含了两者优点，保证了局域性，又没有明显外推位置编码，所以不微调也有不错的效果。位置内插虽然没有外推位置编码，但扰乱了局域性（0附近位置编码被压缩为），所以不微调效果也不好；内，注意力机制的能力大大削弱。
万字长文再论大语言模型的位置编码及其外推性
Paper weekly
01-06 685
©作者 |绝密伏击单位 |奇虎360算法专家现在，众多大型模型已开始支持长文本的推理，如最新的 GPT4 Turbo 能处理超过 128k 的内容，而 Baichuan2 也可应对最长为 192K 的文本。但受显存资源约束，这些模型在训练时并不一定会处理如此长的文本，其预训练阶段通常仅涉及约 4k 的内容。因此，如何在推理阶段确保模型能处理远超预训练时的文本长度，已成为当前大型模型面临的核心问...
LLM：RoPE - 旋转位置编码 （上）
微风❤水墨
01-19 569
2：主要就是对attention中的q, k向量注入了绝对位置信息，然后用更新的q,k向量做attention中的内积就会引入相对位置信息了。旋转位置编码RoPE 是目前大模型中广泛使用的一种位置编码，包括但不限于Llama、Baichuan、ChatGLM、Qwen等。1：RoPE通过绝对位置编码的方式实现相对位置编码，综合了绝对位置编码和相对位置编码的优点。，由于自然语言一般更依赖于相对位置，所以相对位置编码通常也有着优秀的表现。而经典的位置编码PE的计算方式是采用上篇文章提到的。
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于...
EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism
c_cpp_csharp的专栏
01-16 816
我们提出了EE-LLM，一个用于早期退出大型语言模型（LLM）的大规模训练和推理的框架。虽然最近的工作已经初步证明了早期退出在加速LLM推理方面的有效性，但EE-LLM通过支持大规模3D并行性的训练和推理，朝着扩大早期退出LLM迈出了基础性的一步。
聊聊拉长LLaMA的一些经验
CompHub的博客
07-31 2112
Sequence Length是指LLM能够处理的文本的最大长度，越长，自然越有优势：更强的记忆性。更多轮的历史对话被拼接到对话中，减少出现遗忘现象长文本场景下体验更佳。比如文档问答、小说续写等当今开源LLM中的当红炸子鸡——LLaMA，第一版上下文长度是2048，第二版长度是4096。相比之下ChatGPT、GPT4已经支持到16k，Claude甚至支持到了100k。足以见得将LLaMA拉长是如此的任重而道远。本文将会介绍。
如何增长LLM推理token，从直觉到数学
liangwqi的博客
08-31 1404
本文对为什么要增长输入token长度做了简要介绍；然后从直觉的角度提出了在训练模型输入长度不变的情况下，可能的几种拓展输入长度的方法；然后回顾了transformers位置编码如何实现；记者回顾进来一些针对训练时输入长度不变，使用时长度变长的解决思路。 直觉的5种解法： 1.模型抽局部特征+全局特征融合，局部特征抽取能力强，增加长度无非就是增加特征，全局特征融合能力强可以把增长特征较好融合 2.模型全局视野很宽，在训练时候只用了部分视野；实际推理时候可以把全部视野全用上，来达到比训练时token长能力 3.
LLaMA长度外推高性价比trick：线性插值法及相关改进源码阅读及相关记录
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
08-10 2483
最近，开源了可商用的llama2，支持长度相比llama1的1024，拓展到了4096长度，然而，相比GPT-4、Claude-2等支持的长度，llama的长度外推显得尤为重要，本文记录了三种网络开源的RoPE改进方式及相关源码的阅读。关于长度外推性：https://kexue.fm/archives/9431关于RoPE：https://kexue.fm/archives/8265。
LLM 位置编码及外推
sunghosts的专栏
09-10 1436
对原始2048窗口的模型使用FT，发现训练10000步的时候，只有效扩展到了2560的长度，但是使用PI，训练200步的时候就能扩展到我们想要的窗口长度（实验中有抖动，步数多了有效窗口长度反而变短）。RoPE的外推能力有限，理论上，使用2048长度训练的模型，如果输入3000的长度，它就无法使用0位置的信息，但可以使用2900位置的信息，但实际上，如果答案就在2900位置处，也无法得到。扩展后的模型在长文本任务中有较好的性能，困惑度没有上升，在原来长度的任务中困惑度略有下降（实验中下降了2%）。
万字长文梳理 LLM 中的长文本问题
zenRRan的博客
12-13 2113
深度学习自然语言处理 分享作者：紫气东来(知乎)编辑：马景锐链接：https://zhuanlan.zhihu.com/p/640641794近期，随着大模型技术的发展，长文本问题逐渐成为热门且关键的问题，不妨简单梳理一下近期出现的典型的长文本模型：10 月上旬，Moonshot AI 的 Kimi Chat 问世，这是首个支持 20 万汉字输入的智能助手产品；10 月下旬，百川智能发布 Baic...
LLM长上下文外推方法
Swift's Blog
03-10 676
下面是一些提升LLM长度外推能力的方法总结：more。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
最新发布
m0_52911108的博客
09-27 1137
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 976
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
Meta's MEGALODON: Infinite-Token Model for Efficient Long-Sequence LLM Pretraining
Meta（原Facebook）团队在最新的研究中推出了一个名为MEGALODON的创新神经架构，它旨在解决Transformer模型在处理长序列时遇到的挑战，特别是其二次复杂度和弱长度外推能力的限制。长文本处理一直是大语言模型（LLMs...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值