LLM：NTK-Aware Scaled RoPE

已于 2024-01-24 15:29:33 修改
阅读量558 收藏
点赞数
分类专栏： LLM 文章标签： LLM 人工智能
于 2024-01-24 14:34:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/135818631
版权

继前文介绍 Position Interpolation-线性插值方案对LLM外推扩展，本文介绍PI的改进方案：NTK-Aware Scaled RoPE。经过搜索，目前发现有两种方式来理解NTK-Aware Scaled RoPE。

方式1：从旋转弧度的角度进行理解

Position Interpolation：

通过缩小每个位置的旋转弧度，每个位置的旋转弧度变为原来的\frac{L}{L{}'}  ，长度扩大几倍，则旋转弧度缩小几倍。换个说法：将之前未见过的弧度也插入到见过的训练弧度范围内，以满足外推需求。由于旋转弧度是线性变化的，所以也称为线性位置插值。L：训练长度，L{}'&#x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
终端LLM AI模型:mlc-llm
10-10
使用mlc-llm-main，开发者可以便捷地进行模型的本地开发和优化。这个主文件可能包含了模型的源代码、预训练权重、开发工具以及相关文档。开发者可以通过这个入口，根据具体硬件环境调整模型参数，进行模型裁剪、量化...
位置编码学习
银晗的学习博客
04-08 1218
我们对长度外推的期望其实不仅仅是“平移不变性”，而是“平移更好性”，也就是说越往后效果应该越好才对（比如In Context Learning场景，给的examples越多，效果应该越好），所以模型还应该要能捕捉全局依赖的能力。而NTK-aware Scaled RoPE通过“高频外推、低频内插”隐含了两者优点，保证了局域性，又没有明显外推位置编码，所以不微调也有不错的效果。位置内插虽然没有外推位置编码，但扰乱了局域性（0附近位置编码被压缩为），所以不微调效果也不好；内，注意力机制的能力大大削弱。
大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值、YaRN到S2-Attention
结构之法 算法之道
12-19 6640
下半年以来，我全力推动我司大模型项目团队的组建，我虽兼管整个项目团队，但为了并行多个项目，最终分成了三个项目组，每个项目都有一个项目负责人，分别为霍哥、阿荀、朝阳，有何问题 欢迎随时留言评论，thanks了解几种外推方案做了什么然后再顺着苏剑林文章的思路来看为什么这样做但总觉得不够深刻moe我有了解过GLaM，Mistral那边的没了解过打算了解下，估计也大差不差。
万字长文再论大语言模型的位置编码及其外推性
Paper weekly
01-06 566
©作者 |绝密伏击单位 |奇虎360算法专家现在，众多大型模型已开始支持长文本的推理，如最新的 GPT4 Turbo 能处理超过 128k 的内容，而 Baichuan2 也可应对最长为 192K 的文本。但受显存资源约束，这些模型在训练时并不一定会处理如此长的文本，其预训练阶段通常仅涉及约 4k 的内容。因此，如何在推理阶段确保模型能处理远超预训练时的文本长度，已成为当前大型模型面临的核心问...
如何增长LLM推理token，从直觉到数学
liangwqi的博客
08-31 1261
本文对为什么要增长输入token长度做了简要介绍；然后从直觉的角度提出了在训练模型输入长度不变的情况下，可能的几种拓展输入长度的方法；然后回顾了transformers位置编码如何实现；记者回顾进来一些针对训练时输入长度不变，使用时长度变长的解决思路。 直觉的5种解法： 1.模型抽局部特征+全局特征融合，局部特征抽取能力强，增加长度无非就是增加特征，全局特征融合能力强可以把增长特征较好融合 2.模型全局视野很宽，在训练时候只用了部分视野；实际推理时候可以把全部视野全用上，来达到比训练时token长能力 3.
聊聊拉长LLaMA的一些经验
CompHub的博客
07-31 1845
Sequence Length是指LLM能够处理的文本的最大长度，越长，自然越有优势：更强的记忆性。更多轮的历史对话被拼接到对话中，减少出现遗忘现象长文本场景下体验更佳。比如文档问答、小说续写等当今开源LLM中的当红炸子鸡——LLaMA，第一版上下文长度是2048，第二版长度是4096。相比之下ChatGPT、GPT4已经支持到16k，Claude甚至支持到了100k。足以见得将LLaMA拉长是如此的任重而道远。本文将会介绍。
LLM 位置编码及外推
sunghosts的专栏
09-10 1208
对原始2048窗口的模型使用FT，发现训练10000步的时候，只有效扩展到了2560的长度，但是使用PI，训练200步的时候就能扩展到我们想要的窗口长度（实验中有抖动，步数多了有效窗口长度反而变短）。RoPE的外推能力有限，理论上，使用2048长度训练的模型，如果输入3000的长度，它就无法使用0位置的信息，但可以使用2900位置的信息，但实际上，如果答案就在2900位置处，也无法得到。扩展后的模型在长文本任务中有较好的性能，困惑度没有上升，在原来长度的任务中困惑度略有下降（实验中下降了2%）。
LLM上下文长度扩展方案：NTK-aware interpolation
KI的博客
06-20 1011
LLM上下文长度扩展方案：NTK-aware interpolation
NExT-GPT: Any-to-Any Multimodal LLM
01-20
NExT-GPT：Any-to-Any Multimodal LLM NExT-GPT是一种Any-to-Any Multimodal语言模型（LLM），旨在解决现有视觉语言模型受到多模态输入端理解的限制，无法以多种模态生成内容的问题。该模型通过将LLM与多模态适配器...
Buffer of Thoughts: Thought-Augmented Reasoning with Large Langu
06-08
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language ModelsBuffer of Thoughts: Thought-Augmented Reasoning with Large Language ModelsBuffer of Thoughts: Thought-Augmented Reasoning ...
适用于LLM应用的数据框架:llama-index
03-02
主要语言：Python 项目分类：[AI] 项目标签：[大规模语言模型] [LLM] [机器学习] 推荐理由：一个适用于LLM（大型语言模型）...它为LLM应用提供了数据存储和管理的解决方案，帮助用户更高效地构建和管理LLM应用程序。
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于...
2024钉钉杯A题思路详解
全栈川川
07-26 1491
2024钉钉杯思路
随机数种子的作用
帆的博客
07-23 1310
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
常见的文心一言的指令
知码客
07-25 1043
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
安装TensorRT各自小库版本问题
Ppandaer的博客
07-24 363
降版本：protobuf3.19，onnx 1.12。
视觉巡线小车（STM32+OpenMV）——总结
最新发布
qq_67319052的博客
07-27 942
基于前面的系列文章，已基本介绍完了基于STM32+OpenMV的视觉巡线小车，本文将以小编自己的小车对其进行一下总结。如果完成了前面视觉巡线小车——STM32+OpenMV系列文章的内容，那么已经实现了一辆基于STM32+OpenMV的视觉巡线小车了。到此你已经学到了：直流减速电机的控制；编码器测速；STM32——定时器（PWM、正交编码、中断）、串口等；OpenMV——图像二值化，线性回归处理等等。
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 482
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
LLM-2307.04346.pdf
10-27
1. The paper proposes using Large Language Models (LLMs) to generate property-based tests for API documentation. 2. The LLMs can write logic for generating random inputs and derive meaningful property assertions from the API documentation. 3. The potential of using LLMs for Property-Based Testing (PBT) is demonstrated in Figure 2. 4. The LLMs can be instructed to write generator functions or property assertions to check the properties of the result. 5. The study investigates whether LLMs can write good property-based tests for APIs.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值