qwen在vLLM下的长度外推简易方法

最新推荐文章于 2024-04-24 11:50:45 发布
最新推荐文章于 2024-04-24 11:50:45 发布
阅读量825 收藏 7
点赞数 11
分类专栏： 大语言模型 文章标签： qwen 长度外推 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjh_SE007/article/details/135653088
版权
本文介绍如何在vLLM的最新版本中通过调整config.json中的rope_scaling参数，采用动态NTK方法，利用动态缩放因子实现对qwen长度的外推，以增强模型的预测能力。
摘要由CSDN通过智能技术生成

目的

在当前的版本vLLM中实现qwen的长度外推。

解决方法

在qwen的config.json中，增加如下内容：


{
  "rope_scaling": { 
    "type": "dynamic", 
    "factor": 4.0
  }
}

dynamic:动态NTK
factor:缩放因子，外推长度=原始长度*缩放因子

余俊晖
关注
  • 11
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
书生·浦语：大模型全链路开源体系（五）——推理部署
2301_77286822的博客
01-15 1355
大模型的推理速度将严重影响，用户的体验感和使用效率，各个大厂都在尽可能的提升模型的推理输出速度，常见的方法有量化、蒸馏和剪枝等。本篇文章将重点介绍上海人工智能实验室推出的LMDeploy部署架构，提高模型的推理速度。
Spring AI + ollama + qwen 示例项目-流式、非流式输出
04-09
Spring AI与Ollama和Qwen的结合，是一个创新的示例项目，旨在展示如何在Spring框架中实现流式和非流式输出的集成。这个项目通过整合Ollama的数据处理能力和Qwen的响应生成机制，为用户提供了一个高效、灵活的解决...
LLaMA长度外推高性价比trick：线性插值法及相关改进源码阅读及相关记录
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
08-10 2273
最近，开源了可商用的llama2，支持长度相比llama1的1024，拓展到了4096长度，然而，相比GPT-4、Claude-2等支持的长度，llama的长度外推显得尤为重要，本文记录了三种网络开源的RoPE改进方式及相关源码的阅读。关于长度外推性：https://kexue.fm/archives/9431关于RoPE：https://kexue.fm/archives/8265。
LLM 位置编码及外推
sunghosts的专栏
09-10 1117
对原始2048窗口的模型使用FT，发现训练10000步的时候，只有效扩展到了2560的长度，但是使用PI，训练200步的时候就能扩展到我们想要的窗口长度（实验中有抖动，步数多了有效窗口长度反而变短）。RoPE的外推能力有限，理论上，使用2048长度训练的模型，如果输入3000的长度，它就无法使用0位置的信息，但可以使用2900位置的信息，但实际上，如果答案就在2900位置处，也无法得到。扩展后的模型在长文本任务中有较好的性能，困惑度没有上升，在原来长度的任务中困惑度略有下降（实验中下降了2%）。
高精度模拟：Scaling-Rope - 深入探索弹性绳索物理模拟的新境界
gitblog_00065的博客
04-21 782
高精度模拟：Scaling-Rope - 深入探索弹性绳索物理模拟的新境界 项目地址:https://gitcode.com/OpenLMLab/scaling-rope 在计算机图形学和游戏开发中，真实的物理模拟是提升用户体验的关键一环。而其中，弹性绳索的模拟尤其具有挑战性，因为它们需要考虑到拉伸、扭转、碰撞等多种复杂因素。今天，我们要向大家介绍一个名为Scaling-Rope的开源项目，它为...
解析RoPE编码的外推之谜
步子哥的博客
01-17 908
本文主要介绍 RoPE 外推的缩放法则，相关的背景、理论、验证、思考。主要内容包括四点：一，RoPE 外推的近期相关工作；二，放大和缩小 RoPE旋转角的底数（全文简称base）并在原始长度上续训都会改善其外推效果；三，在原始长度上续训，RoPE 的外推效果和 base 大小之间的关系；四，在更长长度上续训，RoPE 的外推效果和 base 大小之间的关系。与以往的外推研究不同，本文并没有聚焦一个具体的外推方案，而是给出了一套改进RoPE外推能力的框架，及其对应的数学解释、实验验证。在这个框架下，本文不仅给
大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值、YaRN到S2-Attention
结构之法 算法之道
12-19 6118
下半年以来，我全力推动我司大模型项目团队的组建，我虽兼管整个项目团队，但为了并行多个项目，最终分成了三个项目组，每个项目都有一个项目负责人，分别为霍哥、阿荀、朝阳，有何问题 欢迎随时留言评论，thanks了解几种外推方案做了什么然后再顺着苏剑林文章的思路来看为什么这样做但总觉得不够深刻moe我有了解过GLaM，Mistral那边的没了解过打算了解下，估计也大差不差。
Qwen1.5：使用VLLM加速推理模型（包含：OpenAI如何调用）
h1773655323的博客
04-24 2613
在开始使用VLLM库之前，首先需要确保安装正确的版本。以下指南将帮助你完成安装和配置。
【大模型】微调Qwen1.8B
Dong_ZH的博客
02-21 2210
使用地址数据微调Qwen1.8B。Qwen提供了预构建的Docker镜像，在使用时获取镜像只需安装驱动、下载模型文件即可启动Demo、部署OpenAI API以及进行微调。获取方式：docker pull qwenllm/qwen:cu117。
【LLM】大模型之扩展Context长度（RoPE等方法）
发现问题，并解决问题，批判性思维
07-18 3558
展LLM的Context长度其实已有不少，但多数是通过结合检索或者摘要的方式来缩短样本的长Context，如Unlimiformer。由于不是直接处理长Context，因此通常无法做精细的阅读理解，而且这些方案往往需要在训练阶段就考虑进去，而不是事后即插即用到已有的LLM模型中。 2. PCW方法 以前能够不微调地扩展Context长度的方案是Parallel Context Window（下面简称PCW），出自论文《Parallel Context Windows for Large Language
LLM系列 | 26：阿里千问Qwen模型解读、本地部署
热门推荐
ljp1919的专栏
11-04 1万+
Qwen 是一个全能的语言模型系列，包含各种参数量的模型，如 Qwen（基础预训练语言模型，即基座模型）和 Qwen-Chat（聊天模型，该模型采用人类对齐技术进行微调）。基座模型在众多下游任务中始终表现出卓越的性能，而聊天模型，尤其是使用人类反馈强化学习（RLHF）训练的模型，具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力，可用于创建agent应用程序。即使在使用代码解释器等复杂任务上，Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。
针对qwen微调模型进行数据预处理.zip
03-02
在人工智能领域，数据预处理是项目实践中至关重要的一个步骤，特别是在使用像Qwen这样的微调模型时。Qwen模型可能是一个基于Transformer架构的语言模型，如BERT或GPT，经过特定任务的训练，以提高其在问答、对话或者...
Qwen.zip
02-06
在 "Qwen.zip" 压缩包内有两个文件：`说明.txt` 和 `Qwen_main.zip`。`说明.txt` 很可能是对项目、代码或工具的详细介绍，包含使用方法、功能解释以及可能的注意事项。`Qwen_main.zip` 可能是项目的核心部分，它可能...
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
Qwen-main.zip
02-21
【Qwen-main.zip】是一个压缩包文件，其中包含的资源很可能与一个名为“Qwen”的项目或软件有关。从文件名来看，“Qwen”可能是该项目的核心名称或主体部分。这个压缩包可能是为了方便用户下载、存储或传输Qwen的...
vllm 加速推理通义千问Qwen经验总结
u010899985的博客
12-21 5617
curl请求 curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen/Qwen-14B-Chat-Int4-hf", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0 }'解决方法：将序列中token按固定长度划分为多个块，并与系统内存进行映射，解决不连续填满问题。
LLM长度外推研究1——外推结果及原因分析
maxsen_jn的博客
08-28 1304
近期，随着大模型（LLM）的兴起，关于它的长度外推性质，也受到了业界的关注。关于外推，有一个美好的愿景，即，我们总是希望用更短的文本来训练LLM，但希望在推理时，LLM仍然可以处理更长的文本。如果这一假设成立，那将使得训练成本大幅降低，美哉！然而，现实却很骨感。目前已知的良好属性的位置编码RoPE，也仅能达到10%-20%的外推长度（参考苏剑林老师的博客[1]中的论述）。在此，假设各位伙伴对于位置编码相关知识已经有了一定的基础，故不做详细阐释。
ROS安装配置与语法介绍文档、ROS代码文档、树莓派与ROS结合使用等相关文档
最新发布
07-08
ROS安装配置与语法介绍文档、ROS代码文档、树莓派与ROS结合使用等相关文档
langchain 和 qwen
12-19
LangChain是一个用于开发由语言模型驱动的应用程序的框架，官方网站为https://www.langchain.com/。Qwen-14B是一个基于4090显卡部署的聊天模型，你可以在Github上找到它的地址。你可以通过创建虚拟环境、安装依赖项、快速使用和启动web演示来使用Qwen-14B。你还可以通过访问Qwen来体验它的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值