qwen在vLLM下的长度外推简易方法

最新推荐文章于 2025-04-29 08:26:00 发布
最新推荐文章于 2025-04-29 08:26:00 发布
阅读量1.8k 收藏 7
点赞数 11
分类专栏： 大语言模型 文章标签： qwen 长度外推 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjh_SE007/article/details/135653088
版权
本文介绍如何在vLLM的最新版本中通过调整config.json中的rope_scaling参数，采用动态NTK方法，利用动态缩放因子实现对qwen长度的外推，以增强模型的预测能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目的

在当前的版本vLLM中实现qwen的长度外推。

解决方法

在qwen的config.json中，增加如下内容：


{
  "rope_scaling": { 
    "type": "dynamic", 
    "factor": 4.0
  }
}

dynamic:动态NTK
factor:缩放因子，外推长度=原始长度*缩放因子

qwen2 支持更长内容输入model_max_length 32k；外推最大支持128k
weixin_42357472的博客
06-29 1068
config配置文件里也可以看到一些模型信息，能输入识别长度max_position_embeddings或model_max_length=32768；max-model-len 长度可以最大填写模型config里max_position_embeddings=32768；测试下来两万多没有问题。texts测试读取pdf两万多个字输入模型测试。
qwen2.5 vllm推理；openai function call调用中文离线agents使用
weixin_42357472的博客
09-19 1828
参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。
大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值(对此介绍最详)、YaRN到S2-Attention
结构之法 算法之道
12-19 1万+
下半年以来，我全力推动我司大模型项目团队的组建，我虽兼管整个项目团队，但为了并行多个项目，最终分成了三个项目组，每个项目都有一个项目负责人，分别为霍哥、阿荀、朝阳，有何问题 欢迎随时留言评论，thanks了解几种外推方案做了什么然后再顺着苏剑林文章的思路来看为什么这样做但总觉得不够深刻moe我有了解过GLaM，Mistral那边的没了解过打算了解下，估计也大差不差。
vllm server 命令大全
qq_28269995的博客
02-25 2685
vllm serve 提供了丰富的配置选项，允许用户根据需求灵活地调整模型服务的各个方面，包括模型加载、推理、并行化、日志记录等。通过合理配置这些选项，可以优化模型的性能和资源利用率。
【手撕LLM-NTK RoPE】长文本“高频外推、低频内插“从衰减性视角理解
z551646的博客
07-17 2663
首先定义频率，在周期函数中，如 ， 越大，频率越大。在位置编码中，随维度增加,减小，频率越低那么我们可得：位置编码的低维对应高频，高维对应低频。那么新的问题来了，相对距离衰减到底是由高频影响还是低频？本文从语言建模假设出发，阐述距离衰减性对序列关系的影响，如不满足衰减性，将对模型造成破坏性影响。并从衰减性视角统一观察不同位置编码的衰减表现，实验直观表明NTK-RoPE下增大base即可扩展到长文本建模能力本文切分高低维来计算衰减性，分析出“短距离高频外推，长距离低频内插”，在RoPE。
【大模型】微调Qwen1.8B
Dong_ZH的博客
02-21 3232
使用地址数据微调Qwen1.8B。Qwen提供了预构建的Docker镜像，在使用时获取镜像只需安装驱动、下载模型文件即可启动Demo、部署OpenAI API以及进行微调。获取方式：docker pull qwenllm/qwen:cu117。
vLLM推理部署Qwen2.5
小森的博客
10-28 6265
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
Qwen等大模型使用 vLLM部署详解
酌沧
06-11 1万+
vLLM 预分配并管理推理过程中使用的缓存空间，如 past_key_values。通过预分配缓存，可以减少推理过程中因动态内存分配带来的开销。
使用VLLM部署Qwen3大模型的完整指南
最新发布
engchina的专栏
04-29 3404
使用VLLM部署Qwen3-32B大模型的完整指南
qwen2 vllm推理部署；openai接口调用、requests调用
weixin_42357472的博客
06-07 2595
参考： https://qwenlm.github.io/zh/blog/qwen2/ https://huggingface.co/Qwen下载的Qwen2-7B-Instruct使用： Qwen2-7B-Instruct比较相近模型：
大模型部署-基于vLLM部署通义千问Qwen大语言模型-附项目源码+流程教程-优质项目实战.zip
10-15
在标签中提到的“大模型部署”、“vLLM”、“Qwen”、“项目源码”以及“优质项目”，这些关键词点明了文件内容的核心价值。其中“大模型部署”强调了项目的实用性和现实意义；“vLLM”揭示了使用的技术手段；“Qwen...
RoPE（Rotary Position Embedding）
m0_63372012的博客
08-22 1103
None: 没有进行任何缩放，适合与训练时相同或相似长度的序列。Linear: 线性调整 RoPE 的频率，适合处理比训练时稍长的序列。Dynamic: 动态调整 RoPE 的频率，适合处理不同长度的序列，特别是极长的序列。这些策略为模型提供了灵活性，使其能够更好地处理不同长度的输入序列，尤其是在需要扩展到比训练时更长的序列时。
书生·浦语：大模型全链路开源体系（五）——推理部署
2301_77286822的博客
01-15 1747
大模型的推理速度将严重影响，用户的体验感和使用效率，各个大厂都在尽可能的提升模型的推理输出速度，常见的方法有量化、蒸馏和剪枝等。本篇文章将重点介绍上海人工智能实验室推出的LMDeploy部署架构，提高模型的推理速度。
高精度模拟：Scaling-Rope - 深入探索弹性绳索物理模拟的新境界
gitblog_00065的博客
04-21 1067
高精度模拟：Scaling-Rope - 深入探索弹性绳索物理模拟的新境界 去发现同类优质开源项目:https://gitcode.com/ 在计算机图形学和游戏开发中，真实的物理模拟是提升用户体验的关键一环。而其中，弹性绳索的模拟尤其具有挑战性，因为它们需要考虑到拉伸、扭转、碰撞等多种复杂因素。今天，我们要向大家介绍一个名为Scaling-Rope的开源项目，它为实现高精度的绳索模拟提供了一个强...
【LLM】大模型之扩展Context长度（RoPE等方法）
发现问题，并解决问题，批判性思维
07-18 5204
展LLM的Context长度其实已有不少，但多数是通过结合检索或者摘要的方式来缩短样本的长Context，如Unlimiformer。由于不是直接处理长Context，因此通常无法做精细的阅读理解，而且这些方案往往需要在训练阶段就考虑进去，而不是事后即插即用到已有的LLM模型中。 2. PCW方法 以前能够不微调地扩展Context长度的方案是Parallel Context Window（下面简称PCW），出自论文《Parallel Context Windows for Large Language
Transformers 源码解析（七十八）
龙哥盟
07-02 911
【代码】Transformers 源码解析（七十八）
vllm常用参数总结
热门推荐
baiyipiao的博客
09-05 1万+
具体参数：OpenAI 兼容服务器 — vLLM引擎参数 — vLLM常用参数： 2. 终端分析 2.1 查看终端内容 2.2 /metircs接口 请求： curl http://localhost:8000/metircs输出结果较长，主要分析vllm:采用的框架为vllm，部署的Qwen72B是选择环境0.4.3部署的Llama70B选择的环境是0.5.3vllm低版本无法适配Llama模型，在vllm0.5.3修复了该问题Issue：[Model] Meta Llama 3.1
部署llama3.1时出现ValueError: `rope_scaling` must be a dictionary with two fields的解决方案
zwhszdx的博客
07-25 6368
部署llama3.1时出现ValueError: `rope_scaling` must be a dictionary with two fields的解决方案
古诗小助手微调② --- lmdeploy量化
HOOK1的博客
01-28 1128
执行完成后将会在当前目录生成一个workspace的文件夹。这里面包含的就是 TurboMind 和 Triton “模型推理”需要到的文件。
deepseek蒸馏qwen 重复输出问题
02-15
### DeepSeek 蒸馏 Qwen 模型重复输出解决方案 针对 DeepSeek 向 Qwen 进行知识蒸馏过程中遇到的重复输出问题，可以从多个角度进行优化和调整。以下是几种可能有效的策略： #### 1. 数据集去重处理 确保用于训练的数据集中不存在冗余或高度相似的样本。可以采用基于文本相似度的方法来检测并移除重复项。这有助于减少模型学习到不必要的模式。 ```python from sklearn.feature_extraction.text import TfidfVectorizer import numpy as np def remove_duplicates(corpus, threshold=0.9): vectorizer = TfidfVectorizer().fit_transform(corpus) similarities = (vectorizer * vectorizer.T).A to_remove = set() for i in range(len(similarities)): for j in range(i + 1, len(similarities)): if similarities[i][j] >= threshold: to_remove.add(j) filtered_corpus = [doc for idx, doc in enumerate(corpus) if idx not in to_remove] return filtered_corpus ``` #### 2. 修改损失函数 引入额外的正则化项至损失函数中，惩罚那些倾向于生成相同序列的情况。例如，在教师强制解码阶段加入多样性鼓励机制，使得每次预测的结果更加多样化[^1]。 #### 3. 增加上下文窗口大小 适当增加输入给定的历史对话轮次长度，让模型能够更好地理解当前会话背景下的意图变化，从而降低因缺乏足够信息而导致的一致性回复倾向。 #### 4. 应用温度参数调控 通过调节 Softmax 层前应用的温度系数 t 来控制采样分布平滑程度。较低值可以使概率分布更尖锐，而较高值则会使分布更为平坦，促进探索不同可能性。 \[ P(y|x;\theta,t)=\frac{\exp \left(\log p_{\theta}(y | x)/t\right)}{\sum_y \exp (\log p_\theta(y|x)/t)} \] 其中 \(p_\theta\) 表示原始未缩放的概率估计；\(t>0\) 是可调超参。 #### 5. 使用 Beam Search 替代 Greedy Decoding Beam search 可以保留多个候选路径直到最后一步再做决定，相比贪婪算法更能找到全局最优解，有效缓解单一最佳路径造成的单调现象。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值