使用vLLM进行Qwen2.5-VL推理的一些坑

最新推荐文章于 2025-04-28 09:38:40 发布
最新推荐文章于 2025-04-28 09:38:40 发布
阅读量847 收藏 7
点赞数 26
分类专栏： Qwen系列 文章标签： python conda pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhy520_1314/article/details/146999342
版权

文章目录


本文主要是记录一下笔者在使用vLLM进行Qwen2.5-VL推理时踩的一些坑，希望大家不要重蹈我的覆辙。

推理代码不是我写的，所以不方便公开，大家可以自己找对应的代码~

一些debug

给vLLM重配环境

如果要使用vLLM，最好重新开一个环境给vLLM用，pytorch啥的版本都要高一些，据说是2.4以上。就不要偷懒直接用之前的旧环境了~

# 创建conda环境
conda create -n vLLM python=3.10 -y

# 激活conda环境
conda activate vLLM

# 安装pytorch
conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=12.1 -c pytorch -c nvidia

我的版本是：py310cu12torch2.5

附带说一句：后面安装vLLM时似乎会覆盖掉这里的torch版本，改成2.6.0，但不影响后续跑代码，所以这里就没改了
大家如果担心后续的版本问题，可以这里就直接装torch 2.6.0版本的，flash-attn也找对应版本装，问题不大

接下来需要安装Qwen环境，装对应的flash-attn版本，以及flash infer版本

flash-attn

到官网找对应版本，这里是教程参考链接：[已解决] flash-attn报错flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol-CSDN博客

我下的whl文件链接如下
flash_attn-2.7.4.post1+cu12torch2.5cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

这么下载即可

# 进入资源下载路径
cd 你的路径

# 下载对应的whl文件，这个到官网找匹配版本即可
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.4.post1/flash_attn-2.7.4.post1+cu12torch2.5cxx11abiFALSE-cp310-cp310-linux_x86_64.whl 

# 然后安装即可
pip install whl文件的路径

flash infer

参考链接：vllm 优化：flashinfer问题 – OddMeta

pip install flashinfer-python==0.2.2

Qwen

如果是Qwen推理，还需要装一些库

安装transformers

pip install transformers -U

下载工具

pip install modelscope

脚本依赖

pip install accelerate>=0.26.0

安装qwen_vl_utils库来加速模型推理：

pip install qwen-vl-utils

整合起来就是

pip install transformers -U modelscope accelerate>=0.26.0 qwen-vl-utils

jupyter notebook

还要安装ipynb的相关库，VS Code会自己安装，等一下就好了

vLLM

乐，装完上面的还要记得装vLLM

pip install vllm

然后似乎vllm的安装直接把之前很多版本都覆盖了，torch啥的，改成了2.6.0，问题不大

decord

还要安装decord库，用于快速抽帧：Decord 全面指南：视频处理利器-CSDN博客

pip install decord

关于max_seq_len的报错

可能会爆KV cache，直接改LLM里面传入的max_model_len即可，这个传进去就是对应的max_seq_len了

先写到这，后续遇到问题再补充

关于多头注意力的头数报错

Pytorch 为什么在MultiheadAttention中嵌入维度必须能够被头数整除|极客教程

AssertionError: 3420 is not divisible by 8

设置头数刚好被整除即可，大概是设置num_processes吧，笔者还没搞懂，先挖个坑

参考链接

[已解决] flash-attn报错flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol-CSDN博客
vllm 优化：flashinfer问题 – OddMeta

Decord 全面指南：视频处理利器-CSDN博客
Pytorch 为什么在MultiheadAttention中嵌入维度必须能够被头数整除|极客教程

LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
AGI
09-26 5164
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
vllm 离线推理Qwen2.5-VL-Instruct，API部署，支持max_pixels
q742971636的博客
03-24 201
使用这里的最新镜像：启动环境more。
使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南
engchina的专栏
02-05 1万+
使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南
一次性搞定：用 vLLM 容器部署 Qwen2.5-VL 并无缝接入本地 Chatbox
qqxdh的博客
03-29 2247
在本地部署一个多模态的大模型并不一定需要天花乱坠的 DevOps 大工程，也不需要写上一堆 Python 代码来启动后端 API。有了容器和vLLM，以及类似Chatbox这样的可视化界面，一条命令就能搞定服务，全程无痛。也希望这样的方法能帮到更多需要低门槛部署大模型、或希望私有化守护数据安全的团队，一起把技术创新落到实处。
社区版Dify 基于vLLM部署Qwen2.5-VL系列视觉大模型与推理加速策略
weixin_44119512的博客
04-10 1310
Dify+vLLM+Qwen2.5-VL快速推理，实现Image/video Caption，视觉大模型聊天。
Qwen-VL环境搭建&推理测试
zzq1989_的专栏
05-13 1691
Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。这几天阿里的Qwen2.5大模型在大模型圈引起了轰动，号称地表最强中文大模型。前面几篇也写了QWen的微调等，视觉语言模型也写了一篇CogVLM，感兴趣的小伙伴可以移步。相比于目前其它开源LVLM使用的224分辨率，Qwen-VL是首个开源的448分辨率的LVLM模型。更高分辨率可以提升细粒度的文字识别、文档问答和检测框标注。天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；前面也写过一篇智谱AI的视觉大模型（
vLLM CPU和GPU模式署和推理 Qwen2 等大语言模型详细教程
老牛啊
08-11 3959
vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示……
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-降本增效（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-15 2万+
将Qwen2.5模型与vLLM框架进行有效整合，通过离线推理为实际项目带来更大的价值。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-使用Lora权重（三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-24 3642
使用vLLM框架集成Lora权重，以实现高效的推理过程。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-结构化输出（五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
11-22 1万+
通过结构化输出将模型生成的结果组织为易于解析和处理的数据格式，使得后续的数据处理、分析和集成变得更加高效和灵活，便于开发者和应用程序自动提取关键信息，实现更复杂的功能和交互。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-07 2万+
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出
Xinference+vllm启动qwen2.5*模型
qq_45383803的博客
10-11 6250
xinference+vllm部署模型
高性能部署实战：vLLM 安装配置 × tokens/s 提升 × 并发测试（适配国产模型）
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
03-30 1970
✅ vLLM 安装配置 + 启动实战✅ Qwen / DeepSeek 模型兼容部署✅ 实测对比吞吐速度与显存✅ 多卡 + Docker 部署优化方案。
Python学习笔记（三）（程序流程控制）
wsys_yysn的博客
04-24 1113
条件语句：通过实现分支逻辑。循环语句for遍历序列，while满足条件时循环。流程控制break终止循环，continue跳过当前迭代，pass占位。异常处理保证程序健壮性。掌握这些流程控制工具，可以编写更灵活、高效的 Python 程序！
用Java模拟打字：深入解析 java.awt.Robot 的键盘控制艺术
码觉客的博客
04-28 1032
通过，我们可以实现强大的键盘自动化功能。对于简单的字符（英文字母、数字、基础标点等），可以通过模拟单个按键的按下和释放（可能需要配合 Shift 等修饰键）来实现，这需要建立字符到键码的映射并注意按键时序和延迟。对于复杂字符、中文或长文本，由于Robot不理解输入法逻辑，最可靠和常用的方法是将文本复制到系统剪贴板，然后模拟按下系统的粘贴快捷键。无论使用哪种方法，理解Robot的工作原理（模拟物理按键），处理好窗口焦点，并加入适当的延迟，是确保模拟输入成功的关键。虽然Robot。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2659
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
京东商品详情API数据爬取难度分析与解决方案
最新发布
Asher18870278351的博客
04-28 674
京东商品数据爬取是一项技术要求高、维护成本大的工程，需要综合运用网络爬虫、密码学分析和分布式系统等多领域知识。成功的爬虫系统需要在技术实现、资源投入和合规边界之间找到平衡点。随着电商平台安全技术的不断升级，爬取方也需要持续迭代技术手段，同时更应关注数据获取的合法合规性。
基于亚马逊云科技搭建企业问答系统
正在自我救赎的菜鸟。本人所有内容均不收费，可随意转发，复制
04-27 984
在当今信息密集的企业环境中，如何快速、安全地构建专属知识库成为提升效率的关键。本教程将手把手教你如何从零开始，借助 Amazon Bedrock 控制台与 DeepSeek 大语言模型，将企业内部文档转化为可交互的问答系统（RAG 架构）。无需任何编程经验，只需按照步骤操作，即可轻松完成搭建与体验。
vllm部署qwen2.5-vl
03-08
### 使用 VLLM 部署 Qwen2.5-VL 模型 #### 准备环境 为了顺利部署Qwen2.5-VL-7B-Instruct模型，需先安装并配置好Python开发环境以及必要的依赖库。确保已安装最新版本的`vllm`包[^2]。 ```bash pip install --...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值