【深度学习】Qwen2-VL API速度测试与部署

最新推荐文章于 2025-04-10 17:45:05 发布
最新推荐文章于 2025-04-10 17:45:05 发布
阅读量848 收藏 1
点赞数
分类专栏： 深度学习机器学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x1131230123/article/details/142867752
版权

在我最近的博客中，我深入探讨了如何使用 Qwen2-VL 模型来优化图像处理的显存占用和 API 服务的配置。这篇文章针对想要高效利用 vllm 的开发者提供了实用的指南，包括如何启动 Docker 镜像、安装必要的依赖，以及如何配置 max_pixels 参数以平衡性能与计算资源消耗。

我详细介绍了使用 Docker 启动 Qwen2-VL 的步骤，分享了相关的代码示例，并讨论了显存占用问题。通过实际测试，我还展示了不同配置下的平均执行时间和显存占用情况，帮助读者了解如何优化其模型的性能。

如果你对如何配置和使用 Qwen2-VL 模型感兴趣，或者希望提升图像处理的效率，欢迎查看我的完整博客，获取更多细节和代码示例：

https://www.dong-blog.fun/post/1741

开源模型应用落地-模型量化-Qwen1.5-7B-Chat-GPTQ-Int8（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-17 1万+
理解GPTQ模型量化技术，以低成本体验大语言模型的魅力
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
Docker部署Qwen2-vl-7b模型-vLLM
weixin_43939768的博客
11-01 1678
几秒钟后容器报错了，cuda out of memory,发现gpu占满了，但是只占用了一块，我明明指定了all，为啥只占用gpu0，而且测试发现如果如果指定–gpus ‘”device=1”’ 也可以运行在gpu1上 ，但是无论是指定all 还是0，1，都会只运行在gpu0上。这里的add后的模型路径一开始和dockefile文件路径不一致，docker build -t vllm_qwen2vl_7b:1.0 -f Dockerfile .一直报错。今天又是收货满满的一天！于是加上了，可以正常运行了。
社区版Dify 基于vLLM部署Qwen2.5-VL系列视觉大模型与推理加速策略
最新发布
weixin_44119512的博客
04-10 2343
Dify+vLLM+Qwen2.5-VL快速推理，实现Image/video Caption，视觉大模型聊天。
Vllm进行Qwen2-vl部署（包含单卡多卡部署及爬虫请求）
sherlockMa的博客
11-01 1万+
使用vLLM部署Qwen2-VL，包含单卡部署、多卡部署、爬虫requests发送请求
Qwen2-VL环境搭建&推理测试
zzq1989_的专栏
09-18 3284
与上一代模型 Qwen-VL 不同，Qwen2-VL 可以处理任意分辨率的图像，而无需将其分割成块，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。通过将 original rotary embedding 分解为代表时间和空间（高度和宽度）信息的三个部分，M-ROPE 使 LLM 能够同时捕获和集成 1D 文本、2D 视觉和 3D 视频位置信息。），这么小的模型，显然我的机器是跑的起来的，OK，那就让我们开始吧。
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1421
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
qwen2-vl的部署以及qwen-agent的使用
weixin_43901992的博客
10-22 2549
qwen2-vl部署实战以及qwen-agent的使用
sglang 部署Qwen2VL7B，大模型部署，速度测试，深度学习
q742971636的博客
11-18 2724
图来源：https://lmsys.org/blog/2024-09-04-sglang-v0-3/纯transformer，不用加速框架，我之前的测了一张图的速度是：5.22 seconds，很慢。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-Tools助力（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-17 2万+
使用docker集成vllm实现模型推理加速，并使用Tools（工具）增强模型的能力和准确性
如何 使用vllm部署Qwen2VL API， Qwen2VL 的速度测试
q742971636的博客
10-18 533
使用 vllm 部署 Qwen2VL API》是一篇内容丰富、结构清晰的技术博客，适合希望掌握AI模型部署与优化的技术人员阅读。通过这篇文章，您将全面了解vllm工具的使用方法，掌握Docker化部署的技巧，并学会如何通过参数优化提升模型性能。如果您对AI模型的高效部署感兴趣，欢迎访问目标博客，获取更多详细信息和实用指南。目标博客文章的访问链接：[使用 vllm 部署 Qwen2VL API]
【多模态大模型】Qwen2-VL基本原理和推理部署实战
weixin_43799388的博客
09-21 1万+
具体实现代码地址：https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_vl/modeling_qwen2_vl.py。具体实现代码地址：https://github.com/QwenLM/Qwen2-VL/blob/main/qwen-vl-utils/src/qwen_vl_utils/vision_process.py。Qwen2 VL的一个关键架构改进是引入了原生动态分辨率支持。
Qwen2-VL部署pydantic.errors.PydanticSchemaGenerationError: Unable to generate pydantic-core schema for
blink182007的博客
09-12 3386
pydantic.errors.PydanticSchemaGenerationError: Unable to generate pydantic-core schema for . Set `arbitrary_types_allowed=True` in the model_config to ignore this error or implement `__get_pydantic_core_schema__` on your
Qwen2-VL-7B本地部署和微调
qq_55334382的博客
09-11 1万+
Qwen2-VL-7B 是阿里巴巴开发的一款多模态大语言模型，属于Qwen2-VL系列的一部分。该模型能够处理文本、图像、多张图像和视频输入，尤其擅长视觉-语言任务，如文档理解、视频问答和复杂的多语言任务。它在多个视觉理解基准测试中表现出色，包括DocVQA和MTVQA。Qwen2-VL-7B 拥有约70亿参数，支持多种语言，包括中文、英文、日语、韩语、阿拉伯语等。这使得它适用于跨语言场景，尤其在文档、图片和视频的多模态理解方面具有领先的表现。
搭建 Qwen2-VL 接口
weixin_44929001的博客
02-08 1556
Qwen2-VL 是一个多模态大模型，支持视觉和语言的理解与生成任务。它结合了视觉（Vision）和语言（Language）的能力，能够处理图像和文本的联合输入，并生成高质量的文本输出
MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL
wshzd的博客
09-05 5223
从六个关键维度评估模型的视觉能力：复杂的大学水平问题解决、数学能力、文档和表格理解、多语言文本图像理解、一般场景问答、视频理解和基于代理的交互。此功能为更直观和身临其境的交互铺平了道路，Qwen2-VL 不仅充当观察者，而且是我们视觉体验的积极参与者。此外，更小的 2B 模型针对潜在的移动部署进行了优化。Qwen2-VL 现在拥有改进的对象识别功能，超越了植物和地标，可以理解场景中多个对象之间的复杂关系。在 7B 模型上，保留了对图像、多图像和视频输入的支持，以更具成本效益的模型大小提供有竞争力的性能。
内网环境使用Docker部署Qwen2模型-vLLM篇
u012374012的专栏
09-09 5418
在此之前，我们已成功利用Docker与Ollama框架，在内网环境中部署了Qwen2模型。下面我们再来看一下使用Docker与vLLM框架部署Qwen2模型。
内网环境使用Docker部署Qwen2模型
weixin_44455388的博客
06-21 3180
在我参与的一个国企项目中，我们基于大语言模型开发了一些应用，但是甲方公司所有的资源环境都是纯内网。更为有趣的是，甲方公司已自主搭建并运行着一套百度机器学习平台（BML），客户要求所有的大模型部署必须依托于现有的BML平台进行，而非独立构建全新的基础设施，资源申请也相当严苛。面对这一系列限定条件，我们只能试着利用Docker容器技术进行大语言模型的部署。
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 5041
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
Qwen2-VL-7B 本地化部署
03-08
### Qwen2-VL-7B 模型本地化部署方法 对于希望在本地环境中运行Qwen2-VL-7B模型的开发者而言，可以遵循一系列特定步骤来完成这一目标。首先，确保安装了必要的依赖库和环境配置工具[^1]。 #### 下载模型文件 为了获取Qwen2-VL-7B模型，在终端执行命令`modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2__5-VL-7B-Instruct`能够下载该模型到指定目录下[^2]。 #### 配置运行环境 成功下载之后，需创建适合于大型语言模型推理的服务框架。这通常涉及到设置Python虚拟环境以及安装额外的支持包，比如PyTorch或其他深度学习框架版本匹配当前硬件条件下的最优选项。 #### 加载并测试模型 加载已保存至本地磁盘上的预训练权重，并通过简单的API接口实现基本功能验证是非常重要的一步。此过程不仅确认了整个流程无误，同时也为进一步开发提供了基础架构支持。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("./Qwen2_5-VL-7B-Instruct") model = AutoModelForCausalLM.from_pretrained("./Qwen2_5-VL-7B-Instruct") input_text = "你好" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` #### 性能优化建议 针对不同应用场景可能存在的性能瓶颈问题，考虑采用混合精度计算、分布式训练或者量化技术等方式提高效率；同时也可以探索利用GPU加速卡等专用设备提升处理速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值