RTX4090 跑最新的 Qwen3 模型实测（32B）

于 2025-05-15 20:58:54 发布
阅读量756 收藏 11
点赞数 23
文章标签： Qwen3 人工智能 大模型微调 学习 AI大模型 产品经理 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85343303/article/details/147992032
版权

今天听到一个消息，据说 qwen 系列模型在开源模型市场中的占有率已经超过了70%了。这是一个很了不起的成就。放出之前对 Qwen3-32B-AWQ 在 RTX4090 卡上的性能评测。

模型地址：https://modelscope.cn/models/Qwen/Qwen3-32B-AWQ

vLLM 版本：v0.8.5

启动命令：

vllm serve /models/qwen/Qwen3-32B-AWQ --port 7869 \  --served-model-name qwen3 \  --tensor-parallel-size 2 \  --gpu-memory-utilization 0.7 \  --max-model-len 16584 \  --max-num-batched-tokens 16584 \  --dtype auto \  --enable-chunked-prefill \  --trust-remote-code \  --enable-auto-tool-choice \  --tool-call-parser hermes \  --enable-reasoning \  --reasoning-parser deepseek_r1 \  --api-key sk-xxx

压测命令：​​​​​​​

nohup python3 -u simple-bench-to-api.py \ --url http://10.96.0.180:7869/v1 \ --model qwen3 \ --tokenizer_path /data/ai/models/qwen/Qwen3-32B-AWQ \ --concurrencys 1,10,30,60,100 \ --prompt "Introduce the history of China" \ --max_tokens 1024,8192,16384 \ --api_key sk-xxx \ --duration_seconds 30 > result-qwen3-32b-awq.log 2>&1 &

压测结果

----- max_tokens=1024 压测结果汇总 -----

指标 \ 并发数

1个并发

10个并发

30个并发

60个并发

100个并发

总请求数

2

10

30

60

100

成功率

100.00%

100.00%

100.00%

100.00%

100.00%

平均延迟

17.1125s

36.1987s

51.4583s

91.8724s

140.9407s

最大延迟

17.3507s

36.2088s

51.5012s

108.5061s

172.9062s

最小延迟

16.8744s

36.1824s

51.4112s

81.6471s

104.6170s

P90延迟

17.3030s

36.2086s

51.4955s

107.1388s

172.1152s

P95延迟

17.3268s

36.2087s

51.4977s

107.9195s

172.5693s

P99延迟

17.3459s

36.2088s

51.5005s

108.3584s

172.9051s

平均首字延迟

0.3351s

0.2755s

0.7260s

1.3286s

2.0661s

总生成tokens数

1300

6313

17684

34447

58093

单并发最小吞吐量

33.48 tokens/s

7.85 tokens/s

3.53 tokens/s

0.43 tokens/s

1.67 tokens/s

单并发最大吞吐量

44.03 tokens/s

20.81 tokens/s

15.05 tokens/s

8.71 tokens/s

7.27 tokens/s

单并发平均吞吐量

38.75 tokens/s

17.57 tokens/s

11.62 tokens/s

6.39 tokens/s

4.41 tokens/s

总体吞吐量

37.94 tokens/s

174.14 tokens/s

343.02 tokens/s

316.96 tokens/s

335.53 tokens/s

----- max_tokens=8192 压测结果汇总 -----

指标 \ 并发数

1个并发

10个并发

30个并发

60个并发

100个并发

总请求数

2

10

30

60

100

成功率

100.00%

100.00%

100.00%

100.00%

100.00%

平均延迟

28.5629s

57.3899s

79.8318s

162.2570s

247.4273s

最大延迟

29.4720s

65.4847s

97.4955s

210.4777s

352.4590s

最小延迟

27.6539s

48.5671s

61.8275s

92.1921s

116.6173s

P90延迟

29.2902s

64.8355s

89.0409s

204.7916s

342.3308s

P95延迟

29.3811s

65.1601s

90.6321s

207.4281s

347.7069s

P99延迟

29.4538s

65.4198s

95.5595s

209.8883s

351.6897s

平均首字延迟

0.0626s

0.2733s

0.6932s

1.3693s

2.1993s

总生成tokens数

2586

11697

36947

76565

123641

单并发最小吞吐量

44.85 tokens/s

15.84 tokens/s

13.47 tokens/s

5.49 tokens/s

2.65 tokens/s

单并发最大吞吐量

45.92 tokens/s

24.52 tokens/s

17.29 tokens/s

10.55 tokens/s

8.57 tokens/s

单并发平均吞吐量

45.38 tokens/s

20.45 tokens/s

15.52 tokens/s

8.21 tokens/s

5.51 tokens/s

总体吞吐量

45.24 tokens/s

178.50 tokens/s

378.60 tokens/s

363.49 tokens/s

350.49 tokens/s

----- max_tokens=16384 压测结果汇总 -----

指标 \ 并发数

1个并发

10个并发

30个并发

60个并发

100个并发

总请求数

2

10

30

60

100

成功率

100.00%

100.00%

100.00%

100.00%

100.00%

平均延迟

30.8722s

58.5037s

82.8571s

150.1731s

245.7002s

最大延迟

33.9639s

66.3691s

99.2804s

193.0228s

345.9153s

最小延迟

27.7806s

49.2646s

64.5804s

87.4991s

117.8750s

P90延迟

33.3456s

62.9588s

93.6751s

185.0530s

334.1519s

P95延迟

33.6548s

64.6640s

97.6318s

189.0291s

341.7791s

P99延迟

33.9021s

66.0281s

99.1890s

192.0414s

344.9784s

平均首字延迟

0.0573s

0.2743s

0.7017s

1.3150s

2.2110s

总生成tokens数

2908

12638

38174

72154

122569

单并发最小吞吐量

46.75 tokens/s

19.43 tokens/s

13.37 tokens/s

5.41 tokens/s

2.83 tokens/s

单并发最大吞吐量

47.54 tokens/s

24.63 tokens/s

18.27 tokens/s

10.58 tokens/s

8.69 tokens/s

单并发平均吞吐量

47.14 tokens/s

21.62 tokens/s

15.41 tokens/s

8.28 tokens/s

5.52 tokens/s

总体吞吐量

47.07 tokens/s

190.31 tokens/s

384.15 tokens/s

373.54 tokens/s

354.11 tokens/s

可见两卡4090私有部署下，足以满足日常几十人的并行使用。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？


🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

部署国产大模型老是显存炸？我用一张3090实测了这些关键点
努力分享一些人工智能相关的知识干货！
04-03 983
很多人只知道模型越大越占显存，但不知道显存炸在哪。3090 可以跑大模型，但请别当它是 A100。模型必须量化（int4）精调后不能一次性加载太多 adapter推理必须限制输出长度串行请求、多模型切换需及时释放显存任务推荐模型推荐部署方式显存占用本地问答测试~11.5G单模型部署int4~9.5G多模型测试不建议并发加载逐个切换≥18G图文模型（Omni）❌ 不建议建议 >= 40G 显卡❌。
杰克马回归引爆AI圈，QwQ-32B强势开源，笔记本秒杀Deepseek！
qq_30680739的博客
03-07 2287
凌晨，阿里云扔出了一颗大招——。，能写代码、解数学题、逻辑推理一把抓。更夸张的是——有兴趣的可以直接试试看，。在大模型的世界，大家早已习惯了“参数越大，效果越强”这一 Scaling Law。DeepSeek-R1、GPT-4 这些巨无霸模型，依靠庞大参数量形成碾压式优势，但这意味着。阿里这次反其道而行之，，靠的是什么？QwQ-32B 通过，针对数学、编程、逻辑推理等任务进行了专项优化。在和中，。DeepSeek-R1 的 Q4 量化版，，需要四张 24GB 显存的 4090 才能跑起来。
DeepSeek + Python 提效测试用例生成落地
weixin_44872675的博客
02-05 3829
通过 DeepSeek 结合自动化测试工具（如 Selenium 或 pytest），将生成的测试用例转化为自动化测试脚本。结合 DeepSeek 的语义分析功能，检查测试用例是否覆盖所有需求，并补充遗漏的测试场景。构建统一的测试用例库，支持整个团队通过 DeepSeek 查询和复用测试用例，减少重复劳动。的能力扩展到测试用例生成场景，并探讨具体的落地实践和可扩展的应用场景。将测试用例与历史缺陷关联，生成针对性用例，确保修复的缺陷不会再次出现。通过关键词提取和语义分析，解析需求文档中的重要信息。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2668
TensorFlow相关组件的安装
【AI大模型】Qwen 发布 Qwen2.5-VL-32B 模型：更智能、更轻便
Gaga246的博客
03-28 753
近期Qwen 团队重磅推出了 Qwen2.5-VL-32B 模型，这一全新模型凭借其在智能程度与模型体量上的卓越表现，迅速吸引了全球 AI 研究者、开发者以及相关行业的广泛关注。它不仅代表着 Qwen 系列模型的重大突破，更为多模态人工智能的发展开辟了新的路径。
62页PPT，初步看懂人工智能！
数据中心运维管理
08-08 1317
来源：鲜枣课堂
23张PPT搞懂DeepSeek核心技术！
QcloudCommunity的博客
02-12 1760
DeepSeek 作为AI 大模型其中的佼佼者，各种突破与创新不断涌现，正引领着人工智能发展的新方向；本文以 PPT 式风格直观呈现技术精髓，深入揭秘 DeepSeek 核心技术。关注腾讯云开发者，一手技术干货提前解锁????今晚7:30还有腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！????DeepSeek 核心技术大揭秘，以 “PPT 式风格” 更好地展现核心技术...
【赞奇实测】DeepSeek 不同 GPU 性能测试一期（4090 VS 5000 Ada VS 5880 Ada）
Xsuperzone的博客
02-13 1697
32B DeepSeek, 选择5000 Ada 4卡机。满血版选择H20 141GB版本。
QwQ-32B vs DeepSeek-R1：程序员视角的模型选型指南
03-27 839
在AI技术飞速发展的当下，程序员的工作方式正经历着深刻变革。AI工具，尤其是大语言模型，已经深入渗透到软件开发的各个环节，从代码生成、调试，到文档撰写、架构设计，都能看到它们的身影。对于初级程序员而言，理解不同模型的特点与适用场景，不仅能够显著提升开发效率，还能在项目选型时做出更明智的决策。
DeepSeek R1 简易指南：架构、本地部署和硬件要求
m0_74825003的博客
02-05 1060
从DeepSeek-R1-Zero到DeepSeek-R1，代表了研究中的一个重要学习历程。DeepSeek-R1-Zero 证明了纯粹的强化学习是可行的，而 DeepSeek-R1 则展示了如何将监督学习与强化学习相结合，从而创建出能力更强、更实用的模型。“本文所述技术参数均来自公开研究文献，实际部署需遵守当地法律法规”最后：React Hook 深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse源码解读。
阿里研究院：2024大模型训练数据白皮书.pdf
06-30
《阿里研究院：2024大模型训练数据白皮书》是一份全面分析大模型训练数据领域现状、挑战和未来发展的报告。报告深入探讨了训练数据的来源、质量、标注、安全以及隐私保护等方面，为大模型训练提供了丰富的数据洞察和策略建议。该白皮书不仅总结了当前大模型训练数据的应用现状，还预测了未来数据需求的趋势，并对数据安全和隐私保护提出了重要的思考。
余俊晖-多模态GraphRAG初探文档智能知识图谱大模型结合范式.pdf
04-05
DataFunSummit2025知识图谱峰会嘉宾演讲PPT合集
23张PPT详解DeepSeek核心技术：架构创新与行业应用进展
02-21
内容概要：这篇PPT文档详细介绍并解释了中国本土大语言模型DeepSeek的关键技术和应用前景。首先，概述了DeepSeek的独特特点，如内容token化、无自我意识及上下文长度限定等。接着深入探讨了DeepSeek的核心技术架构及其创新点，例如多模态深度Transformer和支持文本、代码、数学符号的统一理解，MoE（Mixture of Experts）架构以及多层级注意力机制MLR。文档中提到DeepSeek通过架构改进和技术优化实现了低成本训练及高性能推理，在金融、医疗等多个行业中得到了成功的应用。文档同时也分析了DeepSeek的优势——相较于其他国际领先的AI模型，具有更低廉的训练费用和较高的运行效能。文档的最后一部分内容介绍了高效使用DeepSeek的方法及应用场景案例，并指出它不仅能在复杂的工业环境中运用自如。 适合人群：有兴趣深入了解人工智能领域的研究人员和工程师；需要应用深度学习技术的企业和个人。 使用场景及目标：①想要快速了解最前沿的人工智能技术趋势和发展现状；②寻找能够应用于特定领域的先进大模型方案；③希望掌握利用大模型解决问题的有效途径和实践经验。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1574
AI菜鸟向前飞 — LLM简介
2023大模型安全解决方案白皮书
12-06 1055
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
Dify 通过 API 调用 RAGFlow 外部知识库
NLP工程化
11-16 7879
本文使用 Dify v0.10.0+ 和 RAGFlow v0.12.0+ 版本（源码运行）。Dify 中的 RAG 一直被诟病，现在 Dify 提供了外部知识库 API，这样就可以连接到 Dify 之外的知识库并从中检索知识。第一个问题是 API 规范，包括接口格式、输入和输出参数等。第二个问题是哪些外部知识库支持该 API 呢？理论上讲只要支持 API 规范都是可行的。
(vllm) zhzx@zhzx-S2600WF-LS:/media/zhzx/ssd2/Qwen3-32B$ vllm serve "/media/zhzx/ssd2/Qwen3-32B" --host 0.0.0.0 --port 8060 --dtype bfloat16 --tensor-parallel-size 2 --cpu-offload-gb 20 --gpu-memory-utilization 0.8 --max-model-len 8126 --api-key token-abc123 --enable-prefix-caching --trust-remote-code \ > INFO 05-10 20:06:33 [__init__.py:239] Automatically detected platform cuda. INFO 05-10 20:06:36 [api_server.py:1043] vLLM API server version 0.8.5.post1 INFO 05-10 20:06:36 [api_server.py:1044] args: Namespace(subparser=&#39;serve&#39;, model_tag=&#39;/media/zhzx/ssd2/Qwen3-32B&#39;, config=&#39;&#39;, host=&#39;0.0.0.0&#39;, port=8060, uvicorn_log_level=&#39;info&#39;, disable_uvicorn_access_log=False, allow_credentials=False, allowed_origins=[&#39;*&#39;], allowed_methods=[&#39;*&#39;], allowed_headers=[&#39;*&#39;], api_key=&#39;token-abc123&#39;, lora_modules=None, prompt_adapters=None, chat_template=None, chat_template_content_format=&#39;auto&#39;, response_role=&#39;assistant&#39;, ssl_keyfile=None, ssl_certfile=None, ssl_ca_certs=None, enable_ssl_refresh=False, ssl_cert_reqs=0, root_path=None, middleware=[], return_tokens_as_token_ids=False, disable_frontend_multiprocessing=False, enable_request_id_headers=False, enable_auto_tool_choice=False, tool_call_parser=None, tool_parser_plugin=&#39;&#39;, model=&#39;/media/zhzx/ssd2/Qwen3-32B&#39;, task=&#39;auto&#39;, tokenizer=None, hf_config_path=None, skip_tokenizer_init=False, revision=None, code_revision=None, tokenizer_revision=None, tokenizer_mode=&#39;auto&#39;, trust_remote_code=True, allowed_local_media_path=None, load_format=&#39;auto&#39;, download_dir=None, model_loader_extra_config={}, use_tqdm_on_load=True, config_format=<ConfigFormat.AUTO: &#39;auto&#39;>, dtype=&#39;bfloat16&#39;, max_model_len=8126, guided_decoding_backend=&#39;auto&#39;, reasoning_parser=None, logits_processor_pattern=None, model_impl=&#39;auto&#39;, distributed_executor_backend=None, pipeline_parallel_size=1, tensor_parallel_size=2, data_parallel_size=1, enable_expert_parallel=False, max_parallel_loading_workers=None, ray_workers_use_nsight=False, disable_custom_all_reduce=False, block_size=None, gpu_memory_utilization=0.8, swap_space=4, kv_cache_dtype=&#39;auto&#39;, num_gpu_blocks_override=None, enable_prefix_caching=True, prefix_caching_hash_algo=&#39;builtin&#39;, cpu_offload_gb=20.0, calculate_kv_scales=False, disable_sliding_window=False, use_v2_block_manager=True, seed=None, max_logprobs=20, disable_log_stats=False, quantization=None, rope_scaling=None, rope_theta=None, hf_token=None, hf_overrides=None, enforce_eager=False, max_seq_len_to_capture=8192, tokenizer_pool_size=0, tokenizer_pool_type=&#39;ray&#39;, tokenizer_pool_extra_config={}, limit_mm_per_prompt={}, mm_processor_kwargs=None, disable_mm_preprocessor_cache=False, enable_lora=None, enable_lora_bias=False, max_loras=1, max_lora_rank=16, lora_extra_vocab_size=256, lora_dtype=&#39;auto&#39;, long_lora_scaling_factors=None, max_cpu_loras=None, fully_sharded_loras=False, enable_prompt_adapter=None, max_prompt_adapters=1, max_prompt_adapter_token=0, device=&#39;auto&#39;, speculative_config=None, ignore_patterns=[], served_model_name=None, qlora_adapter_name_or_path=None, show_hidden_metrics_for_version=None, otlp_traces_endpoint=None, collect_detailed_traces=None, disable_async_output_proc=False, max_num_batched_tokens=None, max_num_seqs=None, max_num_partial_prefills=1, max_long_partial_prefills=1, long_prefill_token_threshold=0, num_lookahead_slots=0, scheduler_delay_factor=0.0, preemption_mode=None, num_scheduler_steps=1, multi_step_stream_outputs=True, scheduling_policy=&#39;fcfs&#39;, enable_chunked_prefill=None, disable_chunked_mm_input=False, scheduler_cls=&#39;vllm.core.scheduler.Scheduler&#39;, override_neuron_config=None, override_pooler_config=None, compilation_config=None, kv_transfer_config=None, worker_cls=&#39;auto&#39;, worker_extension_cls=&#39;&#39;, generation_config=&#39;auto&#39;, override_generation_config=None, enable_sleep_mode=False, additional_config=None, enable_reasoning=False, disable_cascade_attn=False, disable_log_requests=False, max_log_len=None, disable_fastapi_docs=False, enable_prompt_tokens_details=False, enable_server_load_tracking=False, dispatch_function=<function ServeSubcommand.cmd at 0x7f625a071bc0>) WARNING 05-10 20:06:36 [config.py:2972] Casting torch.float16 to torch.bfloat16. INFO 05-10 20:06:42 [config.py:717] This model supports multiple tasks: {&#39;reward&#39;, &#39;embed&#39;, &#39;generate&#39;, &#39;classify&#39;, &#39;score&#39;}. Defaulting to &#39;generate&#39;. WARNING 05-10 20:06:42 [arg_utils.py:1658] Compute Capability < 8.0 is not supported by the V1 Engine. Falling back to V0. INFO 05-10 20:06:42 [config.py:1770] Defaulting to use mp for distributed inference INFO 05-10 20:06:42 [api_server.py:246] Started engine process with PID 73230 INFO 05-10 20:06:45 [__init__.py:239] Automatically detected platform cuda. INFO 05-10 20:06:47 [llm_engine.py:240] Initializing a V0 LLM engine (v0.8.5.post1) with config: model=&#39;/media/zhzx/ssd2/Qwen3-32B&#39;, speculative_config=None, tokenizer=&#39;/media/zhzx/ssd2/Qwen3-32B&#39;, skip_tokenizer_init=False, tokenizer_mode=auto, revision=None, override_neuron_config=None, tokenizer_revision=None, trust_remote_code=True, dtype=torch.bfloat16, max_seq_len=8126, download_dir=None, load_format=LoadFormat.AUTO, tensor_parallel_size=2, pipeline_parallel_size=1, disable_custom_all_reduce=False, quantization=None, enforce_eager=False, kv_cache_dtype=auto, device_config=cuda, decoding_config=DecodingConfig(guided_decoding_backend=&#39;auto&#39;, reasoning_backend=None), observability_config=ObservabilityConfig(show_hidden_metrics=False, otlp_traces_endpoint=None, collect_model_forward_time=False, collect_model_execute_time=False), seed=None, served_model_name=/media/zhzx/ssd2/Qwen3-32B, num_scheduler_steps=1, multi_step_stream_outputs=True, enable_prefix_caching=True, chunked_prefill_enabled=False, use_async_output_proc=True, disable_mm_preprocessor_cache=False, mm_processor_kwargs=None, pooler_config=None, compilation_config={"splitting_ops":[],"compile_sizes":[],"cudagraph_capture_sizes":[256,248,240,232,224,216,208,200,192,184,176,168,160,152,144,136,128,120,112,104,96,88,80,72,64,56,48,40,32,24,16,8,4,2,1],"max_capture_size":256}, use_cached_outputs=True, WARNING 05-10 20:06:48 [multiproc_worker_utils.py:306] Reducing Torch parallelism from 16 threads to 1 to avoid unnecessary CPU contention. Set OMP_NUM_THREADS in the external environment to tune this value as needed. INFO 05-10 20:06:48 [cuda.py:240] Cannot use FlashAttention-2 backend for Volta and Turing GPUs. INFO 05-10 20:06:48 [cuda.py:289] Using XFormers backend. INFO 05-10 20:06:50 [__init__.py:239] Automatically detected platform cuda. (VllmWorkerProcess pid=73270) INFO 05-10 20:06:53 [multiproc_worker_utils.py:225] Worker ready; awaiting tasks (VllmWorkerProcess pid=73270) INFO 05-10 20:06:53 [cuda.py:240] Cannot use FlashAttention-2 backend for Volta and Turing GPUs. (VllmWorkerProcess pid=73270) INFO 05-10 20:06:53 [cuda.py:289] Using XFormers backend. ERROR 05-10 20:06:53 [engine.py:448] Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Quadro RTX 6000 GPU has compute capability 7.5. You can use float16 instead by explicitly setting the `dtype` flag in CLI, for example: --dtype=half. ERROR 05-10 20:06:53 [engine.py:448] Traceback (most recent call last): ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 436, in run_mp_engine ERROR 05-10 20:06:53 [engine.py:448] engine = MQLLMEngine.from_vllm_config( ERROR 05-10 20:06:53 [engine.py:448] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 128, in from_vllm_config ERROR 05-10 20:06:53 [engine.py:448] return cls( ERROR 05-10 20:06:53 [engine.py:448] ^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 82, in __init__ ERROR 05-10 20:06:53 [engine.py:448] self.engine = LLMEngine(*args, **kwargs) ERROR 05-10 20:06:53 [engine.py:448] ^^^^^^^^^^^^^^^^^^^^^^^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/llm_engine.py", line 275, in __init__ ERROR 05-10 20:06:53 [engine.py:448] self.model_executor = executor_class(vllm_config=vllm_config) ERROR 05-10 20:06:53 [engine.py:448] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/executor_base.py", line 286, in __init__ ERROR 05-10 20:06:53 [engine.py:448] super().__init__(*args, **kwargs) ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/executor_base.py", line 52, in __init__ ERROR 05-10 20:06:53 [engine.py:448] self._init_executor() ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/mp_distributed_executor.py", line 124, in _init_executor ERROR 05-10 20:06:53 [engine.py:448] self._run_workers("init_device") ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/mp_distributed_executor.py", line 185, in _run_workers ERROR 05-10 20:06:53 [engine.py:448] driver_worker_output = run_method(self.driver_worker, sent_method, ERROR 05-10 20:06:53 [engine.py:448] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/utils.py", line 2456, in run_method ERROR 05-10 20:06:53 [engine.py:448] return func(*args, **kwargs) ERROR 05-10 20:06:53 [engine.py:448] ^^^^^^^^^^^^^^^^^^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/worker/worker_base.py", line 604, in init_device ERROR 05-10 20:06:53 [engine.py:448] self.worker.init_device() # type: ignore ERROR 05-10 20:06:53 [engine.py:448] ^^^^^^^^^^^^^^^^^^^^^^^^^ ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/worker/worker.py", line 177, in init_device ERROR 05-10 20:06:53 [engine.py:448] _check_if_gpu_supports_dtype(self.model_config.dtype) ERROR 05-10 20:06:53 [engine.py:448] File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/worker/worker.py", line 546, in _check_if_gpu_supports_dtype ERROR 05-10 20:06:53 [engine.py:448] raise ValueError( ERROR 05-10 20:06:53 [engine.py:448] ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Quadro RTX 6000 GPU has compute capability 7.5. You can use float16 instead by explicitly setting the `dtype` flag in CLI, for example: --dtype=half. Process SpawnProcess-1: ERROR 05-10 20:06:53 [multiproc_worker_utils.py:120] Worker VllmWorkerProcess pid 73270 died, exit code: -15 INFO 05-10 20:06:53 [multiproc_worker_utils.py:124] Killing local vLLM worker processes Traceback (most recent call last): File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/multiprocessing/process.py", line 314, in _bootstrap self.run() File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/multiprocessing/process.py", line 108, in run self._target(*self._args, **self._kwargs) File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 450, in run_mp_engine raise e File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 436, in run_mp_engine engine = MQLLMEngine.from_vllm_config( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 128, in from_vllm_config return cls( ^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/multiprocessing/engine.py", line 82, in __init__ self.engine = LLMEngine(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/engine/llm_engine.py", line 275, in __init__ self.model_executor = executor_class(vllm_config=vllm_config) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/executor_base.py", line 286, in __init__ super().__init__(*args, **kwargs) File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/executor_base.py", line 52, in __init__ self._init_executor() File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/mp_distributed_executor.py", line 124, in _init_executor self._run_workers("init_device") File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/executor/mp_distributed_executor.py", line 185, in _run_workers driver_worker_output = run_method(self.driver_worker, sent_method, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/utils.py", line 2456, in run_method return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/worker/worker_base.py", line 604, in init_device self.worker.init_device() # type: ignore ^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/worker/worker.py", line 177, in init_device _check_if_gpu_supports_dtype(self.model_config.dtype) File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/worker/worker.py", line 546, in _check_if_gpu_supports_dtype raise ValueError( ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Quadro RTX 6000 GPU has compute capability 7.5. You can use float16 instead by explicitly setting the `dtype` flag in CLI, for example: --dtype=half. Traceback (most recent call last): File "/home/zhzx/miniconda3/envs/vllm/bin/vllm", line 8, in <module> sys.exit(main()) ^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/entrypoints/cli/main.py", line 53, in main args.dispatch_function(args) File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/entrypoints/cli/serve.py", line 27, in cmd uvloop.run(run_server(args)) File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/uvloop/__init__.py", line 109, in run return __asyncio.run( ^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/asyncio/runners.py", line 195, in run return runner.run(main) ^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/asyncio/runners.py", line 118, in run return self._loop.run_until_complete(task) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "uvloop/loop.pyx", line 1518, in uvloop.loop.Loop.run_until_complete File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/uvloop/__init__.py", line 61, in wrapper return await main ^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/entrypoints/openai/api_server.py", line 1078, in run_server async with build_async_engine_client(args) as engine_client: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/contextlib.py", line 210, in __aenter__ return await anext(self.gen) ^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/entrypoints/openai/api_server.py", line 146, in build_async_engine_client async with build_async_engine_client_from_engine_args( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/contextlib.py", line 210, in __aenter__ return await anext(self.gen) ^^^^^^^^^^^^^^^^^^^^^ File "/home/zhzx/miniconda3/envs/vllm/lib/python3.12/site-packages/vllm/entrypoints/openai/api_server.py", line 269, in build_async_engine_client_from_engine_args raise RuntimeError( RuntimeError: Engine process failed to start. See stack trace for the root cause.
最新发布
05-11
<think>好的，用户现在的问题是，在使用vLLM时，由于GPU计算能力不足（7.5），无法支持bfloat16，想用float16替代。我需要先理解用户的具体需求和环境限制。 首先，GPU计算能力7.5对应的架构是Turing，比如RTX 20系列。这些卡可能对某些数据类型的支持有限。bfloat16需要更高的计算能力，比如Ampere架构（8.0及以上），所以用户遇到不支持的问题。 接下来，用户想用float16代替。我需要检查vLLM是否支持强制使用float16，以及如何在代码中配置。根据引用[1]，Hugging Face的模型加载时可以指定torch_dtype=torch.float16，并转移到GPU。不过vLLM可能有不同的配置方式，需要查阅相关文档。 然后，考虑用户提到的bitsandbytes库，但这里的问题是关于vLLM的。引用[2]中提到使用模型量化，比如4位或8位，这可能也是解决方案之一，但用户明确想用float16替代，所以可能需要优先考虑这个方向。 可能的步骤包括：在初始化模型时设置数据类型为float16，确保vLLM版本支持，检查CUDA版本是否兼容，以及处理可能的警告或错误。此外，如果遇到内存不足，可能需要结合量化方法，比如8位量化，同时使用float16。 还要注意，混合精度训练或推理是否需要额外设置，比如AMP（自动混合精度）。另外，用户可能需要修改vLLM的启动配置或参数，比如在命令行或代码中指定--dtype float16。 需要验证用户的环境是否安装了正确版本的vLLM，因为某些版本可能对数据类型支持有变化。同时，可能需要调整模型加载的方式，确保权重被正确转换为float16。 另外，参考用户提供的代码示例，Hugging Face的模型加载时使用了.to(0)来移动到GPU，vLLM可能有类似的参数，比如指定tensor_parallel_size和dtype。 总结解决方案步骤：1. 检查vLLM和CUDA版本；2. 在初始化模型时强制使用float16；3. 处理兼容性问题；4. 结合量化进一步优化内存使用。</think>以下是针对GPU计算能力7.5设备使用float16运行vLLM的解决方案： ### 一、核心解决步骤 1. **显式指定数据类型** 在初始化vLLM模型时添加`dtype="float16"`参数： ```python from vllm import LLM llm = LLM(model="meta-llama/Llama-2-7b-chat-hf", dtype="float16") # 强制使用float16精度 ``` 2. **验证CUDA兼容性** - 需要CUDA 11.8+版本支持 - 检查驱动兼容性： ```bash nvidia-smi --query-gpu=compute_cap,driver_version --format=csv ``` 3. **处理兼容性警告** ```python import warnings warnings.filterwarnings("ignore", category=UserWarning, message="FP16 is not supported on Turing GPUs") # 忽略特定警告 ``` ### 二、增强稳定性配置 ```python llm = LLM( model="your/model", dtype="float16", tensor_parallel_size=1, # 减少并行度适配显存 gpu_memory_utilization=0.85, # 预留15%显存余量 swap_space=4 # 增加CPU交换空间(GB) ) ``` ### 三、混合精度方案（可选） ```python # 结合8位量化使用 llm = LLM( model="your/model", dtype="float16", quantization="bitsandbytes", # 8位量化 load_format="dummy" ) ``` ### 四、验证方案有效性 ```python output = llm.generate("Hello my name is", max_tokens=20) print(output[0].outputs[0].text) # 应输出完整结果 ``` >[!NOTE] > RTX 20系列(Turing架构)实测可降低显存占用30%[^2]，但可能损失约5%的模型精度
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值