用vllm本地部署qwen3满血版

最新推荐文章于 2025-07-15 23:53:42 发布
原创 最新推荐文章于 2025-07-15 23:53:42 发布 · 1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai #开源 #阿里云

用vllm本地部署qwen3满血版

作者建议

我将文档发布到了多个平台，不同的平台阅读体验不同，排版也可能有区别，本人强烈建议直接点击下面的链接查看原始文档，因为下面的链接是原始文档，阅读体验极佳，排版美观，有目录结构，您可以很容易找到您想要阅读的章节。另外，文档一直持续更新，不断完善，内容更加准确且与时俱进。原始文档始终是最新版本的，其它平台中的文档可能已经过时了。

单击查看原始文档：《用vllm本地部署qwen3满血版》

原创不易，如果对您有帮助，还请您一键三连[抱拳]

有任何问题都可以联系作者，文末有作者联系方式，欢迎交流。

以下是正文

qwen3介绍

今天（2025年4月29日）凌晨，阿里发布了最新的开源大模型qwen3系列，详细信息可以查看官方的公告https://mp.weixin.qq.com/s/NrS8SR9_FMq5GW-SJQPn8w

qwen3系列最大的特点是它是混合推理模型，Qwen3 引入了**“思考模式”和“非思考模式”**，使模型能够在不同场景下表现出最佳性能。在思考模式模式下，模型会进行多步推理和深度分析，类似于人类在解决复杂问题时的“深思熟虑”。（eg：在回答数学题或编写复杂代码时，模型会反复验证逻辑并优化输出结果。）

在非思考模式模式下，模型优先追求响应速度和效率，适用于简单任务或实时交互。（eg：在日常对话或快速问答中，模型会跳过复杂的推理步骤，直接给出答案。）

部署

我是在一台高性能服务器上部署的，有8张H20显卡，内存有2TB，4个固态硬盘，每个固态硬盘可用容量为3.5TB

qwen3发布后，我立马就用vllm部署了，而且是部署参数量最大的模型，有2350亿参数。

命令如下：

vllm serve "Qwen/Qwen3-235B-A22B"

下载了半天才下载好，太大了。

ad2e2f97ea20a35483892c5ed511241.png

GPU使用情况

可以看到8张H20显存基本都吃光了

4cd574fe2ad37dddba8c4efc6a6b373.png

验证

用curl命令调用api与qwen3对话

cd5953f05590f45514295a756c6be5d.png

响应速度挺不错的，每秒49.5个tokens

e9616a66c17ea3d3bacaddb6cd4e647.png

也可以用Powershell与大模型对话

image.png

image.png

关注我们，获取更多IT开发运维实用工具与技巧！

github用户名: iamtornado

github个人首页: https://github.com/iamtornado

电子邮箱: 1426693102@qq.com

个人微信：tornadoami（也可以通过下面的二维码加我，之后我将您邀请进入AI技术交流群）

vllm容器部署Qwen2-Audio-7B-Instruct的cuda报错，如何解决？
**My Coding Family**
04-29 1331
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
使用VLLM部署Qwen3大模型的完整指南
engchina的专栏
04-29 4930
使用VLLM部署Qwen3-32B大模型的完整指南
解决Qwen3-Reranker-8B模型无法通过Vllm平台直接部署的方法
邓草的博客
06-20 523
本项目旨在解决Qwen3-Reranker-8B模型无法通过Vllm平台直接部署的问题。自从Qwen3-Reranker系列模型发布以来，迅速在向量模型和重排模型中掀起了使用热潮，但遗憾的是，无法正常使用Vllm部署Qwen3-Reranker-8B模型，截止目前，Vllm官方也没有更新补丁支持，预计官方最快在Vllm v0.9.2中才支持Qwen3-Reranker。作为过渡，于是做了这个版本供大家暂时使用。
VLLM部署Qwen3-4B实现本地HTML交互详细流程
m0_62890769的博客
05-24 609
其中ollama与LM studio配置简单，可在Windows系统上使用，其中ollama仅需要一定命令行基础即可使用，而LM studio更是提供了可视化界面，但这两个框架存在部分推理限制与BUG。解决方法均在评论区）Qwen3是阿里最新开源的大预言模型，性能在目前的开源模型中排名靠前，尤其是4B模型性能突出，本文将详细介绍如何在Linux上部署Qwen3模型，并规避一些可能的问题。安装VLLM，建议安装最新的版本的（如下代码），直接pip install vllm安装的0.85版本存在以下问题。
阿里千问Qwen3技术解析与部署指南 ：混合推理架构突破性优势与对DeepSeek R1的全面超越
朴拙科技的博客
04-29 3628
Qwen3采用混合专家（Mixture-of-Experts，MoE）架构，旗舰模型Qwen3-235B-A22B总参数2350亿，但激活参数仅22B，效率是传统稠密模型的10倍。• 慢思考：对复杂任务（数学推理、代码生成），模型启用多步推理链（Chain of Thought），通过自我事实核查和逻辑推导提升准确性。• 提供8款模型（2款MoE+6款稠密），覆盖0.6B到235B参数规模，支持手机端（4B）、汽车端（8B）及企业级（32B）部署。
【默子评测】Qwen3：最强开源大模型第一手实测
默子的博客，奇奇怪怪
04-30 1478
在 2025 年 4 月 29 日凌晨，阿里正式开源了 通义千问 Qwen3 家族，一举刷新全球开源大模型格局。默子快速上手评测了一下（235B对比30B对比GPT4o），快来看看效果吧
09-Qwen3开源，性能全面碾压deepseek，本地部署实测来了
错位竞争，单点突破。
04-30 1293
对于阿里新开源的模型Qwen3，用相对少的参数获得了更高的性能，将会进一步降低模型的使用成本。这将进一步促进大模型应用的发展。同时，思考和非思考模式合二为一，不管对于使用体验还是部署成本也是一个重大的进步。还有，工具调用支持能力，对于Agent极其重要。虽然在我的测试中存在瑕疵，相信官方版本中会解决这个问题。好了，Qwen3的分享就到这里。今天的Qwen3力压deepseek，同样期待明天deepseek-R2的再次超越。深度探索AI应用。
vLLM 本地部署Qwen大模型
qq_60245590的博客
05-03 654
精度（适配您的 V100 GPU）。：指定服务端口（默认为。
使用 vllm 本地部署 Qwen2
oqzuser12345678999q的博客
06-30 1407
此文章主要介绍使用 使用 vllm 本地部署 Qwen2。使用 vllm 本地部署 Qwen2-14。安装 flash-attention，2. 本地部署 Qwen2-安装 Ray 和 Vllm，2. 本地部署 Qwen2。3. 使用 Qwen2-7。3. 使用 Qwen2。1. 安装 vllm。1. 安装 vllm。
vLLM推理部署Qwen2.5
小森的博客
10-28 6454
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
VLLM本地部署Qwen2-7B-Instruce
weixin_44885180的博客
07-29 1142
使用 vllm 本地部署 Qwen2-7B-Instruct。使用llama调用 python llama。安装 flash-attention，安装 Ray 和 Vllm，
本地部署Qwen2大模型之五：vLLM与大语言模型的关系
F8_11的博客
12-27 1117
经过几天的实践探索，对大语言模型（Qwen2）及其部署工具（vLLM）有了比较清晰的了解，这里做个简单的梳理，以作备忘吧。
基于按键开源MultiButton框架深入理解代码框架(一)（指针的深入理解与应用）
Liu_08290727的博客
07-15 671
注意我们在设计的时候没有把这个数设计的那么大，这是因为我们的连击是有常用的可能的，不可能说能连击255次，因此只需要设计合理的范围就行，这样还能节约空间。这个地方也是一个编程技巧，也就是我们初始化的实际电平一定是有效电平的相反数，不然可能会出现还没有按键，就导致按键检测的是有效的，避免系统出现紊乱。==，那说到这里还记不记得有一个栈顶空间，对的，这个栈顶空间就是给一个上限，因此栈空间的特殊性，是从上到下的，也就是高字节到低字节分配，这是一个枚举变量，在使用枚举变量的时候其实是有一些细节的。
【开源】一款基于 .NET 和 Vue3 开源（Apache）的MES管理系统，您的新一代工厂管理助手！
质量是一次就把事情做对
07-15 6536
摘要： iMES是一款基于.NET Core+Vue的企业生产管理系统，提供开源版与商业版。系统涵盖基础数据、库存管理、生产管理、质量管理、设备管理等13个功能模块，支持代码生成、自定义扩展及300+开发方法。商业版额外提供生产管理、移动端、可视化看板等增值功能。技术栈采用.NET Core3.1、Vue3、Element UI等，支持SQLServer/MySQL数据库。项目启动需配置前后端环境，默认账号admin/123456。开源地址：https://gitee.com/ZM-Rid/imes。
TiD2025 | openKylin基础设施平台创新实践分享，构筑开源质量根基
openKylin的博客
07-15 369
针对操作系统开源根社区建设中由于参与者组成及开发活动复杂导致的开发协作支撑、开发质量管控等挑战，openKylin社区研制多级代码质量门禁系统、自动化软件包编译集群、分层次持续集成框架、镜像自动化构建组件、开发者沙箱环境等，构建覆盖代码托管、问题追踪、代码审查、持续集成等操作系统研发全链条的开源协同基础设施，并以此为基础实现了社区分级管理体系，通过统一ID体系实现跨平台的权限配置和软件资源共享同步方法，最终形成了支持大规模群体协同的开源根社区分级治理机制。出席大会【开源软件质量保证论坛】，带来。
DeepSWE：通过强化学习扩展训练开源编码智能体
最新发布
PAN_Andy的博客
07-15 373
本文聚焦于DeepSWE-Preview这一仅通过强化学习训练的推理编码智能体。详细阐述其在软件工程任务中的训练方法、测试策略及评估结果，深入分析其涌现行为，还分享了训练中未成功的尝试，并展望未来工作。为智能体扩展和强化学习在编码领域的发展提供了全面且深入的参考。
开源 Arkts 鸿蒙应用 开发（七）数据持久--sqlite关系数据库
ajassi2000的博客
07-12 820
本文记录了使用ArkTS进行HarmonyOS应用开发的学习过程，重点介绍了SQLite数据库操作。作者作为嵌入式开发人员临时转岗开发App，为防遗忘快速整理开发要点。文章详细讲解了如何创建SqliteHelper类实现数据库增删改查功能，并提供了完整的Index.ets页面代码示例，包括数据库初始化、数据添加、条件查询等操作。通过组合输入框、按钮和列表控件，实现了一个完整的联系人管理界面，展示了ArkTS开发HarmonyOS应用的基本流程和数据库操作方法。
2025开放原子开源生态大会 | 开源欧拉的AI原生实践与全球协作
开源吞噬世界。
07-15 491
此外，开源欧拉联合SPDX共同发布开源软件供应链安全新标准——SPDX 3.0中文版，该版本由开放原子开源基金会旗下源译识社区、开源欧拉社区G11N SIG团队等多方协作完成，助力中国开发者与SPDX标准原生交互，实现漏洞追溯的国际化。7月23日，开放原子开源生态大会开源欧拉生态分论坛将聚焦南北向生态拓展与国际协作，深度解析AI芯片使能、边侧智能设备、云边端协同等前沿实践，并围绕“OS for AI/AI for OS”双向演进及“AI芯片+OS+算子模型”协同调优展开深入探讨。大会报名通道已正式开启。
你是AI专家，vllm 本地部署qwen3
04-30
<think>好的，我现在需要帮助用户解决在本地使用vLLM部署Qwen3-30b-a3b模型的GGUF版本的问题。用户之前已经得到了一些步骤，但可能还存在疑问，或者需要更详细的指导。同时，用户提供了三个引用，需要参考这些内容来调整回答。 首先，回顾之前的回答，用户已经知道需要将GGUF转换为Hugging Face格式，因为vLLM主要支持Hugging Face格式。但用户现在引用了新的资料，其中提到可以使用SGLang和vLLM的最新版本，可能意味着有更直接的方法。例如，引用2中提到推荐使用vLLM>=0.8.4来创建OpenAI兼容的API端点，这可能说明新版本的vLLM可能支持更多格式，或者有更简化的流程。 接下来，用户的问题明确询问如何部署GGUF格式的Qwen3-30b-a3b或者Qwen3模型。之前的步骤中提到了需要转换格式，但根据引用3，官方推荐使用Ollama、LMStudio等工具来本地部署，而用户可能希望用vLLM。但根据引用2，使用vLLM>=0.8.4可能更直接，或者结合其他工具。 需要注意的是，用户可能混淆了GGUF格式和vLLM的兼容性。vLLM本身可能不支持直接加载GGUF，因此可能需要转换步骤。但引用中提到SGLang和vLLM的最新版本，可能是否有新的方法？例如，引用1中的SGLANG_USE_MODELSCOPE=1可能是一个环境变量，用于从ModelScope加载模型，而无需本地转换。 但用户的问题核心是vLLM部署GGUF。根据之前的回答和现有知识，vLLM不支持直接加载GGUF，必须转换为Hugging Face格式。但用户提供的引用是否提示有其他方法？比如通过SGLang来配合使用？引用1中的命令使用了SGLang启动服务器，可能这是另一种部署方式，但用户明确想要用vLLM。 因此，可能需要明确告诉用户，虽然官方推荐多种工具，但使用vLLM部署GGUF需要转换。或者，是否有其他方式，比如通过llama.cpp与vLLM结合？ 此外，引用3中提到使用Ollama安装Qwen模型，但用户更关注vLLM，所以可能需要强调两种方法的区别，并确认用户的需求。 总结步骤： 1. 确认vLLM不支持直接加载GGUF，必须转换格式，可能需要使用llama.cpp或其他工具转换。 2. 使用最新版vLLM（0.8.4+）来支持Qwen3模型。 3. 提供转换步骤，如使用convert-llama-ggml-to-hf.py脚本。 4. 环境配置，安装依赖项。 5. 模型加载和API服务启动示例。 6. 其他替代方案，如使用SGLang或Ollama，但用户需要vLLM。 需要检查引用中的信息，特别是引用2提到vLLM>=0.8.4，可能是否支持直接加载Qwen3模型，而无需转换？需要验证这一点。例如，如果Hugging Face已经有Qwen3的模型，用户可以直接指定模型路径或名称，无需转换GGUF。但GGUF格式可能需要转换。 可能存在的误解是，用户可能有GGUF格式的模型文件，但想用vLLM部署，而vLLM需要Hugging Face格式，因此必须转换。或者，是否有方法让vLLM直接加载GGUF？根据现有知识，目前vLLM不支持GGUF，必须转换。 因此，回答需要分两部分：如果用户有GGUF文件，需要转换；如果可以直接从Hugging Face下载Qwen3的Hugging Face格式，直接使用vLLM部署。 此外，引用中提到使用SGLang的方法，可能作为替代方案，但用户明确要vLLM，所以可能需要提到，但作为备选。 同时，用户可能对性能优化和多GPU配置感兴趣，需要包含这些信息。 最终，回答应结构清晰，步骤明确，引用相关引用中的信息，如使用vLLM>=0.8.4，环境变量设置等，确保用户能正确部署。</think>根据最新技术资料和您的需求，以下是针对本地部署vLLM运行Qwen3-30B-A3B模型的详细指南，包含GGUF格式和标准Hugging Face格式两种方案： ### 一、GGUF格式部署方案（需格式转换） 1. **格式转换准备** - 下载GGUF文件（例如`qwen3-30b-a3b.Q4_K_M.gguf`） - 使用llama.cpp工具转换为Hugging Face格式： ```bash git clone https://github.com/ggerganov/llama.cpp python3 llama.cpp/convert-llama-ggml-to-hf.py \ --input qwen3-30b-a3b.Q4_K_M.gguf \ --output qwen3-30b-a3b-hf \ --model qwen3-30b-a3b ``` 2. **vLLM环境配置** ```bash conda create -n vllm_env python=3.10 conda activate vllm_env pip install "vllm>=0.8.4" transformers==4.40.0 ``` 3. **多GPU加载配置** ```python from vllm import LLM, SamplingParams llm = LLM( model="./qwen3-30b-a3b-hf", tensor_parallel_size=2, # 根据GPU数量调整 quantization="gptq", # 若使用GPTQ量化模型 trust_remote_code=True # 必须启用参数[^2] ) ``` ### 二、原生Hugging Face格式部署 1. **直接加载官方模型** ```python # 使用ModelScope加速下载（需配置环境变量） export SGLANG_USE_MODELSCOPE=1 # [^1] from vllm import LLM llm = LLM( model="Qwen/Qwen3-30B-A3B", download_dir="/path/to/models", dtype="bfloat16" # 推荐精度模式 ) ``` ### 三、OpenAI API兼容服务 ```bash # 启动API服务（需要vLLM>=0.8.4） python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3-30B-A3B \ --served-model-name qwen3-api \ --port 8000 \ --max-model-len 8192 # 支持长上下文[^2] ``` ### 四、性能优化配置 $$ \text{吞吐量} = \frac{\text{批处理大小}}{\text{单请求延迟}} \times \text{GPU数量} $$ - **推荐参数组合**： ```json { "tensor_parallel_size": 2, "block_size": 32, "swap_space": 16, "gpu_memory_utilization": 0.9 } ``` ### 五、替代方案建议 若遇到显存不足（24G以下显存），可考虑： 1. **使用SGLang部署**（显存需求降低30%）： ```bash SGLANG_USE_MODELSCOPE=1 python -m sglang.launch_server \ --model-path Qwen/Qwen3-32B \ --port 30000 \ --reasoning-parser qwen3 # [^1] ``` 2. **混合精度量化**： ```python llm = LLM( model="Qwen/Qwen3-30B-A3B", quantization="awq", enforce_eager=True # 提升低显存设备兼容性[^2] ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值