用vllm本地部署qwen3满血版

最新推荐文章于 2025-06-04 22:33:41 发布
原创 最新推荐文章于 2025-06-04 22:33:41 发布
· 936 阅读 · 8 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai #开源 #阿里云

用vllm本地部署qwen3满血版

作者建议

我将文档发布到了多个平台，不同的平台阅读体验不同，排版也可能有区别，本人强烈建议直接点击下面的链接查看原始文档，因为下面的链接是原始文档，阅读体验极佳，排版美观，有目录结构，您可以很容易找到您想要阅读的章节。另外，文档一直持续更新，不断完善，内容更加准确且与时俱进。原始文档始终是最新版本的，其它平台中的文档可能已经过时了。

单击查看原始文档：《用vllm本地部署qwen3满血版》

原创不易，如果对您有帮助，还请您一键三连[抱拳]

有任何问题都可以联系作者，文末有作者联系方式，欢迎交流。

以下是正文

qwen3介绍

今天（2025年4月29日）凌晨，阿里发布了最新的开源大模型qwen3系列，详细信息可以查看官方的公告https://mp.weixin.qq.com/s/NrS8SR9_FMq5GW-SJQPn8w

qwen3系列最大的特点是它是混合推理模型，Qwen3 引入了**“思考模式”和“非思考模式”**，使模型能够在不同场景下表现出最佳性能。在思考模式模式下，模型会进行多步推理和深度分析，类似于人类在解决复杂问题时的“深思熟虑”。（eg：在回答数学题或编写复杂代码时，模型会反复验证逻辑并优化输出结果。）

在非思考模式模式下，模型优先追求响应速度和效率，适用于简单任务或实时交互。（eg：在日常对话或快速问答中，模型会跳过复杂的推理步骤，直接给出答案。）

部署

我是在一台高性能服务器上部署的，有8张H20显卡，内存有2TB，4个固态硬盘，每个固态硬盘可用容量为3.5TB

qwen3发布后，我立马就用vllm部署了，而且是部署参数量最大的模型，有2350亿参数。

命令如下：

vllm serve "Qwen/Qwen3-235B-A22B"

下载了半天才下载好，太大了。

ad2e2f97ea20a35483892c5ed511241.png

GPU使用情况

可以看到8张H20显存基本都吃光了

4cd574fe2ad37dddba8c4efc6a6b373.png

验证

用curl命令调用api与qwen3对话

cd5953f05590f45514295a756c6be5d.png

响应速度挺不错的，每秒49.5个tokens

e9616a66c17ea3d3bacaddb6cd4e647.png

也可以用Powershell与大模型对话

image.png

image.png

关注我们，获取更多IT开发运维实用工具与技巧！

github用户名: iamtornado

github个人首页: https://github.com/iamtornado

电子邮箱: 1426693102@qq.com

个人微信：tornadoami（也可以通过下面的二维码加我，之后我将您邀请进入AI技术交流群）

vllm容器部署Qwen2-Audio-7B-Instruct的cuda报错，如何解决？
**My Coding Family**
04-29 1251
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
用vllm/SGLang部署专属你的Qwen3大模型【附实战代码】
m0_55303420的博客
05-04 1847
一文详解用vllm/SGLang部署专属你的Qwen3大模型
vLLM 本地部署Qwen大模型
qq_60245590的博客
05-03 512
精度（适配您的 V100 GPU）。：指定服务端口（默认为。
阿里千问Qwen3技术解析与部署指南 ：混合推理架构突破性优势与对DeepSeek R1的全面超越
朴拙科技的博客
04-29 3217
Qwen3采用混合专家（Mixture-of-Experts，MoE）架构，旗舰模型Qwen3-235B-A22B总参数2350亿，但激活参数仅22B，效率是传统稠密模型的10倍。• 慢思考：对复杂任务（数学推理、代码生成），模型启用多步推理链（Chain of Thought），通过自我事实核查和逻辑推导提升准确性。• 提供8款模型（2款MoE+6款稠密），覆盖0.6B到235B参数规模，支持手机端（4B）、汽车端（8B）及企业级（32B）部署。
【默子评测】Qwen3：最强开源大模型第一手实测
默子的博客，奇奇怪怪
04-30 1363
在 2025 年 4 月 29 日凌晨，阿里正式开源了 通义千问 Qwen3 家族，一举刷新全球开源大模型格局。默子快速上手评测了一下（235B对比30B对比GPT4o），快来看看效果吧
09-Qwen3开源，性能全面碾压deepseek，本地部署实测来了
错位竞争，单点突破。
04-30 1155
对于阿里新开源的模型Qwen3，用相对少的参数获得了更高的性能，将会进一步降低模型的使用成本。这将进一步促进大模型应用的发展。同时，思考和非思考模式合二为一，不管对于使用体验还是部署成本也是一个重大的进步。还有，工具调用支持能力，对于Agent极其重要。虽然在我的测试中存在瑕疵，相信官方版本中会解决这个问题。好了，Qwen3的分享就到这里。今天的Qwen3力压deepseek，同样期待明天deepseek-R2的再次超越。深度探索AI应用。
VLLM部署Qwen3-4B实现本地HTML交互详细流程
m0_62890769的博客
05-24 403
其中ollama与LM studio配置简单，可在Windows系统上使用，其中ollama仅需要一定命令行基础即可使用，而LM studio更是提供了可视化界面，但这两个框架存在部分推理限制与BUG。解决方法均在评论区）Qwen3是阿里最新开源的大预言模型，性能在目前的开源模型中排名靠前，尤其是4B模型性能突出，本文将详细介绍如何在Linux上部署Qwen3模型，并规避一些可能的问题。安装VLLM，建议安装最新的版本的（如下代码），直接pip install vllm安装的0.85版本存在以下问题。
使用 vllm 本地部署 Qwen2
oqzuser12345678999q的博客
06-30 1385
此文章主要介绍使用 使用 vllm 本地部署 Qwen2。使用 vllm 本地部署 Qwen2-14。安装 flash-attention，2. 本地部署 Qwen2-安装 Ray 和 Vllm，2. 本地部署 Qwen2。3. 使用 Qwen2-7。3. 使用 Qwen2。1. 安装 vllm。1. 安装 vllm。
使用 vllm 本地部署 Qwen2-7B-Instruct
engchina的专栏
06-07 3874
Qwen2-7B-Instruct
vLLM推理部署Qwen2.5
小森的博客
10-28 6330
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
本地部署Qwen2大模型之五：vLLM与大语言模型的关系
F8_11的博客
12-27 1069
经过几天的实践探索，对大语言模型（Qwen2）及其部署工具（vLLM）有了比较清晰的了解，这里做个简单的梳理，以作备忘吧。
深度剖析 DeepSeek 开源模型部署与应用：策略、权衡与未来走向
最新发布
06-04 740
分析 DeepSeek 开源模型的自建部署与 API 接入方案，指出自建模式在长期成本、数据安全、定制能力和服务稳定性上具优势，但面临高初始投入与技术门槛；API 接入则胜在快速上线、低运维和弹性付费，却存在长期成本高与定制受限问题。此外，混合架构可平衡两者优势，企业需结合业务规模、数据安全、技术能力等维度决策，展望未来技术演进对部署模式的影响。
定制开发开源AI智能名片驱动下的海报工厂S2B2C商城小程序运营策略——基于社群口碑传播与子市场细分的实证研究
专注MarTech应用研究与实施方案
06-02 768
【摘要】本研究探讨了AI智能名片与S2B2C商城小程序的融合应用，通过开源架构、AI设计工具和三级分销体系构建商业生态闭环。实践表明：1）智能生成系统提升300%设计效率，用户转化率达8.7%；2）30+风格模板库匹配细分场景需求，社群裂变贡献42%新增用户；3）S2B2C模式实现供应商收入增长210%。研究为工具类产品转型提供"技术+生态"双轮驱动范式，建议延伸至跨境服务、硬件联动等新场景。（149字）
开源是什么？我们为什么要开源？
ZengZiTudor的博客
05-31 1702
20世纪70年代软件与硬件捆绑销售，限制用户权利。1983年理查德·斯托曼发起GNU项目，1985年成立自由软件基金会。1991年Linux内核发布，1998年开源软件运动兴起。该运动诞生诸多重要软件，存在自由与效率等矛盾点，对社会和技术影响深远。
[特殊字符] 革命性AI提示词优化平台正式开源！
xiaohucxy的博客
06-04 475
你是否还在为写不出高质量提示词而头疼？是否羡慕那些能够驾驭AI、让ChatGPT、Claude乖乖听话的"提示词大师"？今天，我们为你带来一个颠覆性的解决方案——，一个专业级的AI提示词优化平台，现已完全开源！🎉。
Deep Chat：重塑人机对话边界的开源智能对话框架—— 让下一代AI交互无缝融入你的应用
源滚滚编程
06-03 792
集成成本高：对接不同AI模型需重复开发接口交互形式单一：多数框架仅支持文本，缺乏音视频等富媒体交互定制能力弱：UI与逻辑耦合度高，难以适配业务场景Deep Chat的诞生直击痛点——通过可插拔架构，提供开箱即用的多模态对话解决方案，同时保持代码轻量与高度可定制。Deep Chat的价值远不止组件库——它正在成为AI交互的底层协议标准。企业对话系统开发周期缩短70%用户会话时长提升55%（多模态驱动）
开源数据库MySQL 与 PostgreSQL的巅峰对决。
dql5251的博客
06-01 879
MySQL与PostgreSQL深度对比分析 两大开源关系型数据库的核心差异体现在架构设计、功能特性和性能表现上。PostgreSQL采用ORDBMS架构，支持强ACID事务、高级SQL特性和丰富扩展（如PostGIS），在复杂查询、JSON处理和GIS应用中表现优异。MySQL则以轻量级设计见长，适合简单CRUD和高并发读场景。性能测试显示，PostgreSQL在写入吞吐（快90%）和复杂查询稳定性上更具优势，而MySQL在资源消耗和简单查询响应上更佳。选型建议：金融/GIS等强一致性需求选Postgre
mac电脑 docker 用ollama 部署qianwen2.5 7b
09-27
Mac电脑上使用Docker部署Qianwen2.5（千问）7B版本需要先安装Docker Desktop并配置好环境。Ollama通常是指一个用于简化容器管理的工具或平台，但这里假设你是想通过普通的Docker命令行进行操作。 以下是基本步骤： 1. **安装 Docker for Mac**： - 访问Docker官网下载适用于macOS的Docker Desktop 安装包，并按照指示完成安装。 2. **创建Dockerfile**： - 编写一个Dockerfile，指定基础镜像、添加依赖库、复制Qianwen2.5源码或预编译的二进制文件，以及设置运行命令。例如： ```dockerfile FROM ubuntu:latest RUN apt-get update && apt-get install -y python3-pip COPY qianwen2.5 /app/qianwen2.5 WORKDIR /app CMD ["python3", "qianwen2.5/main.py"] ``` 3. **构建镜像**： - 使用`docker build`命令基于Dockerfile构建一个新的镜像。比如： ``` docker build -t your-image-name . ``` 4. **运行容器**： - 用刚刚创建的镜像运行一个容器： ``` docker run -p 80:80 your-image-name ``` `-p`选项将容器内的80端口映射到主机的80端口，使得外部可以访问。 5. **Ollama集成**： - 如果有Ollama，可能会有一个更高级的配置过程。你需要在Ollama平台上配置你的新镜像，然后按照Ollama提供的指南进行部署，这通常涉及到连接到Ollama的API或UI界面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值