超详细VLLM框架部署qwen3-4B加混合推理探索！！！

最新推荐文章于 2025-05-24 17:54:21 发布
最新推荐文章于 2025-05-24 17:54:21 发布
阅读量1.3k 收藏 16
点赞数 36
文章标签： linux 服务器 VLLM qwen3 open-webui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63137469/article/details/148157315
版权

一、模型选择

通义千问3-4B · 模型库

1.支持切换思考与非思考模式

2.原生支持mcp功能，要定义可用工具，您可以使用MCP配置文件，使用Qwen-Agent集成的工具，或者自行集成其他工具。。

3.Qwen3原生支持长达32,768个token的上下文长度。对于总长度（包括输入和输出）远超这一限制的对话，我们建议使用RoPE缩放技术来有效处理长文本。我们已经通过YaN方法验证了模型在高达131,072个token的上下文长度下的性能。

4.支持标准化输出格式

5.文件大小6G

二、租用云服务器

2.1 租云服务

可以参考我前面的博客

手把手教你使用云服务器和部署相关环境！！！-CSDN博客

参考完我的云服务器使用博客后，应该要达到，设置好anaconda环境。

我的云服务器的配置如下图

 

三、下载模型和VLLM框架

3.1 下载模型到指定路径

新建一个modle的文件夹存储魔塔社区下载的模型

modelscope download --model Qwen/Qwen3-4B --local_dir /root/lanyun-tmp/modle/Qwen3-4B 

上述命令，要切换到你自己的路径。 

如果显示没有modelscope.

pip install modelscope 

 

3.2 查看模型配置

{

  "architectures": [

    "Qwen3ForCausalLM"

  ],

  "attention_bias": false,

  "attention_dropout": 0.0,

  "bos_token_id": 151643,

  "eos_token_id": 151645,

  "head_dim": 128,

  "hidden_act": "silu",

  "hidden_size": 2560,

  "initializer_range": 0.02,

  "intermediate_size": 9728,

  "max_position_embeddings": 40960,

  "max_window_layers": 36,

  "model_type": "qwen3",

  "num_attention_heads": 32,

  "num_hidden_layers": 36,

  "num_key_value_heads": 8,

  "rms_norm_eps": 1e-06,

  "rope_scaling": null,

  "rope_theta": 1000000,

  "sliding_window": null,

  "tie_word_embeddings": true,

  "torch_dtype": "bfloat16",

  "transformers_version": "4.51.0",

  "use_cache": true,

  "use_sliding_window": false,

  "vocab_size": 151936

}

 

 上述配置信息不明白的可以复制问deepseek，此处不解释。

3.2 下载VLLM框架和启动服务

参考官方文档

vLLM - Qwen --- vLLM - Qwen

创建虚拟环境和启动虚拟环境

conda create -n vllm python=3.12 -y

conda activate vllm

下载VLLM框架

pip install "vllm>=0.8.5"

 启动VLLM服务

我的模型路径是 /root/lanyun-tmp/modle/Qwen3-4B ，到时候切换成自己的。

vllm serve /root/lanyun-tmp/modle/Qwen3-4B

需要更多 vllm参数设置可以参考官网。 

启动好的VLLM服务默认的URL地址，http://0.0.0.0:8000​​​​​​  ，这个地址和我们平常调用阿里、deepseek的URL地址没有区别，我们的/root/lanyun-tmp/modle/Qwen3-4B即是模型文件地址也是模型的名字。

3.3 下载nvitop检测资源

新建终端，执行下面命令

pip install nvitop && nvitop

可以看到，我们VLLM服务启动后，GPU资源占了90%。

MEM是显存占用率，UTL是GPU利用率。

3.4 执行pyhon脚本，测试qwen3-4B本地模型

新建文件，qwen3-4B_test.py再保存。

# 导入OpenAI官方Python SDK（需安装openai库）
from openai import OpenAI

# 本地vLLM API服务的配置（适用于自托管大模型服务）
openai_api_key = "EMPTY"  # 本地部署通常无需有效API密钥[2,5](@ref)
openai_api_base = "http://localhost:8000/v1"  # vLLM服务的本地地址

# 初始化OpenAI客户端实例
client = OpenAI(
    api_key=openai_api_key,  # 传入空密钥（第三方/本地服务常见配置）
    base_url=openai_api_base,  # 指定API服务端点
)

# 构造对话生成请求
chat_response = client.chat.completions.create(
    model="/root/lanyun-tmp/modle/Qwen3-4B",  # 指定本地模型路径（需确保路径正确）
    messages=[
        {"role": "user", "content": "你好，你是谁"},  # 用户输入的对话历史
    ],
    # 核心生成参数配置：
    max_tokens=8192,  # 最大生成token数（建议根据模型最大长度设置）[7](@ref)
    temperature=0.7,  # 随机性控制（0-2，值越高越随机）[3,6](@ref)
    top_p=0.8,        # 核心采样概率（0-1，与temperature配合使用）[3,6](@ref)
    presence_penalty=1.5,  # 重复内容惩罚（-2~2，正值减少重复）[3,6](@ref)
    
    # vLLM扩展参数（特定实现的附加配置）
    extra_body={
        "top_k": 20,  # 采样时保留的最高概率token数[3](@ref)
        "chat_template_kwargs": {
            "enable_thinking": True  # 启用模型的思考模式（特定功能）
        },
    },
)

# 打印完整响应对象（包含元数据和生成内容）
print("Chat response:", chat_response)

上述代码通过API调用  "enable_thinking": True  # 启用模型的思考模式（特定功能）可以设置是否要思考。

新建终端，到 qwen3-4B_test.py的文件路径，执行这个文件

python qwen3-4B_test.py

可以成功调用本地大模型。

四、使用openwebui可视化调用本地部署的大模型

🏡 家 | Open WebUI --- 🏡 Home | Open WebUI

4.1 在本地下载openwebui 

创建虚拟环境，python版本必须是3.11，官网要求的，不如报错。

conda create -n vllm python=3.11 -y

conda activate vllm

不要安装最新版本的，我的会报错，一直卡住启动不了。

v0.6.10 - building the best AI user interface. https://github.com/open-webui/open-webui Fetching 30 files: 100%|███████████████████████████████████████████████████████████████████████████████████████████| 30/30 [00:00<?, ?it/s] INFO: Started server process [18928] INFO: Waiting for application startup. 2025-05-23 10:56:44.364 | INFO | open_webui.utils.logger:start_logger:140 - GLOBAL_LOG_LEVEL: INFO - {} 2025-05-23 10:56:44.365 | INFO | open_webui.main:lifespan:473 - Installing external dependencies of functions and tools... - {} 2025-05-23 10:56:44.378 | INFO | open_webui.utils.plugin:install_frontmatter_requirements:185 - No requirements found in frontmatter. - {}

安装这个稳定版本的。 

pip install open-webui==0.5.16

启动open-webui服务

 open-webui serve

 

4.2 配置本地大模型

浏览器输入http://localhost:8088/

不要输入0.0.0.0:8088,会网页打不开。

登入账号后，请记住，打开左下角的设置

添加刚刚vllm推理的URL和模型ID

http://localhost:8000/v1

/root/lanyun-tmp/modle/Qwen3-4B

密钥随便填。

新开终端，可以测试一下8088端口有没有被占。

4.3 测试对话

4.3.1 思考模式

我们刚刚是通过

vllm serve /root/lanyun-tmp/modle/Qwen3-4B

直接部署这个模型，默认是带有推理模型，这样我们再 open-webui项目的话就是有推理的模型，不好关闭。

open-webui项目可以直接多轮对话。

 

4.3.2 关闭思考模式部署本地模型

vLLM - Qwen --- vLLM - Qwen

上述官网教程中，按图点击蓝色字体，会自动下载一个prompt模版

把这个prompt上传到服务器的路径下，比如我就直接放模型路径下，然后复制路径，/root/lanyun-tmp/modle/qwen3_nonthinking.jinja

关闭刚刚的VLLM服务，重新启动VLLM服务这次带上参数和，不思考的模版地址，这样后续你的这个模型无论的通过API调用还有open-webui部署都不会有思考模式。

vllm serve /root/lanyun-tmp/modle/Qwen3-4B --chat-template /root/lanyun-tmp/modle/qwen3_nonthinking.jinja

 执行刚刚的python代码，可以看到，虽然我的代码已经说明要开启思考模式了，但是模型没有思考。

同理open-webui调用本地的大模型，也不会有思考输出。

 

五、小结

1.本文详细地使用VLLM框架本地部署qwen3-4B模型，混合推理如何关闭，open-webui框架的使用。

2.VLLM框架如何优化GPU显存会在下文介绍，还请点个关注。

2.有什么问题可以留言评论，或者加入我的AIGC学习交流群讨论：1051011605 ，我的博客有很多部署项目的教程，可以尝试部署AI应用，后续还有AI应用的博客持续输出，你们的喜欢是我最大的动力。

开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-Docker（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-06 2万+
通过容器化技术整合高性能推理框架vLLM与Qwen3-8B模型，可实现资源高效利用、灵活部署及推理性能优化，为大模型本地化应用提供轻量化解决方案
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-结构化输出（三）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-06 2万+
通过vLLM框架高效部署QWen3-8B模型，并优化提示词工程与输出控制，实现稳定的结构化JSON生成，从而提升推理效率并拓展大模型应用场景。
大模型推理：Qwen3 32B vLLM Docker本地部署
sunny0121的博客
04-29 2855
使用Docker和vllm在本地部署Qwen3系列模型，同时给出其他模型部署框架参考，比如MindIE、Sglang等
如何计算VLLM本地部署Qwen3-4B的GPU最小配置应该是多少？多人并发访问本地大模型的GPU配置应该怎么分配？
m0_63137469的博客
05-23 721
本文解决了很多VLLM的实际部署的硬件配置问题。
开发者Day 0上手指南：使用vLLM Ascend 部署 Qwen3
2401_85375151的博客
04-30 1212
今天阿里巴巴推出了全新一代Qwen大语言模型，在多个方面对Qwen系列进行了升级。其中主要包含2个版本：Qwen3，包括Qwen3-0.6B, Qwen3-1.7B, Qwen3-4B, Qwen3-8BQwen3-MoE，包括Qwen3-MoE-15B-A2B、Qwen3-30B-A3B、Qwen3-235B-A22BQwen3 是 Qwen 系列的最新一代大型语言模型，提供了一系列密集型和专家混合（MoE）模型。
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-Tools助力（五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-08 2万+
在人工智能大模型迅速发展的今天，如何让模型更智能地与外部世界交互，成为提升其实际应用能力的关键。
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-05 1万+
解析Qwen3-8B与vLLM的技术协同逻辑，探讨其在复杂任务中的性能表现及落地价值。
vllm部署LLM（qwen2.5，llama，deepseek）
木下瞳的博客
02-23 2027
-gpu-memory-utilization 0.2 gpu 显存占用，如果太高，我最开始 0.98，调用会崩掉。--max_model_len 4096 模型能够处理的最大序列长度（以token为单位），显存不够报错了，可以调小。"temperature": 0.7, 生成文本的随机性,值越小，创造能力越强，输出更加多样，适合创造场景。），会降低之前已经出现在生成文本中的词语被再次选中的概率。--served-model-name qwen2_5_1_5 模型名称定义，不是模型路径。
【AI大模型部署】Qwen3 性价比新王 Qwen3-30B-A3B 本地私有化部署，可灵活切换思考模式
2401_85327249的博客
05-17 1022
Qwen3 是 Qwen 系列大型语言模型的最新成员。该系列共包含8款模型，2款参数30B、235B的混合专家模型和6款参数0.6B、1.7B、4B、8B、14B、32B的稠密模型，每款模型均获得同尺寸开源模型的最佳性能。
阿里Qwen3模型 彻底爆发！力挫OpenAI、DeepSeek，登顶全球开源模型王座
Code_流苏：在代码中寻诗意，在实践中觅真知
04-29 1223
阿里Qwen3彻底爆发！力挫OpenAI、DeepSeek，登顶全球开源模型王座
在Linux上安装Miniconda
最新发布
qq_45688164的博客
05-24 524
本文介绍了在Linux系统上安装Anaconda或Miniconda的详细步骤。主要内容包括：1) 版本选择（推荐轻量级的Miniconda）；2) 下载安装脚本；3) 运行安装并初始化；4) 配置conda（如修改默认通道）；5) 创建虚拟环境；6) 卸载方法。还提供了常见问题解决方案，如命令未找到、下载速度慢等。安装流程推荐优先使用Miniconda，通过创建虚拟环境实现包管理的便捷性和环境隔离。
ubuntu下实时检测机械硬盘和固态硬盘温度
前行居士
05-20 556
本文介绍了如何在Linux系统中使用smartmontools工具监控硬盘温度。首先，通过sudo apt update和sudo apt install smartmontools命令安装工具。接着，使用sudo smartctl -a /dev/sda查看硬盘详细信息，包括温度。虽然smartctl无法实时显示温度，但可以通过watch命令定期查看，如watch -n 10 "sudo smartctl -a /dev/sda | grep Temperature_Celsius"，
Linux 搭建FTP服务器(vsftpd)
Stringzhua的博客
05-22 1214
或者修改/etc/selinux/config文件，将SELINUX=enconfig改为SELINUX=disabled，然后重启系统。在Linux上查看，发现已经有了scptoserver.txt文件，说明文件复制到服务器成功！默认即可，如果有需要可以修改/etc/ssh/sshd_config文件。scp 本地文件 user@远程服务器IP:/远程目录/在win10使用git的bash窗口上传文件到Linux。scp root@远程服务器ip:/远程文件 本地目录/
RHCSA Linux 系统 硬盘管理
Y_P_W的博客
05-23 738
1扇区 = 512B，分区 = 多个扇区 ×512B查看硬盘命令~]# lsblk。
部署springBoot项目的脚本-linux
zilin-lynn的博客
05-19 930
说明，maven打包时，可以将脚本打包跟jar包在同一个目录。
Linux中的tty与login之间的关系
zyqash的博客
05-23 521
项目login角色启动登录界面、捕获用户名用户身份认证，启动用户 shell运行时机系统启动后由 systemd/init 启动由agetty调用，完成认证替换关系agetty被login替换login被用户的 shell 替换如果你使用ps或pstree查看，会看到agetty和login不会同时存在于同一个终端上。
【Linux 服务器磁盘映像备份与恢复实战指南】虚拟机备份，物理机上云都可以用这套方案！
weixin_39372311的博客
05-22 1007
通过dd命令结合 NFS 实现全盘映像备份与恢复，是一种高效的服务器数据迁移方案。本文详细记录了从备份到恢复的完整流程，以及处理initramfs紧急模式的修复方法。使用dd确保全量备份，结合 NFS 提供可靠存储。恢复到裸盘并移除原系统盘，简化启动配置。通过fsck修复文件系统，解决initramfs问题。后续建议配置 RAID（如 RAID 1）以提高数据冗余。定期验证备份完整性，建立自动化备份机制（如cronrsync使用监控工具（如）跟踪磁盘健康状态。
linux 内存碎片分析
陌上花开缓缓归以的博客
05-24 516
本文分析了Linux系统内存管理的两个关键文件/proc/pagetypeinfo和/proc/zoneinfo的输出信息。/proc/pagetypeinfo显示了内存页面按迁移类型（不可移动、可移动、可回收等）和阶数（0-10）的分布情况，其中DMA32区域的可移动页块数量较多，而DMA区域则以不可移动页为主。/proc/zoneinfo则详细记录了各内存区域（DMA、DMA32）的状态，包括空闲页数、内存水位线、活动内存类型等，数据显示系统当前内存充足，但DMA32区域的slab不可回收内存较高，可能
Linux 线程（中）
2401_83238095的博客
05-22 1067
本文主要探讨了线程的局部存储、多线程并发访问共享资源带来的问题及其解决方法。首先，通过代码示例展示了线程具有独立的栈空间，而全局变量在未使用__thread修饰时是共享的，使用后则每个线程独有一份。接着，文章指出了多线程并发访问共享资源可能导致的数据不一致问题，并介绍了通过互斥锁来解决这一问题的方法，包括锁的初始化、销毁、上锁和释放锁的接口及其使用。此外，文章还讨论了互斥与同步的概念，以及如何通过条件变量来实现线程的同步，避免线程饥饿问题。最后，文章简要介绍了锁的原理、死锁的概念及其四个必要条件，并提出了解
vllm部署qwen2.5-7-instruct
03-22
<think>好的，我需要帮助用户了解如何使用vLLM部署Qwen2.5-7-Instruct模型。首先，我得回顾一下用户提供的引用内容，特别是引用[1]、[4]和[3]，这些部分提到了vLLM的安装、模型下载以及部署步骤。 首先，用户的问题是关于部署Qwen2.5-7-Instruct模型使用vLLM的教程或指南。根据引用[1]，vLLM的安装需要先安装vLLM本身和一些依赖库，然后下载模型并启动服务器。引用[4]详细说明了如何通过镜像源下载模型权重，并验证完整性，还提到了启动vLLM服务器的命令。引用[3]则提供了魔搭社区的模型下载方式，包括CLI、SDK等方法。 我需要将这些信息整合成一个清晰的步骤指南。可能的结构是分步骤：环境搭建、安装vLLM和依赖、下载模型、启动服务器，以及验证部署。同时，需要指出注意事项，比如验证权重完整性和硬件要求。 需要注意的是，用户提到的模型是Qwen2.5-7-Instruct，但引用中具体提到的是Qwen2.5-VL-7B-Instruct，可能需要确认模型名称是否正确，或者是否是同一系列的不同版本。假设用户可能是指Qwen2.5-7B-Instruct，这里可能需要指出正确的模型名称，或者说明如何调整命令中的模型名称。 另外，引用[4]提到了两种下载方法，方法二是使用huggingface-cli指定镜像源，这可能在下载大模型时更稳定，需要包含进去。同时，启动服务器时的命令参数如--tensor-parallel-size和--gpu-memory-utilization需要根据用户的实际硬件情况进行调整，可能需要给出建议值。 最后，生成相关问题时要围绕部署步骤、优化方法、应用场景等展开，确保问题与主题相关，并引导用户进一步探索。 需要检查是否有遗漏的步骤，比如依赖库的具体安装命令是否在引用中有提到，或者是否需要额外的配置。例如，引用[1]提到安装依赖库，但具体是哪些可能需要进一步明确，比如transformers、torch等。不过，可能vLLM安装时会自动处理这些依赖，或者用户需要手动安装，可能需要查阅vLLM的官方文档补充。 总结步骤： 1. 环境准备：Python环境、CUDA等。 2. 安装vLLM和相关依赖。 3. 下载模型权重，使用huggingface-cli或魔搭社区的方法。 4. 验证权重完整性（重要，避免运行时错误）。 5. 启动vLLM服务器，指定模型路径和参数。 6. 测试API请求，确认部署成功。 注意事项中需要提到硬件要求，如GPU内存，以及可能遇到的常见问题，如下载中断、路径错误等。 现在将这些整理成用户友好的指南，确保每个步骤清晰，命令准确，并附上相关引用。同时，生成的问题要覆盖部署过程的不同方面，帮助用户深入理解。</think>### 如何通过vLLM部署Qwen2.5-7B-Instruct模型 以下是分步部署指南，整合了引用中的关键信息： --- #### **1. 环境搭建** - **Python环境**：建议Python≥3.8，使用`conda`或`venv`创建虚拟环境。 - **CUDA支持**：确保GPU驱动和CUDA≥11.8，可通过`nvidia-smi`检查驱动版本[^1][^4]。 --- #### **2. 安装vLLM及依赖** ```bash # 安装vLLM（自动包含PyTorch等依赖） pip install vllm # 可选：安装HuggingFace工具包（用于模型下载） pip install -U huggingface_hub ``` --- #### **3. 下载模型权重** *以下两种方法任选其一：* **方法一：通过HuggingFace镜像源下载** ```bash HF_ENDPOINT=https://hf-mirror.com huggingface-cli download \ --repo-type model \ --local-dir Qwen2.5-7B-Instruct \ --local-dir-use-symlinks False \ Qwen/Qwen2.5-7B-Instruct ``` **方法二：通过魔搭社区下载** 使用ModelScope SDK或CLI（需注册魔搭账号）： ```python from modelscope import snapshot_download model_dir = snapshot_download(&#39;qwen/Qwen2.5-7B-Instruct&#39;) ``` [^3] --- #### **4. 验证权重完整性** - 检查文件完整性（如SHA256校验），避免因下载中断导致模型加载失败[^4]。 --- #### **5. 启动vLLM服务器** ```bash # 使用本地模型路径启动服务 python -m vllm.entrypoints.api_server \ --model /path/to/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ # 根据GPU数量调整 --gpu-memory-utilization 0.9 # 显存利用率 ``` 默认API端口为`8000`，可通过`--port`修改。 --- #### **6. 测试API调用** ```python import requests response = requests.post("http://localhost:8000/generate", json={ "prompt": "如何部署Qwen2.5模型？", "max_tokens": 100, "temperature": 0.7 }) print(response.json()["text"]) ``` --- #### **注意事项** 1. **硬件要求**：7B模型需≥16GB GPU显存（如单卡A100/A10）。 2. **性能优化**：调整`--tensor-parallel-size`实现多卡并行，或启用量化技术（如AWQ）[^2]。 3. **镜像加速**：若下载失败，可尝试更换镜像源（如阿里云镜像）。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIGC_北苏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值