用vllm/SGLang部署专属你的Qwen3大模型【附实战代码】

1.引言

随着大语言模型（LLM）的飞速发展，多轮对话场景对推理性能提出了更高要求，内存占用和延迟成为关键瓶颈。2025 年4月新发布的 Qwen3 模型，以其高效的架构和优化的参数设计，为轻量级高性能推理提供了新机遇。结合 SGLang 和 vLLM 两大高效推理框架，Qwen3 可充分发挥存储优化技术（如 KV 缓存压缩和 PagedAttention）的优势。本博客将分享一次基于 Qwen3 的多轮对话实验，探索 SGLang 和 vLLM 的低延迟和高吞吐量表现，揭示存储优化的技术魅力，并为未来更大规模模型的测试铺路。
未来会测试一下Qwen3的Function Calling功能，小伙伴们可以关注一下~

2.vllm概述

vLLM 是一个高效的开源大语言模型（LLM）推理框架，旨在优化内存使用和推理速度，特别适合高并发和长序列任务，如多轮对话。vLLM 通过创新的存储管理和调度技术，显著提升了 GPU 利用率和推理性能，成为 SGLang 等框架的补充工具。

2.1 核心技术

1. PagedAttention：

• vLLM 引入 PagedAttention 机制，将 KV 缓存（Key-Value cache）分块存储，类似操作系统的分页内存管理。
• 动态分配和释放内存块，减少内存碎片，支持长上下文和高并发场景（如本次实验的 parallel=64）。
• 优势：降低多轮对话中的内存占用，确保低延迟推理。

2. 连续批处理（Continuous Batching）：

• vLLM 动态调整批次中的请求，最大化 GPU 利用率，减少空闲时间。
• 在高负载场景下（如 20 组对话，每组 4 轮），通过请求合并和优先级调度保持高吞吐量。

3. 量化支持：

• 支持 4-bit 和 8-bit 整数量化（INT4/INT8），降低模型权重和激活值的存储需求。
• 对于中小型模型（如 Qwen/Qwen3-0.6B-Base），量化可进一步减少显存占用。

4. 分布式推理：

• 支持张量并行和流水线并行，优化多 GPU 场景的性能。
• 在单 GPU 环境中，vLLM 通过高效内存分配保持性能优势。

3. SGLang概述

SGLang 是一个高效的深度学习框架，专注于大规模语言模型的训练和推理。该框架集成了先进的硬件加速技术，如 NVIDIA GPU 加速，并使用高效的 CUDA 编程模型来优化计算性能。SGLang 主要针对自然语言处理（NLP）任务，能够在多个设备和大规模数据集上进行高效计算。

3.1 主要特点

• 高性能：SGLang 利用了 CUDA 和多 GPU 并行化技术，使得训练和推理过程能够高效地在大型数据集上进行。
• 模块化设计：框架采用模块化设计，支持灵活配置和扩展。用户可以根据需要自定义不同的模块，以适应不同的应用场景。
• 支持大规模模型：SGLang 支持训练和推理数十亿参数的模型，能够处理复杂的语言生成任务。
• 跨平台支持：支持在多个平台（如 Windows、Linux 和 macOS）上运行，兼容性强。
• 集成前沿技术：SGLang 集成了多种先进的技术，包括基于 Triton 和 FlashInfer 的推理加速技术，以及优化的内存管理方案，能够最大化 GPU 的计算能力。

3.2 主要功能

• 训练功能：支持大规模语言模型的训练，提供高效的分布式训练能力，支持多 GPU 设置。
• 推理功能：提供高效的推理能力，支持在低延迟环境中实时生成文本。
• 多模态支持：支持图像、文本等多模态数据的处理，适用于多种应用场景。
• 可扩展性：框架具有良好的可扩展性，用户可以根据需求扩展新的模型或功能模块。

3.3 使用场景

SGLang 适用于以下场景：

1. 自然语言生成：例如，自动生成新闻报道、文章摘要等。
2. 文本生成与推理：在聊天机器人、智能助手等应用中实现自动化的文本推理与生成。
3. 机器翻译：支持大规模机器翻译模型的训练和部署。
4. 多模态任务：结合图像、文本等多模态信息进行综合推理，适用于图像标注、视频理解等领域。

4. Qwen3模型下载到本地的两种方法

1. 通过huggingface

#（以Qwen3-0.6B-FP8 为例）
huggingface-cli download --resume-download Qwen/Qwen3-0.6B-FP8 --local-dir /root/qwen3/Qwen3-0.6B-FP8

2. 通过modelscope

# 下载完整模型库（以Qwen3-0.6B-FP8 为例）
modelscope download --model Qw