高性能部署实战：vLLM 安装配置 × tokens/s 提升 × 并发测试（适配国产模型）

已于 2025-04-18 10:31:39 修改
阅读量2.1k 收藏 57
点赞数 56
分类专栏： 国产大模型部署实战全流程指南 文章标签： 人工智能 深度学习
于 2025-03-30 17:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28461591/article/details/146713415
版权

个人简介
在这里插入图片描述
作者简介：全栈研发，具备端到端系统落地能力，专注大模型的压缩部署、多模态理解与 Agent 架构设计。 热爱“结构”与“秩序”，相信复杂系统背后总有简洁可控的可能。
我叫观熵。不是在控熵，就是在观测熵的流动
个人主页：观熵
个人邮箱：privatexxxx@163.com
座右铭：愿科技之光，不止照亮智能，也照亮人心！

专栏导航

观熵系列专栏导航：
AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到AI在行业中的落地应用，我们将深入剖析最前沿的AI技术，分享实用的开发经验，并探讨AI未来的发展趋势

了解本专栏 订阅专栏 解锁全文 超级会员免费看
国产大模型 API 怎么封装才最香？FastAPI / Flask / vLLM / 本地服务全方案对比
努力分享一些人工智能相关的知识干货！
04-03 1073
FastAPI 是目前国产模型 API 封装🚀速度快：基于 Starlette，支持异步✅结构清晰：路径定义灵活，文档自动生成💡兼容性强：可模拟 OpenAI API 格式🔧易集成：可快速接入日志、限流、权限等中间件FastAPI 是目前国产模型 API 封装🚀速度快：基于 Starlette，支持异步✅结构清晰：路径定义灵活，文档自动生成💡兼容性强：可模拟 OpenAI API 格式🔧易集成：可快速接入日志、限流、权限等中间件模型部署是一半，API 封装是另一半；
用 LoRA 精调 Qwen2.5 模型：从训练数据到权重产出全流程实战
努力分享一些人工智能相关的知识干货！
04-05 1411
LoRA 微调到底怎么做？这篇文章带你从 0 到 1 跑通一套完整的 Qwen2.5 微调流程：训练数据怎么构、模型怎么挂 LoRA、如何跑出第一轮训练结果、怎么保存 + 加载权重、如何用 LoRA 产物搭建 API 服务。
大模型vllm推理速度性能
努力给自己想要的
09-30 2333
使用vllm进行部署推理，部署参数如下：并发性能测试构建数据的特点：测试性能结果：
本地部署 vllm
engchina的专栏
12-25 5069
本地部署 vllm
vLLM：高性能大语言模型推理引擎全面解析
m0_59164520的博客
04-17 1272
vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型推理引擎。它专注于通过创新的内存管理和计算优化技术，实现高吞吐、低延迟、低成本的模型服务。
vLLM 部署大模型
哦豁灬
04-04 2万+
vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。
使用vllm部署自己的大模型
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
大模型实战教程 | 用vllm快速部署大模型
Code1994的博客
12-15 3567
在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。本文将指导您完成vLLM的安装、在服务器上运行它以及将其集成到应用程序中的步骤。
使用vllm部署大语言模型
yuanlulu的博客
07-08 4572
vLLM是一个快速且易于使用的库，用于LLM（大型语言模型）推理和服务。通过PagedAttention技术，vLLM可以有效地管理注意力键和值内存，降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理，从而提高整体处理速度。
推理框架深度对比：Transformers / vLLM / TGI / FastChat 部署实测 × 适配建议
努力分享一些人工智能相关的知识干货！
03-30 1067
从出发，全面对比当前主流大模型推理框架在国产模型中的表现，包括安装复杂度、兼容模型范围、接口标准化程度、性能数据等，帮助你。
高并发大模型推理服务内存优化实战：KV Cache 管理、显存调度与资源复用策略全解析
最新发布
努力分享一些人工智能相关的知识干货！
05-08 720
在大模型推理系统进入高并发部署阶段后，如何优化显存资源、提升 KV Cache 复用率、降低推理过程中长尾内存压力，成为影响系统稳定性和成本控制的关键因素。特别是在多实例、长上下文、Streaming 推理频繁的场景中，推理服务常面临 GPU 显存爆满、Cache page 溢出、OOM 崩溃等问题。本文结合 vLLM 架构与实际部署案例，深入剖析高并发推理系统中的核心内存管理策略，包括 KV Cache 分配与回收机制、Page 管理优化、批次拼接提升显存利用率，以及多模型共存下的显存隔离与负载均衡方法，
vLLM部署多模态大模型
Guo_Python的博客
03-19 1178
vLLM 是一个高效的推理和部署框架，专为大规模语言模型（LLM）优化。它采用 PagedAttention 技术，显著提高 GPU 显存利用率，支持高吞吐量推理。vLLM 兼容 Hugging Face Transformers 和 OpenAI API 接口，便于集成现有模型。其高效的 KV 缓存管理减少重复计算，适用于流式生成、批量处理和多用户推理场景。vLLM 还支持 FlashAttention，可进一步提升推理速度。
通过vLLM部署LLM模型到生产环境中
Michael的博客
02-07 1680
./output/qwen2_5-1_5b-instruct/v0-202xxxxx-xxxxxx/checkpoint-xxx-merged”：替换为真实的微调模型路径。该服务提供的HTTP接口兼容OpenAI API，可以通过调用HTTP接口，如/v1/chat/completions，让你快速体验大模型的推理能力。然后，在终端窗口执行wrk压测命令，分别设置chat接口的并发量(-c)为1和10，压测时间(-d)均为10s，观察两个实验的压测结果。请注意，关闭终端窗口将会立即终止服务。
vllm大模型部署
欧米伽
12-11 2004
在 vLLM 中，python -m vllm.entrypoints.api_server 是用于启动基于 FastAPI 的 RESTful API 服务的命令。通过这个服务，用户可以方便地与部署的大语言模型（LLM）交互
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
vLLM实战：多机多卡大模型分布式推理部署全流程指南
目标检测、LLM相关
04-09 2865
拓扑感知：通过nvidia-smi topo -m查看GPU连接方式，优先使用NVLink互联的GPU组。调整–tensor-parallel-size与–pipeline-parallel-size比例。连续批处理：vLLM默认启用，通过–max-num-seqs 256控制并发量。Ray日志：/tmp/ray/session_latest/logs/–object-store-memory：建议设置为可用内存的70%降低–gpu-memory-utilization至0.7-0.8。
使用vLLM部署大模型
wjj_fire的博客
03-12 889
vLLM 是一个快速且易于使用的库，专为大型语言模型 (LLM) 的推理和部署而设计。vLLM安装vLLM部署大模型可以使用本地推理服务和API服务的方式。
vLLM加速部署LLM
九品神元师
09-16 1358
目前只支持操作系统（包括子系统），因此环境准备分为 2 部分：Linux 环境准备：我们的操作系统如果是系统，那就无需其他操作。Python 研发环境准备。拉取现成的镜像，直接拉取nvidia现成的镜像拉取成功后启动容器，在容器中进行以下操作。
windows本地部署vllm,运行deepseek大模型
zxhy0123的博客
02-28 6903
windows本地部署vllm,加载大模型
vllm部署gemma3:27b模型
03-20
<think>好的，我现在需要帮助用户了解如何使用vLLM部署GEMMA3 27B模型。首先，我需要确认用户的需求。用户可能已经知道vLLM是一个高效推理和服务框架，想用它来部署较大的模型如GEMMA3 27B。我需要整理相关步骤，并确保信息准确。 首先，查阅vLLM的官方文档，看看是否支持GEMMA模型。根据之前的引用，Gemma是谷歌发布的轻量级开源模型，而vLLM支持多种架构，比如Llama、Mistral等，但需要确认是否适配Gemma的结构。可能需要用户自行验证兼容性，或者是否有社区贡献的支持。 然后，安装vLLM是关键步骤。用户需要安装最新版本的vLLM，可能通过pip或从源码安装。需要注意CUDA版本兼容性，因为vLLM依赖CUDA进行加速。 接下来是模型下载。用户需要从Hugging Face或官方仓库获取GEMMA3 27B的模型文件，确保下载的是支持PyTorch格式的版本。例如，Hugging Face上的模型可能需要转换或直接使用。 编写启动脚本时，需要了解vLLM的启动命令和参数。例如，使用`vllm.entrypoints.api_server`启动API服务，指定模型路径、tensor并行度、端口等。此外，可能需要调整参数如dtype为bfloat16以节省显存，设置gpu_memory_utilization来优化显存使用。 调用服务部分，用户可以通过curl或Python客户端发送请求。需要提供示例代码，展示如何构造请求体，处理响应。同时，可能需要处理授权问题，如果模型需要API token，需在请求头中添加。 在注意事项里，显存需求是一个重点。GEMMA3 27B可能需要多块GPU，比如使用tensor并行度2或4。需要提醒用户检查硬件资源是否足够，以及如何监控显存使用。 此外，用户可能遇到的问题包括模型格式不兼容、CUDA版本不匹配、依赖缺失等。需要建议安装正确的依赖，如特定版本的PyTorch和Transformers库。 最后，生成相关问题，帮助用户进一步了解模型部署的优化、性能监控、量化方法，以及结合其他工具的使用，比如LangChain。这些问题需要覆盖用户可能感兴趣的扩展话题，帮助他们深入应用。 确保回答中所有数学公式和代码符合格式要求，使用中文，结构清晰，引用正确。检查是否有遗漏的步骤或潜在问题，确保用户能够顺利按照指导进行操作。</think>### 使用vLLM部署GEMMA3 27B模型的步骤 #### 1. **环境准备** - 确保GPU驱动、CUDA（>=11.8）和PyTorch（>=2.0）已安装。 - 安装vLLM： ```bash # 从源码安装（推荐） git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 或直接通过pip安装 pip install vllm ``` #### 2. **下载GEMMA3 27B模型** - 从Hugging Face下载模型权重（需访问权限）： ```bash huggingface-cli download google/gemma-27b --local-dir ./gemma-27b ``` 若模型需要API token，需在Hugging Face账户中申请[^4]。 #### 3. **编写启动脚本** 创建`launch_gemma.py`文件，使用vLLM的API服务器： ```python from vllm.entrypoints import api_server api_server.start_http_server( model="google/gemma-27b", tensor_parallel_size=4, # 根据GPU数量调整（如4块A100） port=8000, dtype="bfloat16", # 显存优化 gpu_memory_utilization=0.9, trust_remote_code=True # 允许加载自定义模型代码 ) ``` #### 4. **启动服务** ```bash python launch_gemma.py ``` 服务启动后，可通过`http://localhost:8000`进行访问。 #### 5. **调用模型API** 使用Python客户端调用： ```python from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.7, max_tokens=200) llm = LLM(model="google/gemma-27b", tensor_parallel_size=4) prompts = ["请解释量子计算的原理。"] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(output.outputs[0].text) ``` #### 6. **注意事项** - **显存需求**：27B模型需至少4块40GB显存的GPU（如A100-40G），若显存不足可启用`swap_space`参数使用磁盘交换。 - **模型格式**：确保模型目录包含`config.json`和`pytorch_model.bin`文件。 - **授权问题**：若从Hugging Face下载模型时提示需要认证，需在代码中添加`token="YOUR_TOKEN"`参数[^1]。 --- ### 性能优化建议 1. **量化部署**：使用`dtype="float16"`或AWQ量化减少显存占用。 2. **批处理**：通过`batch_size`参数提高吞吐量，例如`api_server(..., max_num_batched_tokens=4096)`。 3. **监控工具**：结合`nvidia-smi`和vLLM内置的Prometheus指标监控显存和吞吐量。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

观熵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值