高性能部署实战：vLLM 安装配置 × tokens/s 提升 × 并发测试（适配国产模型）

已于 2025-04-18 10:31:39 修改
阅读量1.9k 收藏 57
点赞数 56
分类专栏： 国产大模型部署实战全流程指南 文章标签： 人工智能 深度学习
于 2025-03-30 17:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28461591/article/details/146713415
版权

个人简介
在这里插入图片描述
作者简介：全栈研发，具备端到端系统落地能力，专注大模型的压缩部署、多模态理解与 Agent 架构设计。 热爱“结构”与“秩序”，相信复杂系统背后总有简洁可控的可能。
我叫观熵。不是在控熵，就是在观测熵的流动
个人主页：观熵
个人邮箱：privatexxxx@163.com
座右铭：愿科技之光，不止照亮智能，也照亮人心！

专栏导航

观熵系列专栏导航：
AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到AI在行业中的落地应用，我们将深入剖析最前沿的AI技术，分享实用的开发经验，并探讨AI未来的发展趋势

了解本专栏 订阅专栏 解锁全文 超级会员免费看
国产大模型 API 怎么封装才最香？FastAPI / Flask / vLLM / 本地服务全方案对比
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-03 1003
FastAPI 是目前国产模型 API 封装🚀速度快：基于 Starlette，支持异步✅结构清晰：路径定义灵活，文档自动生成💡兼容性强：可模拟 OpenAI API 格式🔧易集成：可快速接入日志、限流、权限等中间件FastAPI 是目前国产模型 API 封装🚀速度快：基于 Starlette，支持异步✅结构清晰：路径定义灵活，文档自动生成💡兼容性强：可模拟 OpenAI API 格式🔧易集成：可快速接入日志、限流、权限等中间件模型部署是一半，API 封装是另一半；
推理引擎使用与实践：vLLM × DeepSpeed × TensorRT 全流程拆解
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-19 929
你训练好了大模型、调好了 Prompt、模型表现也不错，但一上线就掉帧、延迟飙升、显存爆炸？ 问题不在模型本身，而在你还没有真正理解推理引擎的工作方式。 本篇文章从一名 AI 系统专家视角，系统讲解如何基于 vLLM、DeepSpeed-Inference 与 TensorRT 构建高吞吐、低延迟的推理服务，涵盖从模型加载、KV Cache 管理、动态批处理、量化部署到多模型切换的关键机制与实践技巧。
Ollama vs vLLM：并发性能深度评测
Cyanty的博客
02-17 2404
1.1 OllamaOllama 是一个简单易用的 LLM 部署工具，以其简洁的安装和用户友好的界面而闻名。它支持多种模型架构，并提供了丰富的命令行工具和图形化界面，适合快速原型设计和小规模部署。1.2 vLLMvLLM（Very Large Language Model）是一个高性能的推理引擎，专注于大规模语言模型的高效推理。它通过动态批处理、显存优化和多 GPU 支持，显著提升了推理速度和资源利用率。
基于python实现的通义千问VLLM推理部署+详细教程+源码（毕业设计&课程设计&项目开发）
02-05
基于python实现的通义千问VLLM推理部署+详细教程+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： 本项目旨在探索生产环境下的高并发推理服务端搭建方法，核心工作非常清晰，边角细节没有投入太多精力，希望对大家有帮助 vLLM支持Continuous batching of incoming requests高并发批推理机制，其SDK实现是在1个独立线程中运行推理并且对用户提供请求排队合批机制，能够满足在线服务的高吞吐并发服务能力 vLLM提供asyncio封装，在主线程中基于uvicorn+fastapi封装后的asyncio http框架，可以实现对外HTTP接口服务，并将请求提交到vLLM的队列进入到vLLM的推理线程进行continuous batching批量推理，主线程异步等待推理结果，并将结果返回到HTTP客户端 vLLM天然支持流式返回next token，基于fastapi可以按chunk流式返回流式推理成果，在客户端基于requests库流式接收chunk并复写控制台展示，实现了流式响应效果
一文说清VLLM .VS.Ollama的区别
打造全国最全的AI Agent开发知识领域的博客
03-03 4637
对比VLLM与Ollama，解析两者在性能、易用性和应用场景的异同，助你选择合适框架。
大模型vllm推理速度性能
努力给自己想要的
09-30 2153
使用vllm进行部署推理，部署参数如下：并发性能测试构建数据的特点：测试性能结果：
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 7493
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
vLLM 部署大模型
哦豁灬
04-04 2万+
vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。
本地部署 vllm
engchina的专栏
12-25 5016
本地部署 vllm
使用vllm部署自己的大模型
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
大模型实战教程 | 用vllm快速部署大模型
Code1994的博客
12-15 3448
在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。本文将指导您完成vLLM的安装、在服务器上运行它以及将其集成到应用程序中的步骤。
使用vllm部署大语言模型
yuanlulu的博客
07-08 4393
vLLM是一个快速且易于使用的库，用于LLM（大型语言模型）推理和服务。通过PagedAttention技术，vLLM可以有效地管理注意力键和值内存，降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理，从而提高整体处理速度。
vLLM部署多模态大模型
Guo_Python的博客
03-19 929
vLLM 是一个高效的推理和部署框架，专为大规模语言模型（LLM）优化。它采用 PagedAttention 技术，显著提高 GPU 显存利用率，支持高吞吐量推理。vLLM 兼容 Hugging Face Transformers 和 OpenAI API 接口，便于集成现有模型。其高效的 KV 缓存管理减少重复计算，适用于流式生成、批量处理和多用户推理场景。vLLM 还支持 FlashAttention，可进一步提升推理速度。
推理框架深度对比：Transformers / vLLM / TGI / FastChat 部署实测 × 适配建议
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
03-30 1007
从出发，全面对比当前主流大模型推理框架在国产模型中的表现，包括安装复杂度、兼容模型范围、接口标准化程度、性能数据等，帮助你。
用 LoRA 精调 Qwen2.5 模型：从训练数据到权重产出全流程实战
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-05 1369
LoRA 微调到底怎么做？这篇文章带你从 0 到 1 跑通一套完整的 Qwen2.5 微调流程：训练数据怎么构、模型怎么挂 LoRA、如何跑出第一轮训练结果、怎么保存 + 加载权重、如何用 LoRA 产物搭建 API 服务。
通过vLLM部署LLM模型到生产环境中
Michael的博客
02-07 1613
./output/qwen2_5-1_5b-instruct/v0-202xxxxx-xxxxxx/checkpoint-xxx-merged”：替换为真实的微调模型路径。该服务提供的HTTP接口兼容OpenAI API，可以通过调用HTTP接口，如/v1/chat/completions，让你快速体验大模型的推理能力。然后，在终端窗口执行wrk压测命令，分别设置chat接口的并发量(-c)为1和10，压测时间(-d)均为10s，观察两个实验的压测结果。请注意，关闭终端窗口将会立即终止服务。
vllm大模型部署
欧米伽
12-11 1954
在 vLLM 中，python -m vllm.entrypoints.api_server 是用于启动基于 FastAPI 的 RESTful API 服务的命令。通过这个服务，用户可以方便地与部署的大语言模型（LLM）交互
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
vLLM实战：多机多卡大模型分布式推理部署全流程指南
目标检测、LLM相关
04-09 1742
拓扑感知：通过nvidia-smi topo -m查看GPU连接方式，优先使用NVLink互联的GPU组。调整–tensor-parallel-size与–pipeline-parallel-size比例。连续批处理：vLLM默认启用，通过–max-num-seqs 256控制并发量。Ray日志：/tmp/ray/session_latest/logs/–object-store-memory：建议设置为可用内存的70%降低–gpu-memory-utilization至0.7-0.8。
vllm部署gemma3:27b模型
03-20
<think>好的，我现在需要帮助用户了解如何使用vLLM部署GEMMA3 27B模型。首先，我需要确认用户的需求。用户可能已经知道vLLM是一个高效推理和服务框架，想用它来部署较大的模型如GEMMA3 27B。我需要整理相关步骤，并确保信息准确。 首先，查阅vLLM的官方文档，看看是否支持GEMMA模型。根据之前的引用，Gemma是谷歌发布的轻量级开源模型，而vLLM支持多种架构，比如Llama、Mistral等，但需要确认是否适配Gemma的结构。可能需要用户自行验证兼容性，或者是否有社区贡献的支持。 然后，安装vLLM是关键步骤。用户需要安装最新版本的vLLM，可能通过pip或从源码安装。需要注意CUDA版本兼容性，因为vLLM依赖CUDA进行加速。 接下来是模型下载。用户需要从Hugging Face或官方仓库获取GEMMA3 27B的模型文件，确保下载的是支持PyTorch格式的版本。例如，Hugging Face上的模型可能需要转换或直接使用。 编写启动脚本时，需要了解vLLM的启动命令和参数。例如，使用`vllm.entrypoints.api_server`启动API服务，指定模型路径、tensor并行度、端口等。此外，可能需要调整参数如dtype为bfloat16以节省显存，设置gpu_memory_utilization来优化显存使用。 调用服务部分，用户可以通过curl或Python客户端发送请求。需要提供示例代码，展示如何构造请求体，处理响应。同时，可能需要处理授权问题，如果模型需要API token，需在请求头中添加。 在注意事项里，显存需求是一个重点。GEMMA3 27B可能需要多块GPU，比如使用tensor并行度2或4。需要提醒用户检查硬件资源是否足够，以及如何监控显存使用。 此外，用户可能遇到的问题包括模型格式不兼容、CUDA版本不匹配、依赖缺失等。需要建议安装正确的依赖，如特定版本的PyTorch和Transformers库。 最后，生成相关问题，帮助用户进一步了解模型部署的优化、性能监控、量化方法，以及结合其他工具的使用，比如LangChain。这些问题需要覆盖用户可能感兴趣的扩展话题，帮助他们深入应用。 确保回答中所有数学公式和代码符合格式要求，使用中文，结构清晰，引用正确。检查是否有遗漏的步骤或潜在问题，确保用户能够顺利按照指导进行操作。</think>### 使用vLLM部署GEMMA3 27B模型的步骤 #### 1. **环境准备** - 确保GPU驱动、CUDA（>=11.8）和PyTorch（>=2.0）已安装。 - 安装vLLM： ```bash # 从源码安装（推荐） git clone https://github.com/vllm-project/vllm.git cd vllm && pip install -e . # 或直接通过pip安装 pip install vllm ``` #### 2. **下载GEMMA3 27B模型** - 从Hugging Face下载模型权重（需访问权限）： ```bash huggingface-cli download google/gemma-27b --local-dir ./gemma-27b ``` 若模型需要API token，需在Hugging Face账户中申请[^4]。 #### 3. **编写启动脚本** 创建`launch_gemma.py`文件，使用vLLM的API服务器： ```python from vllm.entrypoints import api_server api_server.start_http_server( model="google/gemma-27b", tensor_parallel_size=4, # 根据GPU数量调整（如4块A100） port=8000, dtype="bfloat16", # 显存优化 gpu_memory_utilization=0.9, trust_remote_code=True # 允许加载自定义模型代码 ) ``` #### 4. **启动服务** ```bash python launch_gemma.py ``` 服务启动后，可通过`http://localhost:8000`进行访问。 #### 5. **调用模型API** 使用Python客户端调用： ```python from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.7, max_tokens=200) llm = LLM(model="google/gemma-27b", tensor_parallel_size=4) prompts = ["请解释量子计算的原理。"] outputs = llm.generate(prompts, sampling_params) for output in outputs: print(output.outputs[0].text) ``` #### 6. **注意事项** - **显存需求**：27B模型需至少4块40GB显存的GPU（如A100-40G），若显存不足可启用`swap_space`参数使用磁盘交换。 - **模型格式**：确保模型目录包含`config.json`和`pytorch_model.bin`文件。 - **授权问题**：若从Hugging Face下载模型时提示需要认证，需在代码中添加`token="YOUR_TOKEN"`参数[^1]。 --- ### 性能优化建议 1. **量化部署**：使用`dtype="float16"`或AWQ量化减少显存占用。 2. **批处理**：通过`batch_size`参数提高吞吐量，例如`api_server(..., max_num_batched_tokens=4096)`。 3. **监控工具**：结合`nvidia-smi`和vLLM内置的Prometheus指标监控显存和吞吐量。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

观熵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值