【vLLM】【基准测试】：vLLM部署大模型的基准测试

已于 2025-02-25 14:11:07 修改
阅读量2.2k 收藏 30
点赞数 23
分类专栏： 在ML发神经的日常 文章标签： 人工智能 自然语言处理
于 2025-02-25 14:09:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53690996/article/details/145851627
版权

目录

1 咨询vllm官网的AI

2 下载测试数据集

3 下载python测试脚本

4 启动python脚本的命令

5 正式测试

5.1 ASYNC-REQUEST-FUNCS

5.2 NOT FOUND

5.3 Unprocessable Entity

6 测试结果

6.1 Qwen2___5-Coder-32B-Instruct-GPTQ-Int8

6.2 QwQ-32B-Preview

6.3 Qwen2-7B-Chat

7 总结

官方文档：Benchmark Suites — vLLM

github官网项目：https://github.com/vllm-project/vllm

硬件状况：4张4090的24G的卡

1 咨询vllm官网的AI

问：如何完成基准测试

答：如下图所示

2 下载测试数据集

3 下载python测试脚本

如下是脚本的部分内容，全部代码过长无法粘贴（后面我选择了拉取整个vllm项目，这里看看即可）

4 启动python脚本的命令

python benchmark_serving.py
	--backend vllm \
	--tokenizer /root/autodl-tmp/Qwen/Qwen2___5-Coder-32B-Instruct-GPTQ-Int8\ 
	--dataset /root/LLaMA-Factory/ShareGPT_V3_unfiltered_cleaned_split.json\
	--num-prompts 500 \
	--request-rate 
1 \
	--host 127.0.0.1 \
	--port 8080\

脚本解释：（只做解释，后面优化了这个启动命令）

启动 benchmark_serving.py 这个python文件中的代码

backend 模式为 vllm 这里对应如下

是发送请求的模式，可以有很多不同的模式

tokenizer 加载模型中的tokenizer

dataset 指定对应的测试数据集

num-prompts 发送请求数量 发送500次请求

request-rate 发送请求的频率，一秒一次

host 发送请求的ip地址

port 发送请求的端口

5 正式测试

5.1 ASYNC-REQUEST-FUNCS

发现有个包未导入

pip install ASYNC-REQUEST-FUNCS 也失败，也就是说这是一个vllm自己写的包

选择下载完整的vllm项目，问题解决

5.2 NOT FOUND

启动命令增加 --modol 指向模型（后来我发现这只是一个模型名称的参数，并不需要完整的路径） --dataset-name 数据集的格式

启动后，出现NOT FOUND

查看vllm API 后台也是 not found，基准测试的not found 应该是 API返回的

后使用openai 进行了一次请求，仔细对照下发现了不同

基准测试的 请求 base_url:127.0.0.1:8080/v1/completions

openai的 请求 base_url:127.0.0.1:8080/v1/chat/completions

基准测试的请求url是一个老版本的格式，是openai 0.28的格式，非常古老了已经

查看python源码，修改url

5.3 Unprocessable Entity

出现新的错误：Unprocessable Entity

仔细查看启动命令后和查看backend_request-func.py的源码后，应当将 --backend更改为openai-chat，因为咱们的vllm是部署到openai API上的，访问也是openai的格式

修改后的启动命令

python benchmark_serving.py 
	--backend openai-chat 
	--model Qwen2___5-Coder-32B-Instruct-GPTQ-Int8 
	--tokenizer /root/autodl-tmp/Qwen/Qwen2___5-Coder-32B-Instruct-GPTQ-Int8 
	--dataset-path /root/LLaMA-Fac
tory/ShareGPT_V3_unfiltered_cleaned_split.json 
	--dataset-name sharegpt 
	--num-prompts 500 
	--request-rate 1 
	--host 127.0.0.1 
	--po
rt 8080

成功启动

6 测试结果

6.1 Qwen2___5-Coder-32B-Instruct-GPTQ-Int8

测试结果：82 / 500 * 100% = 16.4%

GPU状况如下：

修改为两秒一次

97 / 500 * 100% = 19.4%

修改为 4秒一次

105 / 500 * 100 % = 21%

设置输出之后发现，在流式过程中，在响应了一部分之后，就被其他打断了

6.2 QwQ-32B-Preview

一秒一次 500次请求

50 / 500 * 100% = 10 %

6.3 Qwen2-7B-Chat

修改为 规模比较小的 Qwen2-7B-Chat模型

一秒一次 500次 请求

374 / 500 * 100 % = 74.8%

7 总结

从以上基准测试来看，在使用Qwen2___5-Coder-32B-Instruct-GPTQ-Int8和QwQ-32B-Preview模型进行vllm推理时，模型本身就比较大，外加生成的文本质量高就会带来更多的负担，更改为7B级别的chat模型之后，会有比较高的一个正确率，但是相应的文本质量就会降低，综上vllm启动的OpenAI的APi端口，有不错的稳定性，并不会因为大量的请求出现宕机的情况，但是由于本身算力的限制和迫切生成高质量文本的本能，会导致请求的成功率比较低，换言之，即API的并发性不高。

模型

总Token通量（token/s）

第一个Token延迟（ms）

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8

38.60

163.25

QwQ-32B-Preview

27.91

175.97

Qwen2-7B-Chat

384.36

70.00

VLLM专题（三十）—基准测试套件（Benchmark Suites）
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
03-18 253
这些测试用于在 vLLM 有重大更新时（例如升级到新版本），将 vLLM 的性能与其他替代方案（如 tgi、trt-llm 和 lmdeploy）进行比较。性能基准测试用于开发过程中，以确认新更改是否在各种工作负载下提升了性能。标签的代码时，以及当 PR 合并到 vLLM 时，都会触发这些测试。最新的夜间基准测试结果会在主要版本发布的博客文章中分享，例如。有关性能基准测试及其参数的更多信息，请参阅。有关夜间基准测试及其参数的更多信息，请参阅。标签的代码时，都会触发这些测试。最新的性能测试结果可以在。
vllm serve 使用方法
NLP与推荐算法
03-27 860
是 vLLM 提供的命令行工具，用于快速部署兼容 OpenAI API 的 HTTP 服务器。是 vLLM 中简洁的命令行接口，用于快速启动 API 服务。指定模型路径或 Hugging Face Hub 模型名称（如。信任远程代码（加载需要自定义代码的模型，如某些社区模型）。张量并行 GPU 数量（多卡推理时设置为 GPU 数量）。SSL 私钥文件路径（启用 HTTPS）。确认模型路径正确（本地模型需绝对路径）禁用性能统计日志（减少日志输出）。禁用请求日志（减少日志输出）。GPU 显存利用率（默认。
谈谈DeepSeek-R1满血版推理部署和优化
Code1994的博客
02-13 2520
推理是一个在线业务, 因此对第一个Token出来的延迟(Time To First Token,TTFT)和后续token产生的延迟(Time Per output Token,TPOT)都会对用户体感产生影响.通常会使用测试工具生成如下一个报告, 具体数据就不多说了.除了并发数。
vllm 0.6.1 大模型推理加速服务安装部署和测试
wu_tech的博客
10-27 1498
vllm 0.6.1 安装部署并测试API
极致推理性能解锁：基于 vLLM 的全流程基准测试实战
最新发布
.
04-20 483
在大型语言模型（LLM）投入生产前，一套可复现、标准化的基准测试流程能够精准揭示推理延迟、吞吐能力与资源利用率等核心指标。本文将从环境准备、仓库拉取，到测试脚本执行与结果解读，为性能优化与容量规划提供全面实战指南。输入长度输出长度构建稳定、高效的语言模型服务，离不开标准化的性能测试流程。从模型加载到推理响应，从单机并发到集群扩展，基准测试不仅提供了关键指标的量化依据，也揭示了潜在的性能瓶颈。持续评估与对比不同配置下的表现，是模型部署进入生产环境前不可或缺的一步。
vLLM 推理引擎性能分析基准测试
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-16 9708
本文为 vLLM 推理引擎根据官方提供的数据集进行的性能基准测试，主要测试分析 --enable-chunked-prefill 的启用/禁用以及 --max-num-batched-tokens 参数的调整对性能的影响情况...
vLLM框架在不同主流GPU卡推理性能测评
2401_85375186的博客
11-21 5119
选择恰当的GPU卡来部署大语言模型至关重要。它不仅可以确保用户通过更快的生成速度获得最佳体验，还可以通过更高的 Token 生成率和资源利用率来降本增效。本文将讲述如何评估LLM的推理性能以及vLLM框架在不同主流GPU卡（4090/A800/H800/H20等）上进行推理性能测评。LLM推理过程LLM推理服务的目标常见LLM推理服务性能评估指标LLM推理优化技术LLM基准测试说明LLM基准测试输入的选择LLM基准测试并发请求的选择LLM张量并行的选择基于丹摩智算云进行推理环境构建。
本地LLM & VLM性能评测
新缸中之脑
07-09 1840
作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。
vLLM vs TensorRT-LLM 性能对比测试，基于0910较新版本
xx_nm98的博客
10-10 3570
vLLM 和 TensorRT-LLM 是我们熟知的大型语言模型（LLM）推理框架。**vLLM**[2] 是一个快速且易于使用的库，支持在多种设备上进行 LLM 推理和服务，包括 NVIDIA、AMD 和 Intel 的 GPU。相对地，**TensorRT-LLM**[3] 是一个高度优化的工具箱，专门为加速 NVIDIA GPU 上的推理性能而设计。两者都旨在最大限度地提高推理速度和资源利用率，同时尽量减少延迟。本文直观比较了 vLLM 和 TensorRT-LLM。和。
vLLM 多机多卡推理测试与验证（Kubernetes）vLLM 多机多卡推理 Kubernetes 验证
流水_鱼鱼的博客
02-14 1879
本文记录在两台 L20 机器，每台机器 4 块 L20 显卡（46G）的环境下，使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型并提供多节点多卡推理服务的过程。服务（Serving）模型服务是指将模型部署到生产环境中，通过 API 或其他接口提供预测服务的过程。【分布式推理与服务】（Distributed Inference and Serving）是指在多个机器或设备之间部署和管理机器学习模型，以高效地处理推理请求并满足大规模服务需求。3、启动 vLLM 服务。
浅谈语言模型推理框架 vLLM 0.6.0性能优化
Ucloud_TShare的博客
11-07 2718
上优刻得AI推理平台，享极速推理体验！ 优刻得AI推理平台上线高性能推理服务框架vLLM，新版vLLM升级「服务推理进程分离」、「多步调度」、「异步输出处理」等机制，以降低CPU争抢开销、减少GPU空闲等待，并使得模型推理和输出处理异步进行。通过不断优化硬件资源利用率，让模型推理更高效。
vLLM×Milvus：如何高效管理GPU内存，减少大模型幻觉
ZILLIZ
11-13 975
大语言模型（LLM）是功能丰富且强大的 AI 系统，能够解决各个领域内的众多问题。它们的发展速度非常快，新模型不断被频繁推出。通常，新推出的 LLM 在处理各种任务时的性能更好。例如 Mistral、Llama、OPT 和 Qwen 等模型都是开源模型，我们可以针对内部数据商用这些模型。然而，在使用这些开源 LLM 时，Serving阶段可能会出现挑战。由于托管 LLM 需要多个GPU，因此其运营...
生产环境H200部署DeepSeek 671B 满血版全流程实战（四）：vLLM 与 SGLang 的性能大比拼
nulifancuoAI的博客
03-14 1495
EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架，内置多个常用测试基准和评测指标，如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等；支持多种类型的模型评测，包括LLM、多模态LLM、embedding模型和reranker模型。EvalScope还适用于多种评测场景，如端到端RAG评测、竞技场模式和模型推理性能压测等。官网：https://evalscope.readthedocs.io。
LLM - 多模态大模型的开源评估工具 VLMEvalKit 部署与测试 教程
AGI
12-09 1257
VLMEvalKit 是大型视觉语言模型设计的开源评估工具包，由 Open Compass 团队开发，它支持一键式评估体验，无需繁琐的数据准备工作，能够对多种视觉语言模型进行评估，并覆盖了多样化的任务场景。
开放医学LLM排行榜：对医疗保健领域的大型语言模型进行基准测试LLM Medical Benchmark
强化学习曾小健
07-08 1309
它是医学模型、数据集、基准和跟踪会议截止日期的中心枢纽，促进了人工智能辅助医疗保健领域的合作、创新和进步。此外，随着电子健康记录 (EHR)、医学文献和患者生成的数据的指数级增长，LLM 可以帮助医疗保健专业人员提取有价值的见解并做出明智的决策。它不促进这些模型的分发、部署或临床使用。评估完成后，您的模型的得分将添加到排行榜中，以便您将其表现与其他提交的模型进行比较。如果您对人工智能与医疗保健的交叉点充满热情，对为医疗保健领域构建模型充满热情，并且关心医学法学硕士的安全和幻觉问题，我们邀请您加入我们。
DeepSeek-V3-0324推理速度提升35%，如何快速落地？
2501_91067693的博客
03-25 1983
3月24日晚，DeepSeek在Hugging Face平台悄然上线了他们的最新力作—DeepSeek-V3-0324。作为 **迭代升级版**，相比前代模型，在 **推理速度** 上优化明显（部分场景提升约 35%），并在 **复杂任务（如长文本理解、代码调试）** 上表现更优。
05-09 周四 vLLM的部署和实践
不当初
05-09 2182
GitHub项目官方网站上解释了Fast、和flexible and easy to use的原因。参考链接网页描述大模型推理加速工具：vLLM描述了安装，离线推理和在线服务的简单演示比HuggingFace快24倍！伯克利LLM推理系统开源碾压SOTA，GPU砍半描述了优点，并且有很多的图。【LLM】vLLM部署与int8量化-CSDN博客。
【vLLM大模型TPS测试三部曲】
xzpdxz的博客
12-29 454
【代码】【vLLM大模型TPS测试三部曲】
【vLLM 学习】调试技巧
HyperAI超神经
04-03 1023
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →。
Quadro M6000 24Gx显卡部署QwQ-32B
03-09
### 部署QwQ-32B模型于NVIDIA Quadro M6000 24GB显存GPU #### 准备工作环境 为了成功部署QwQ-32B模型，确保操作系统和硬件配置满足最低需求。对于Windows环境下基于X99平台的NVIDIA Quadro M6000显卡，建议先更新至最新的驱动版本以获得最佳性能和支持[^2]。 #### 安装必要的软件包 1. **CUDA Toolkit**: QwQ-32B依赖于CUDA进行高效的并行计算操作。安装适用于NVIDIA Quadro M6000 (GM200架构) 的最新稳定版CUDA工具包[^1]。 2. **cuDNN Library**: 加速深度神经网络运算效率，下载对应CUDA版本的cuDNN库文件，并按照官方指南完成设置。 #### 构建运行框架 选择合适的本地大语言模型运行框架至关重要。考虑到资源消耗与兼容性因素： - 推荐采用Ollama作为主要执行引擎，其具备良好的社区支持及优化特性； - 同时集成AnythingLLM图形化前端以便更直观地管理和交互调用API接口[^3]。 #### 调整参数适配硬件条件 由于QwQ-32B属于大型预训练模型之一，可能占用较多内存空间。针对仅拥有24GB VRAM容量的情况，可以考虑采取如下措施来缓解潜在瓶颈： - 设置较低batch size减少单次前向传播所需临时存储量； - 利用混合精度浮点数表示法（FP16），既可加快速度又能节省一半以上的显存开销； - 如果仍然遇到不足，则尝试启用磁盘交换机制或者分布式多设备协同处理方式分担负载压力。 ```python import torch device = 'cuda' if torch.cuda.is_available() else 'cpu' model = ModelClass.from_pretrained('path/to/qwq-32b').half().to(device) tokenizer = TokenizerClass.from_pretrained('path/to/tokenizer') with torch.no_grad(): inputs = tokenizer("输入文本", return_tensors="pt").to(device) outputs = model.generate(**inputs, max_length=50, num_beams=4) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马武寨山的猴子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值