如何对vllm模型推理框架，进行并发测试，看看能一次并发多少？

最新推荐文章于 2025-05-20 21:57:39 发布
最新推荐文章于 2025-05-20 21:57:39 发布
阅读量131 收藏
点赞数 6
分类专栏： 实操经验专题 文章标签： ubuntu 大模型 vllm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42672685/article/details/148032793
版权

环境：

vllm 0.8.5

Qwen3-235B-A22B-AWQ

H20 95Gx2

问题描述：

如何对vllm模型推理框架，进行并发测试，看看能一次并发多少？

在这里插入图片描述

解决方案：

1. 异步并发测试脚本（基于 aiohttp）

import asyncio
import aiohttp
import time

API_URL = "http://192.168.118.13:8700/v1/chat/completions"

HEADERS =
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Linux安装vLLM模型推理框架问题总汇
洛阳泰山的博客
03-15 2979
vLLM 是一个专为大规模语言模型（Large Language Models, LLM）推理优化的服务框架和推理引擎。它可以高效地管理和部署预先训练好的大型语言模型，尤其是那些具有极高参数数量和复杂度的模型，如GPT系列及其他基于Transformer架构的模型。：通过采用诸如PagedAttention这样的技术，vLLM能够有效地管理内存并提高注意力机制中Key和Value的处理效率，从而提升模型推理的速度和并发处理能力。
【llm对话系统】 LLM 大模型推理python实现：vLLM 框架
kakaZhui的博客
01-28 1548
LLM 推理实现和vLLM 框架的使用
大模型推理框架：Ollama和vLLM到底应该选哪个？
2401_85375186的博客
12-30 4039
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。
vLLM框架：使用大模型推理框架
CITY_OF_MO_GY的博客
02-07 2914
支持 CUDA 11.8 及以上（推荐 NVIDIA A100/H100，RTX 4090 等消费级卡需注意显存限制）vLLM 专为高效部署大规模语言模型设计，尤其适合高并发推理场景，关于对vLLM的介绍请看。: 至少 20GB（运行 7B 模型），推荐 40GB+（运行 13B/70B 模型）：确保 CUDA 版本匹配，合理选择量化方案。：通过 OpenAPI 兼容接口快速构建服务。：利用连续批处理、动态块分配提升吞吐。：自动合并多个请求，提升吞吐量。：集成视觉模型实现图文联合推理。
大模型推理框架Ollama和vLLM是什么？如何选？新手小白必看！
2401_85325726的博客
04-25 1270
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
vLLM 大模型推理引擎调研文档
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-16 2536
vLLM 是一个快速且易于使用的 LLM 推理和服务库，文章内容包含模型引擎部署、参数量化、性能调优分析等全套内容。
vLLM vs SGLang：大模型推理框架，谁更适合你的需求？
m0_48891301的博客
03-22 2086
总体而言，vLLM 在模型支持和应用生态方面具有优势，而 SGLang 在推理性能优化表现相对出色。目前vLLM和SGLang的代码库已开始互相借鉴（如vLLM计划引入RadixAttention），但短期内仍是差异化竞争。
vLLM：给大模型提提速，支持高并发吞吐量提高24倍，同时推理速度最少提高 8 倍
Debroon
03-18 9386
vLLM系统：在PagedAttention的基础上构建的一个高吞吐量的分布式LLM服务引擎，采用块级内存管理和预先请求调度，实现了KV缓存内存的近零浪费。这导致了大量的内部碎片化（预留的内存未被完全使用）和外部碎片化（由于连续内存的需求，可用内存块被分散，不能被有效利用）。按照改进的方式，你可以立即把客人A的订单向前推进到下一步（加汉堡肉），同时把新来的客人B的订单加入到加生菜的步骤中。通过这种方式，vLLM可以在有限的GPU内存中，以更高的效率处理更多的请求，提高了LLM服务的吞吐量和响应速度。
大模型推理框架概述
吃果冻不吐果冻皮
10-07 3413
Text Generation Inference（TGI）是 HuggingFace 推出的一个项目，作为支持 HuggingFace Inference API 和 Hugging Chat 上的LLM 推理的工具，旨在支持大型语言模型的优化推理。FasterTransformer 库使用此参数对所有底层算法进行实时基准测试，并为模型的参数和您的输入数据（注意层的大小、注意头的数量、隐藏层的大小）选择最佳的一个。对于自注意力块和前馈网络块，FT 按行拆分第一个矩阵的权重，并按列拆分第二个矩阵的权重。
vLLM框架在不同主流GPU卡推理性能测评
2401_85375186的博客
11-21 5119
选择恰当的GPU卡来部署大语言模型至关重要。它不仅可以确保用户通过更快的生成速度获得最佳体验，还可以通过更高的 Token 生成率和资源利用率来降本增效。本文将讲述如何评估LLM的推理性能以及vLLM框架在不同主流GPU卡（4090/A800/H800/H20等）上进行推理性能测评。LLM推理过程LLM推理服务的目标常见LLM推理服务性能评估指标LLM推理优化技术LLM基准测试说明LLM基准测试输入的选择LLM基准测试并发请求的选择LLM张量并行的选择基于丹摩智算云进行推理环境构建。
为什么vllm能够加快大模型推理速度？
u012374012的专栏
01-23 1070
如果对比过 vllm 进行大模型推理 和 直接调用模型generate 就会知道 vllm可以让推理速度比直接调用模型generate快2-4倍。那问题来了，？
【Ragflow】18.更好的推理框架：vLLM的docker部署方式
兴趣使然的创作者
04-16 1427
看到不少人说“Ollama就图一乐，生产环境还得用vLLM”。本文决定使用docker对vLLM进行部署，并解决模型配置中，IP地址的硬编码问题。
Ubuntu 更改 Nginx 版本
WGS.
05-16 224
Ubuntu 更改 Nginx 版本
ubuntu sh安装包的安装方式
ivanwfy的专栏
05-19 205
然后按提示安装，注意安装位置 默认是在 root下，可能会有权限问题，可改成。ubuntu sh安装包的安装方式以Miniconda2为例。如果需要python2.7版本可下载以下版本。为了使python能在终端生效，可打开设置。打开终端输入安装命令。
服务器多用户共享Conda环境操作指南——Ubuntu24.02
Vodka的博客
05-19 1087
确认 /etc/profile.d 中的 PATH 正确指向 /opt/anaconda3/bin。所有用户需运行 conda init bash 并重新加载 .bashrc。将 Anaconda 安装到公共目录（例如 /opt/anaconda3）指定安装路径：输入 /opt/anaconda3 并按 Enter。运行 source /etc/profile.d 重新加载环境变量。是否初始化 Anaconda：选择 yes（自动配置环境变量）。将用户添加到 anaconda 组（替换 为实际用户名）
Ubuntu搭建NFS服务器的方法
kevin1499的博客
05-18 390
在Ubuntu 18.04上搭建NFS服务器的步骤包括：首先安装nfs-kernel-server和rpcbind，然后创建一个文件夹作为NFS服务器目录并设置权限。接着，通过编辑/etc/exports文件来配置NFS共享目录，并指定访问权限。最后，重启NFS服务器以应用更改。这一过程使得开发板等设备能够通过网络访问Ubuntu上的文件系统，便于调试和文件共享。
Ubuntu 20.04 C++开发环境搭建指南（2025版）
ALex_zry的博客
05-17 1010
fill:#333;color:#333;color:#333;fill:none;系统准备安装工具链配置编辑器创建C++项目构建与调试高级配置。
ubuntu下实时检测机械硬盘和固态硬盘温度
最新发布
前行居士
05-20 429
本文介绍了如何在Linux系统中使用smartmontools工具监控硬盘温度。首先，通过sudo apt update和sudo apt install smartmontools命令安装工具。接着，使用sudo smartctl -a /dev/sda查看硬盘详细信息，包括温度。虽然smartctl无法实时显示温度，但可以通过watch命令定期查看，如watch -n 10 "sudo smartctl -a /dev/sda | grep Temperature_Celsius"，
ubuntu14.04/16.06 安装vscode（实测可以用）
qq_20388971的博客
05-20 140
地址：https://code.visualstudio.com/updates/v1_38。这个版本还支持ubuntu14.04和16.06。
vllm推理加速微调后模型
04-03
### vLLM微调模型推理加速技术实现方案 #### 背景概述 vLLM 是一种专注于大规模语言模型（LLM）推理优化的服务框架，能够显著提升模型的推理速度并降低资源消耗。它支持多种硬件平台以及不同的 LLM 架构，并提供了灵活的接口用于部署经过微调的大规模预训练模型[^2]。 #### 安装与配置环境 为了利用 vLLM 对微调后的模型进行推理加速，首先需要完成必要的安装和配置工作。具体操作包括但不限于 Python 环境准备、依赖库安装以及 GPU 驱动程序设置。以下是典型的安装命令： ```bash pip install vllm==0.6.1 ``` 如果目标环境中涉及特定版本的 CUDA 或 cuDNN，则需额外确认其兼容性以避免运行时错误[^3]。 #### 加载微调模型 加载已经过微调处理过的 LLM 至内存中是整个流程的关键环节之一。通常情况下，这些模型会被存储于 ModelScope 或 Hugging Face Hub 上供下载使用。例如，对于 Qwen2.5-7B-Instruct 这样的模型实例，可以通过以下方式获取本地副本： ```bash modelscope download --model qwen/Qwen2.5-7B-Instruct README.md ``` 随后，在代码层面指定路径参数即可完成初始化过程: ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("/path/to/qwen/Qwen2.5-7B-Instruct") model = AutoModelForCausalLM.from_pretrained("/path/to/qwen/Qwen2.5-7B-Instruct", device_map="auto", torch_dtype=torch.float16) ``` 此处采用 `device_map` 参数自动分配张量至可用设备上；而通过设定数据类型为半精度浮点数 (`torch.float16`) 可进一步减少显存占用率从而提高吞吐性能[^1]。 #### 推理加速机制解析 vLLM 的核心优势在于其实现了一系列先进的算法和技术来达成高效能表现。其中包括但不限于批量化请求管理 (Batching Requests Management)，动态解码策略调整 (Dynamic Decoding Strategy Adjustment) 和多线程执行计划调度 (Multi-thread Execution Plan Scheduling)。当多个用户并发提交相似的任务时，系统可以智能地将其组合成更大的批次加以计算，进而摊薄固定开销部分的比例达到节省时间的目的。 另外值得一提的是，针对 Transformer 结构特有的自回归特性，vLLM 提出了专门定制化的 KV 缓存管理方法[KV Cache Optimization]，有效减少了重复运算次数的同时也维持住了较高的预测质量水平。 #### 实践案例分享 假设我们希望构建一个 RESTful API 来对外提供基于上述提到的 Qwen2.5-7B-Instruct 模型的服务端点。那么完整的解决方案可能看起来像这样: ```python from fastapi import FastAPI from pydantic import BaseModel from typing import List from vllm import SamplingParams, LLMEngine app = FastAPI() class PromptRequest(BaseModel): prompts: List[str] engine = LLMEngine(model="/path/to/qwen/Qwen2.5-7B-Instruct") @app.post("/generate/") async def generate(request: PromptRequest): sampling_params = SamplingParams(temperature=0.8, top_p=0.95) outputs = engine.generate(prompts=request.prompts, sampling_params=sampling_params) results = [] for output in outputs: generated_text = tokenizer.decode(output.outputs[0].token_ids) results.append(generated_text) return {"results": results} ``` 此脚本定义了一个简单的 HTTP POST 方法接收输入提示串列表作为参数并通过调用底层引擎对象的方法返回对应的生成结果字符串集合。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玩人工智能的辣条哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值