vLLM介绍

最新推荐文章于 2025-04-15 09:35:02 发布
最新推荐文章于 2025-04-15 09:35:02 发布
阅读量2.1k 收藏 20
点赞数 20
文章标签： vLLM 大模型推理 AIGC LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shui123546yi/article/details/134882210
版权

简介

vLLM 工程github地址
Paged attention论文地址

vLLM开发者介绍

Woosuk Kwon

vLLM: A high-throughput and memory-efficient inference and serving engine for LLMs.
SkyPilot: A framework for easily and cost effectively running machine learning workloads on any cloud.

Zhuohan Li

vLLM: A high-throughput and memory-efficient serving engine for large language models, accelerated with PagedAttention.
Vicuna: An open-source chatbot impressing GPT-4 with 90% ChatGPT quality.
AlpaServe: Use model parallelism to accelerate deep learning serving, even when models fit a single GPU.
Alpa: Automate model parallel training with just a few lines of code.

Features

  • SOTA最先进的服务吞吐量
  • 高效的显存管理：PagedAttention高效管理kv memory，multi-query attention
  • 传入请求的Continuous batching
  • 优化的CUDA kernels。比如从Faster Transformer release 5.3中移植过来的attention kernel。实现了layernorm和position encoding kernels。
  • 支持多卡GPU推理，目前只支持Tensor parallel，不支持pipeline parallel
  • 最新开源模型支持，更新速度非常快：llama, llama2, 百川，通义千问，书生等等

主要解决的问题

由于LLMs以迭代方式生成其输出，LLM服务的性能受到内存的限制（内存和IO受限型memory-IO bound），计算资源不是瓶颈。就是说，当前将1MB的数据加载到GPU的计算核心所花费的时间比这些计算core对1MB数据执行LLM计算所花费的更多。这意味着LLM推理吞吐量在很大程度上取决于您可以将多大的batch放入高带宽GPU内存。参见(processor’s ops:byte ratio.）
在自回归解码过程中，LLM的所有输入tokens产生它们的attention key and value tensors，并且这些tensors被保存在GPU存储器中以生成下一个token。这些缓存的key and value tensors通常被称为KV缓存。由于碎片和过度预留，现有系统浪费了60%-80%的显卡内存。

vLLM的解决方案

减少显存的碎片和过度预留问题可以显著的提升推理性能。VLLM的主要解决思路是：

以下是 AnyScale 公司针对VLLM做的continuous-batching-llm-inference评测结论：
我们想要看看这种优化的性能如何。我们将详细讨论以下内容，包括我们如何模拟生产工作负载，但是总结我们的发现：

  • 使用continuous batching和Paged attention内存优化（使用vLLM），吞吐量可提高高达23倍。
  • 通过使用continuous batching（在Ray Serve和Hugging Face的text-generation-inference上），吞吐量比简单batch提高8倍。
  • 通过优化的模型实现（NVIDIA的Faster Transformer优化介绍），吞吐量比简单batch提高4倍。

vLLM Work Through

详细参考绑定的资源：vLLM First SF Meetup Slides。是2个作者写的比较详细

性能评测 TBD

shui123546yi
关注
大模型推理和部署框架vLLM
qq_52053775的博客
09-18 2859
操作系统中的内存分页是一种用于管理和分配计算机内存的方法，主要应用于 Windows 和 Unix 等操作系统。它的基本思想是将内存分割成多个“页面”（Page），操作系统根据程序运行的需要将页面动态地加载到物理内存中，而不常用的页面则可以暂时存放到硬盘上的交换文件（Swap File）中。这种技术可以让内存使用更加高效，避免将所有程序的数据一次性加载到物理内存中，尤其是当系统资源有限时，这种机制可以显著提升系统的性能。
ImportError: cannot import name ‘MultiModalData‘ from ‘vllm.sequence‘解决方案
热门推荐
weixin_43178406的博客
07-27 10万+
 本文主要介绍了ImportError: cannot import name ‘MultiModalData’ from 'vllm.sequence’解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
大模型框架：vLLM
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
VLLM：虚拟大型语言模型（Virtual Large Language Model）
MrLi的博客
03-18 668
管理角度： - 设立明确的管理策略和政策，以确保数据安全和隐私保护。 - 设计有效的质量控制流程，监控和维护课程质量。 - 提供持续的用户支持和客户关系管理，以提高用户满意度。
一文说清VLLM .VS.Ollama的区别
打造全国最全的AI Agent开发知识领域的博客
03-03 4591
对比VLLM与Ollama，解析两者在性能、易用性和应用场景的异同，助你选择合适框架。
vLLM：由伯克利大学LMSYS组织开源的大语言模型高速推理框架-显著提高了大型语言模型（LLM）的服务效率
汽车软件开发
04-18 5905
vLLM是一个由伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在提升实时场景下语言模型服务的吞吐与内存使用效率134。它是一个快速且易于使用的库，能够与HuggingFace无缝集成134。vLLM的核心是PagedAttention算法，这是一种新颖的注意力算法，通过引入操作系统的虚拟内存分页思想，显著提高了大型语言模型（LLM）的服务效率512。此外，vLLM还支持FastAPI前端，扩展了OpenAI API接口，允许用户为每个请求自定义采样参数1516。
vLLM：高性能与内存高效的大型语言模型推理引擎
gitblog_07084的博客
09-13 761
vLLM：高性能与内存高效的大型语言模型推理引擎 vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: ht...
vLLM - 高性能LLM推理引擎
Cyanty的博客
02-17 1556
工具名称性能表现易用性适用场景硬件需求模型支持部署方式系统支持零开销批处理提升1.1倍吞吐量，缓存感知负载均衡提升1.9倍，结构化输出提速10倍需一定技术基础，但提供完整API和示例企业级推理服务、高并发场景、需要结构化输出的应用推荐A100/H100，支持多GPU部署全面支持主流大模型，特别优化DeepSeek等模型Docker、Python包LinuxOllama继承 llama.cpp 的高效推理能力，提供便捷的模型管理和运行机制，并发处理能力相对有限。
vllm介绍
03-29
好的，我现在需要回答用户关于vLLM的问题，用户想知道vLLM是什么、它的介绍以及使用场景。首先，我要确保自己正确理解vLLM的相关信息。根据提供的引用内容，用户已经给出三个引用源，我需要仔细分析这些内容并整合...
vLLM模型推理引擎参数大全
洛阳泰山的博客
03-19 3387
llm ai对话大语言模型推理服务框架引擎 参数 大全
vLLM初探
邹中凡
05-12 6410
是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。
vLLM：高性能大语言模型推理引擎详解与对比分析
最新发布
AngelCryToo的专栏
04-15 1108
传统 LLM 推理时，KV Cache（存储注意力机制的 Key-Value 对）会占用大量显存，且由于请求长度不一，容易造成。的内存利用率，从而在相同硬件条件下实现更高的吞吐量（Throughput）和更低的延迟（Latency）。：vLLM 在通用 GPU 上接近 TensorRT-LLM，远超 HuggingFace。）是由加州大学伯克利分校团队开发的高性能大语言模型（LLM）推理引擎，专注于。机制（类似操作系统的分页内存管理），显著优化了。：vLLM 显存优化显著，适合长文本推理。
vLLM深度解析：高性能大语言模型推理引擎全揭秘
2401_84495872的博客
04-08 1021
vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型推理引擎。它专注于通过创新的内存管理和计算优化技术，实现高吞吐、低延迟、低成本的模型服务。
VLLM介绍
qq_30594137的博客
04-02 1621
传统的serving system为了保险起见，就会预留非常大的空间，比如模型支持的最大输出2048个token，它就会预留这么大的空间，那么如果我产生的输出仅有10个token，剩下的2038的slots就会作为内部碎片被浪费,而且所有生成的token只限定给当前request使用。1. 传统的serving system,会申请2048个连续的内存块，来保存将要生成的token，如果只使用10个的话，那就会造成2038个内存块的浪费。处理40个请求，才会占满40g内存。每秒能吞吐1k的token。
vllm引擎
liuzhenghua66的博客
04-19 2099
LLM有望从根本上改变我们在所有行业使用人工智能的方式。然而，部署这些模型具有挑战性，即使在昂贵的硬件上，速度也可能出奇地慢。vLLM`是一个用于快速 LLM 推理和服务的开源库。vLLM 利用，一个新的注意力算法，可以有效管理注意力键和值。配备 PagedAttention 的 vLLM 重新定义了 LLM 服务的最新技术水平：它的吞吐量比 HuggingFace Transformers 高出 24 倍，且无需更改任何模型架构。
vLLM：为所有人打造的高效、便捷且经济的大模型服务方案
gitblog_00622的博客
08-23 570
vLLM：为所有人打造的高效、便捷且经济的大模型服务方案 vllm-gptq项目地址:https://gitcode.com/gh_mirrors/vl/vllm-gptq 在当今人工智能快速发展的时代，大型语言模型（LLMs）已经成为推动技术进步的关键力量。然而，高效部署这些庞大的模型常常是开发者和企业的痛点。今天，我们向您隆重介绍vLLM——一个旨在简化大模型推理和服务过程的开源库，它让大模...
什么是VLLM
keyboard专栏
09-24 3518
VLLM 是一种强大的工具，专注于优化 LLM 的推理过程，尤其适用于需要高效推理和有限硬件资源的场景。通过使用动态张量并行、异步推理和高效的内存管理等技术，VLLM 能够显著提高推理性能，为大型语言模型的实际应用提供了更加灵活和可扩展的解决方案。
vLLM简介
SWZ156的博客
10-18 1116
vLLM是一款高性能的LLM推理引擎，它针对大语言模型的推理任务进行了优化，特别适合处理并行性和大规模部署的需求。其设计核心是通过创新的“动态批处理”和“连续缓存”来最大化GPU的利用率，同时减少内存占用与数据传输开销。这些技术突破让vLLM在推理速度和硬件资源消耗之间找到了平衡，使得它成为大规模、多用户并发场景下的一种理想选择。
deepseek vLLM
02-07
### DeepSeek vLLM 介绍 DeepSeek vLLM 是一种优化后的大型语言模型部署框架，旨在提高推理效率并降低资源消耗。该框架支持多种量化技术，使得可以在较低配置硬件上高效运行复杂的语言处理任务[^1]。 ### 使用教程与文档获取 官方提供了详细的安装指南和技术文档来帮助开发者快速入门。这些资料通常位于项目主页或GitHub仓库内，建议访问对应页面查阅最新版说明文件以获得最准确的操作指导[^2]。 ### 下载与安装过程 为了下载指定版本的 DeepSeek 模型至本地环境，可以执行以下命令： ```bash modelscope download --model deepseek-ai/DeepSeek-V2-Lite-Chat --local_dir . ``` 这条指令会把 `deepseek-ai/DeepSeek-V2-Lite-Chat` 这个特定变种保存到当前工作路径下，方便后续加载使用。 ### 配置方法概述 完成上述步骤之后，在实际应用前还需要适当调整参数设置以适配具体应用场景需求。这可能涉及到修改配置文件中的超参选项或是通过API接口传递额外参数给服务端实例化对象时传入。 ### 示例代码展示 下面给出一段简单的 Python 脚本用于初始化已下载好的轻量级聊天机器人模型，并调用其预测功能来进行一次对话交互测试： ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained('path_to_local_model_directory') model = AutoModelForCausalLM.from_pretrained('path_to_local_model_directory') input_text = "你好啊" inputs = tokenizer(input_text, return_tensors="pt") with torch.no_grad(): outputs = model.generate(**inputs) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response) ``` 此脚本假设已经成功完成了前面提到的所有准备工作，并且替换了 `'path_to_local_model_directory'` 占位符为真实的存储位置字符串值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值