大模型推理工具：vLLM的入门使用

最新推荐文章于 2025-04-19 10:09:05 发布
最新推荐文章于 2025-04-19 10:09:05 发布
阅读量2.7w 收藏 57
点赞数 31
文章标签： llama python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84215165/article/details/137514241
版权
简介

vLLM是一个快速且易于使用的LLM推理和服务库。

vLLM速度很快：

  • 最先进的服务吞吐量
  • 使用PagedNote有效管理注意力键和值内存
  • 传入请求的连续批处理
  • 使用CUDA/HIP图快速执行模型
  • 量化：GPTQ、AWQ、SqueezeLLM、FP8 KV缓存
  • 优化的CUDA内核

vLLM灵活且易于使用：

  • 与流行的拥抱脸模型无缝集成
  • 高吞吐量服务于各种解码算法，包括并行采样、波束搜索等
  • 分布式推理的张量并行性支持
  • 流式输出
  • 与OpenAI兼容的API服务器
  • 支持NVIDIA GPU和AMD GPU
  • （实验性）前缀缓存支持
  • （实验性）Multi-lora支持

vLLM无缝支持多种拥抱脸模型，包括以下架构：

  • Aquila & Aquila2 (BAAI/AquilaChat2-7B, BAAI/AquilaChat2-34B, BAAI/Aquila-7B, BAAI/AquilaChat-7B, etc.)
  • Baichuan & Baichuan2 (baichuan-inc/Baichuan2-13B-Chat, baichuan-inc/Baichuan-7B, etc.)
  • BLOOM (bigscience/bloom, bigscience/bloomz, etc.)
  • ChatGLM (THUDM/chatglm2-6b, THUDM/chatglm3-6b, etc.)
  • Command-R (CohereForAI/c4ai-command-r-v01, etc.)
  • DBRX (databricks/dbrx-base, databricks/dbrx-instruct etc.)
  • DeciLM (Deci/DeciLM-7B, Deci/DeciLM-7B-instruct, etc.)
  • Falcon (tiiuae/falcon-7b, tiiuae/falcon-40b, tiiuae/falcon-rw-7b, etc.)
  • Gemma (google/gemma-2b, google/gemma-7b, etc.)
  • GPT-2 (gpt2, gpt2-xl, etc.)
  • GPT BigCode (bigcode/starcoder, bigcode/gpt_bigcode-santacoder, etc.)
  • GPT-J (EleutherAI/gpt-j-6b, nomic-ai/gpt4all-j, etc.)
  • GPT-NeoX (EleutherAI/gpt-neox-20b, data
最低0.47元/天 解锁文章
AI老谭
关注
vLLM专题（七）-支持的模型列表
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-18 387
vLLM支持跨多种任务的生成式和池化模型。如果一个模型支持多个任务，您可以通过–task参数来设置任务。对于每个任务，我们列出了已在vLLM中实现的模型架构。每个架构旁边，我们列出了一些使用该架构的流行模型。
大规模语言模型从理论到实践 vLLM推理框架实践
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-19 370
大规模语言模型从理论到实践：vLLM推理框架实践 1. 背景介绍 1.1 问题的由来 随着大规模语言模型（Large Language Models, vLLMs）的发展，从简单的语言生成到复杂的多模态任务，这些模型的能力得到了
使用vllm部署自己的大模型
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
一文说清VLLM .VS.Ollama的区别
打造全国最全的AI Agent开发知识领域的博客
03-03 4591
对比VLLM与Ollama，解析两者在性能、易用性和应用场景的异同，助你选择合适框架。
深入解析 vLLM：高性能 LLM 服务框架的架构之美（一）原理与解析
Bryce1010's Blog
02-14 2702
我们将看到调度器如何像一个睿智的指挥官，统筹安排每个请求的处理时机，以及内存管理器如何通过创新的 PagedAttention 机制，让有限的显存发挥出最大效能。调度器会判断是否有足够的内存块可以分配给新的 tokens。在模型部署的初始化阶段，vLLM 会通过一个模拟实验步骤来决定 GPU 和 CPU 上可以分配的 KV cache 物理块数量，确保后续推理时的内存分配不会导致显存溢出。从最初的模型初始化，到 KV Cache 的预分配，再到请求的具体处理，vLLM 展现出了令人印象深刻的工程智慧。
vllm的使用方式，入门教程
kcarly的专栏
02-27 2810
vLLM是一个强大且易于使用的推理框架，适用于多种场景。通过上述步骤，您可以快速上手并开始使用vLLM进行大语言模型推理。如果遇到问题，可以参考官方文档或社区资源进行解决。全参数微调（Full-Parameter Fine-Tuning）vLLM支持对预训练模型进行全参数微调，以适应特定任务或数据集。这种方法通过调整所有模型参数来优化性能，适用于需要大量数据和计算资源的场景。LoRA是一种高效、快速且参数效率高的微调方法，特别适用于资源有限的环境，如移动应用或边缘设备。
vLLM初探
邹中凡
05-12 6410
是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。
简单使用vllm
make_progress的博客
10-22 1889
vLLM是一个快速且易于使用的LLM推理和服务库。它支持分布式部署、容器化部署和OpenAI的数据格式等，并且内置了大模型服务，可以直接用命令启动。vllm与Ollama有一定的区别，Ollama适合个人和小服务，vllm适合企业和提供服务，vllm的性能较高，并且并发性也较好。vLLM是一个Python库，它包含预编译的C++和CUDA（12.1）二进制文件，因此需要有GPU支持。
大模型框架：vLLM
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
使用vllm部署大语言模型
yuanlulu的博客
07-08 4360
vLLM是一个快速且易于使用的库，用于LLM（大型语言模型）推理和服务。通过PagedAttention技术，vLLM可以有效地管理注意力键和值内存，降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理，从而提高整体处理速度。
图解大模型计算加速系列：vLLM源码解析1，整体架构
stephen147的博客
08-14 1318
图中左侧是用户使用界面，罗列了上述所说的两种调用方式（注意，如前文所说，做demo用的api server官方已经不再维护了，openai_api_server才是官方推荐的使用方式，user custom server目前还没有实现）。右侧则是开发者界面，不难发现LLMEngine是vLLM的核心逻辑。我们来看开发者界面下的几个函数，先来看**LLMEngine。
大模型微调部署实战及类GPT工具的高效使用
热门推荐
herosunly的博客
07-24 19万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
推理引擎使用与实践：vLLM × DeepSpeed × TensorRT 全流程拆解
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-19 925
你训练好了大模型、调好了 Prompt、模型表现也不错，但一上线就掉帧、延迟飙升、显存爆炸？ 问题不在模型本身，而在你还没有真正理解推理引擎的工作方式。 本篇文章从一名 AI 系统专家视角，系统讲解如何基于 vLLM、DeepSpeed-Inference 与 TensorRT 构建高吞吐、低延迟的推理服务，涵盖从模型加载、KV Cache 管理、动态批处理、量化部署到多模型切换的关键机制与实践技巧。
vLLM - 基本使用
2501_90914666的博客
03-06 417
2025-03-06（四）
一文速览vLLM支持的大模型推理技术和优化
强化学习曾小健
07-08 2713
通过Marlin内核，我们能够实现对模型参数的量化，从而减少模型的存储空间和计算量，提高模型在部署和推理过程中的性能和效率。Marlin内核通过特定的算法和优化策略，能够在保持模型精度的同时，显著提升模型的推理速度，从而为用户提供更加快速和高效的推理体验。速度和效率： 在生成式任务中，传统的贪婪解码或束搜索算法可能需要完整地搜索整个解码空间，这在大规模模型和长序列情况下会导致计算资源和时间的浪费。推测性解码通过提前终止、多假设生成等技术，能够在保证一定质量的情况下，显著提高解码速度和效率。
【大模型】大模型推理部署工具之vLLM的使用（1）
酒酿小圆子呀～
03-02 1641
首先介绍一下vLLM是什么？vLLM 是一个快速且易用的用于 LLM 推理和服务的库。vLLM最初由UC Berkeley的Sky Computing Lab 开发，现已发展成为一个由学术界和工业界共同贡献的社区驱动项目。最先进的服务吞吐量使用对注意力键和值内存进行高效管理对传入请求进行连续批处理使用 CUDA/HIP 图进行快速模型执行量化：GPTQ、AWQ、INT4、INT8 和 FP8优化的 CUDA 内核，包括与 FlashAttention 和 FlashInfer 的集成。
vLLM官方中文教程：快速入门
my_name_is_learn的博客
03-04 1671
本文是vLLM的中文新手入门教程，内容来自于vLLM的英文官方教程
【大模型】Vllm基础学习
idiotyi的博客
06-26 1207
vllm是一个大语言模型高速推理框架，旨在提高大模型的服务效率。优势是内存管理，实现的核心是pageattetion算法。仅在gpu上加速，不在cpu加速。
使用 vLLM 部署本地 LLM 指南
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
模型推理runtimeerror: cuda out of memory
09-17
模型推理中出现"RuntimeError: CUDA out of memory"错误是因为在GPU上使用的显存不足。这个错误通常发生在模型的输入数据量过大或模型占用的显存资源过多时。 解决这个问题可以采用以下方法： 1. 减少批处理大小：可以通过减少每次推理时的图像批处理大小来减少内存消耗。较小的批处理大小会减少每个批处理所需的显存量。 2. 减少模型的参数量：如果模型的参数量过大，可以尝试减少参数量来缓解显存不足的问题。可以通过减少模型的深度、宽度或者使用降低维度的技术（如降低卷积核的尺寸）来减少参数量。 3. 使用更高效的模型：可以考虑使用比原始模型更加轻量级和高效的模型结构。例如，可以使用MobileNet、EfficientNet等模型来代替较重的ResNet、VGG等模型。 4. 降低精度：可以尝试将模型的参数精度从32位浮点数降低为16位浮点数，以减少显存的使用量。这通常不会对模型的性能产生显著的影响，但会大幅度减少显存的使用。 5. 使用更大的显存：如果以上方法无法解决问题，可以考虑更换具有更大显存容量的GPU设备来运行模型推理。 总之，修复"RuntimeError: CUDA out of memory"错误的主要思路是通过减少模型参数量、降低精度、优化模型结构或减少输入数据量来减少GPU显存的使用。根据具体问题情况选择适当的解决方法，以确保模型能够在GPU上正常运行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值