vLLM：高性能与内存高效的大型语言模型推理引擎

vLLM：高性能与内存高效的大型语言模型推理引擎

vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: https://gitcode.com/gh_mirrors/vl/vllm

项目基础介绍与编程语言

vLLM 是一个致力于提升高吞吐量和内存效率的大型语言模型（LLM）服务引擎，采用 Python 为主要编程语言，并深度整合了 Cuda 和 C++ 等用于性能优化。此开源项目由一群来自学术界和工业界的专家维护，旨在简化复杂模型的部署流程，使其对所有人来说都快速、容易且成本低廉。

核心功能

vLLM 的核心亮点包括其独特的 PagedAttention 技术，该技术显著提高了注意力层的内存管理效率，进而实现远超同类工具如 HuggingFace Transformers 的服务吞吐量，最高可达24倍以上。它支持多种量化策略（GPTQ、AWQ、INT4、INT8、FP8），并采用了优化的 CUDA 核心以及 FlashAttention 和 FlashInfer 集成，以加速模型执行。此外，vLLM 提供连续请求批处理、多种解码算法（如并行采样、束搜索）、分布式推理的张量和管道并行性、流式输出及开放的API设计，兼容OpenAI规范，广泛支持NVIDIA、AMD、Intel等多平台硬件。

最近更新的功能

虽然提供的信息没有直接指出具体的最近更新细节，但根据项目的活跃度和常规开源项目的行为模式，vLLM很可能持续在以下几个方面进行迭代：

• 兼容性和性能增强：可能会添加对最新硬件架构的支持，比如可能已更新支持更高效的计算单元，如MI300X，这基于项目活动中的会议合作提及其在特定硬件上的进展。
• 模型支持扩展：随着大型语言模型如Llama 3.1的官方支持增加，预期会不断更新以支持更多预训练模型，尤其是那些引入新量化标准或并行化技术的模型。
• 用户体验改善：更新可能还包括安装流程简化、文档完善、错误修复和性能调优，确保用户能够更加便捷地集成到自己的应用中。

为了获取确切的最近更新详情，建议直接访问 GitHub 仓库 查看最新的提交记录、版本发布说明和社区公告。

vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: https://gitcode.com/gh_mirrors/vl/vllm