从vLLM到大模型推理的最新进展

最新推荐文章于 2025-03-22 09:57:02 发布
最新推荐文章于 2025-03-22 09:57:02 发布
阅读量1.8k 收藏 25
点赞数 21
文章标签： 人工智能 语言模型 自动化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lqfarmer/article/details/140906949
版权

作者：方佳瑞

原文链接: https://www.zhihu.com/question/637480772/answer/3577137997

大语言模型LLM的推理引擎经过一年时间发展，现在主流方案收敛到了开源的vLLM和半闭源的TensorRT-LLM。

TRT-LLM基于C++开发，有NV算子开发黑魔法加持，在其重点支持的场景里，性能可以做到极致。vLLM基于python开发，代码简洁架构清晰，和开源互动紧密，灵活地满足了二次开发的需求。比如，最近流行的分离式架构，比如Sarathi-Serve，Mooncake等都是基于vLLM。

vLLM时代和时代中的vLLM

纵观古今，vLLM算是现象级的开源项目。这个自UCB的项目，从一篇Paged Attention技术论文作为起点，逐渐演化为惠及全球大模型开发者的开源产品。时势造英雄，英雄造时势，两个原因相辅相成，成就了vLLM。

  1. 技术创新：Paged Attention（PA）创新性解决了高吞吐场景下的性能问题，vLLM率先享受了这项技术进步的红利，带来了初始流量。

  2. 兼顾性能和易用性：vLLM的PA kernel虽然用cuda开发，但是其余部分都是pytorch开发，包括Batch调度、模型定义、并行推理等。相比TRT-LLM来说，虽然引入了PyTorch的overhead，但是显著增加了灵活性，降低了开发者参与的门槛。

  3. 开源社区经营：继承自UCB优秀传统，vLLM开源社区经营方式很成熟。每年都有summit，定时同步自己的roadmap。这让vLLM从力变场，成为汇聚模型开发者、模型使用者、技术创新者的平台。即使TRT-LLM性能更优，仍然无法撼动其社区属性。

  4. 多硬件支持：vLLM支持AMD、Intel等厂商的GPU。这也是TRT-LLM难以触及的禁区。

尽管vLLM已经非常成功了，对大模型发展的贡献也是史诗级的。正如吕布之后后，人皆称赛吕布；vLLM开源之后，人人皆可“自研”LLM推理框架。

但是以史为鉴，我认为大模型推理引擎的发展仍是初级阶段。

就像当年深度学习框架发展经历了cuda-convnet（2012）-> Caffe （2014）-> TensorFlow（2016）-> PyTorch（2017）长达五年跨度若干的阶段，大模型推理框架一步到位也不太现实。vLLM有点像当年的Caffe阶段，比如下面几个方面：

  1. 高性能：Caffe率先做到了在GPU上高性能运行，它写了大量cuda kernel，比如im2col后调用cuBLAS来优化卷积算子。同时很早支持数据并行方式多卡训练。其性能优势让很多人从Theano切换到Caffe，正如vLLM的Paged Attention打开了吞吐天花板。

  2. 开源影响力：工程和学术界大量model zoo都基于caffe开发，比如很多年的ImageNet比赛的模型都用Caffe，其中就

最低0.47元/天 解锁文章
大规模语言模型从理论到实践 vLLM推理框架实践
AI智能涌现深度研究
10-29 1099
大规模语言模型 (LLM)、vLLM推理框架、高效推理、模型压缩、量化、知识蒸馏、模型加速、深度学习 1. 背景介绍 近年来，大规模语言模型 (LLM) 在自然语言处理 (NLP) 领域取得了显著的突破，展现出强大的文本生成、翻译、问答和代码生成能力。然而，这些模型通常具有庞大的参数
大规模语言模型从理论到实践 vLLM 推理框架实践
AI智能涌现深度研究
07-09 840
近年来，随着深度学习技术的快速发展，大规模语言模型（LLM）逐渐成为自然语言处理领域的研究热点。从早期的 BERT、GPT-2，到如今的 GPT-3、PaLM 等，LLM 的规模和能力不断提升，在各种 NLP 任务上取得了突破性进展。vLLM 是一个开源的 LLM 推理框架，由 UC Berkeley 的研究团队开发。它专注于解决 LLM 推理过程中的性能瓶颈，提供高效、灵活和易用的推理解决方案。
最新的LLM进展：决策制定、知识图谱、推理能力及更多
2401_87013577的博客
09-06 589
探索LLM在风险游戏设置中的战略能力Hans Christian Ekne最近的深入研究也解决了评估LLM的问题，但采用了不同的、更理论化的方向。如何通过优化采样参数来改进LLM的响应本周的内容还包括一篇由Dr. Leon Eversberg撰写的实践教程，他解释并可视化了定义LLM输出行为的采样策略，并展示了更好地理解这些参数如何帮助我们改进模型生成的输出。在本周的Variable中，我们重点介绍了几篇深入探讨当前LLM状况的突出文章，这些文章既涵盖了它们的基本能力，也涉及到了实际的现实应用。
从LLM到大模型推理的最新进展
Aweii__的博客
08-04 1216
大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。
vLLM vs SGLang：大模型推理框架，谁更适合你的需求？
m0_48891301的博客
03-22 1549
总体而言，vLLM 在模型支持和应用生态方面具有优势，而 SGLang 在推理性能优化表现相对出色。目前vLLM和SGLang的代码库已开始互相借鉴（如vLLM计划引入RadixAttention），但短期内仍是差异化竞争。
通用大模型推理研究：SGLang推理框架
yunxinan的专栏
07-30 2648
SGLang: Efficient Execution of Structured Language Model Programs，由斯坦福大学、加州大学伯克利分校、上海交通大学、德克萨斯大学完成。
SGLang
whaosoft143ai的博客
01-19 4153
在 SGLang 运行时的开发过程中，该研究发现了复杂 LLM 程序的优化关键 ——KV 缓存复用，当前系统对此处理不佳。节点采用颜色编码以反映不同的状态：绿色表示新添加的节点，蓝色表示在该时间点访问的缓存节点，红色表示已被驱逐的节点。在前端，该研究提出了 SGLang，一种嵌入在 Python 中的特定于领域的语言，允许表达高级 prompt 技术、控制流、多模态、解码约束和外部交互。与典型的树不同，基数树的边缘不仅可以用单个元素来标记，还可以用不同长度的元素序列来标记，这提高了基数树的效率。whaoso
SGLang v0.2：面向 LLM 和 VLM 的快速、高效通用服务引擎
青年AI研究员idea加油站，AI开发者的新能源充电桩。
08-29 2740
关注公众号：青稞AI，第一时间了解最新AI技术
大模型(LLM)推理框架汇总
mama19971023的博客
08-07 1891
MLC LLM大模型(LLM)好性能通用部署方案，陈天奇(tvm发起者)团队开发.项目链接支持的平台和硬件支持的模型| — | — |LlamaGPT-NeoXRedPajamaGPT-JRWKVRWKV-ravenMiniGPTGPTBigCodeChatGLMChatGLM接口API 支持量化(Quantization) 方法支持其他。
SGLang——结构化语言模型程序的高效执行
知来者逆的博客
09-23 3103
实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。较大模型的加速趋势与较小模型的加速趋势相似，表明 SGLang 的优化可以很好地推广到较大的模型。
LLM技术新篇章：2025年15个突破性发展趋势深度解析
2401_85375151的博客
12-12 4450
LLM。
SGLang Runtime v0.2伯克利新AI推理引擎，出手即王炸，吊打TRT-LLM、vLLM！贾扬清点赞
强化学习曾小健
07-28 2905
SGLang是一种大语言模型和视觉语言模型的服务框架。它基于并改进了多个开源LLM服务引擎的优秀设计，包括LightLLM[4]、vLLM[5]和Guidance[6]。它利用了FlashInfer[7]的高性能注意力CUDA内核，并集成了受gpt-fast[8]启发的torch.compile。此外，我们还引入了如RadixAttention[9]自动KV缓存重用和压缩状态机[10]用于快速受限解码等创新。SGLang以其高效的批量调度器[11]而著称，完全用Python实现。
【支持语言模型和视觉语言模型的推理引擎sglang】
一休
07-26 1068
sglang是一个AI推理引擎，是一个专门为大语言模型和视觉语言模型设计的高效服务框架。就像F1赛车需要顶级发动机一样，大语言模型也需要高效的推理引擎来发挥潜力。而sglang正是这样一个性能怪兽。根据LMSys组织的官方公告，最新的sglang Runtime v0.2版本简直就是AI界的"闪电侠"：比TensorRT-LLM快2.1倍比vLLM快3.8倍支持从Llama-8B到405B的超大模型兼容A100/H100显卡支持FP8/BF16精度支持的模型seeYi-VLsee。
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。
热门推荐
扶着老奶奶闯红灯
01-23 1万+
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM 3，InternLM 2， Llama 3.2等。
SGlang 专为大模型设计的高效服务框架
kcarly的专栏
02-05 2240
SGlang 是一种高效、灵活且功能强大的服务框架，适用于开发和部署大型语言模型及视觉语言模型。它通过优化后端运行时和前端语言，显著提升了推理速度和灵活性，同时支持多模态输入和复杂的提示任务。无论是开发者还是企业用户，都可以借助 SGlang 实现高效、可控的模型应用开发。
大模型推理引擎vllm，sglang，transformer，exllama详细介绍和区别
全世界的博客
09-10 1万+
在本文中，我们详细介绍了四种大模型推理引擎：vLLM、SG-Lang、Transformer和ExLlama。每种引擎都有其独特的技术特点、应用场景和优缺点。
sglang 部署Qwen2VL7B，大模型部署，速度测试，深度学习
q742971636的博客
11-18 2583
图来源：https://lmsys.org/blog/2024-09-04-sglang-v0-3/纯transformer，不用加速框架，我之前的测了一张图的速度是：5.22 seconds，很慢。
SGLang：基于AMD GPU的大型语言模型和视觉语言模型的快速服务框架
数字人生
12-02 3283
SGLang是一个综合框架，专为大规模语言模型和视觉-语言模型的高效服务而开发。该框架通过优化的后端运行时和用户友好的前端语言，增强了用户对模型的控制和交互速度（参见SGLang 原始论文和LMSYS SGLang 博客文章在这篇博文中，我们向您介绍了 SGLang 及其功能，并展示了如何使用 ROCm 在 AMD GPU 上设置 SGLang。我们演示了如何使用 SGLang 通过量化模型优化推理性能，以及如何使用 SGLang 与 LLaVA NeXT 多模态模型。
SGLang: 让AI语言模型如虎添翼
步子哥的博客
09-08 1160
在人工智能飞速发展的今天,大型语言模型(LLM)正在迎来一个崭新的时代。它们不再局限于简单的对话,而是能够完成越来越复杂的任务,比如多轮规划、推理,甚至与外部环境进行互动。这些高级应用通常需要多次调用LLM,涉及复杂的提示技巧、控制流程和结构化的输入输出。然而,目前缺乏一个高效的系统来编程和执行这些复杂的语言模型应用。为了解决这个问题,斯坦福大学、加州大学伯克利分校等多所顶尖高校的研究人员联手打造了SGLang系统。
vllmNPU部署大模型
最新发布
03-29
根据引用[1]，vLLM是一个高效的推理和部署系统，支持多种大语言模型，并且有高效的内存管理和高吞吐量。但用户提到的是NPU部署，这可能涉及到特定的硬件环境，比如华为的昇腾NPU或者英特尔的神经计算棒等。 接下来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lqfarmer

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值