vLLM专题（十六）-推测性解码（Speculative Decoding）

已于 2025-03-19 11:01:12 修改
阅读量234 收藏
点赞数
分类专栏： 大模型专题系列 文章标签： 人工智能
于 2025-02-25 15:39:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39698985/article/details/145838245
版权

警告
请注意，vLLM 中的推测性解码尚未优化，并且通常不会对所有提示数据集或采样参数带来令牌间延迟的减少。优化工作正在进行中，相关进展可以通过此链接跟踪：问题 #4630。

警告
目前，vLLM 中的推测性解码与管道并行性不兼容。

本文档展示了如何在 vLLM 中使用推测性解码。推测性解码是一种提高内存受限的 LLM 推理中令牌间延迟的技术。

一、使用草拟模型进行推测

以下代码配置 vLLM 以离线模式使用推测性解码，并使用草拟模型每次推测 5 个token。

from vllm import LLM, SamplingParams

prompts = [
    "The future of AI is"
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM推理优化 - Speculative Decoding
AI生成曾小健3
12-22 1466
投机解码（Speculative Decoding）是一种新兴技术，用于加速大型语言模型（LLM）的推理过程。该方法不仅能够显著提升推理速度，还能保持解码质量，因此受到广泛关注。本文将简要介绍投机解码的实现原理，并探讨对该算法原始实现的改进方案。
推测性解码：加速多模态大型语言模型的推理
人工智能讲师分享前沿技术
06-10 2494
大模型（LLMs）以其卓越的性能在多个应用场景中大放异彩。然而，随着应用的深入，这些模型的推理速度问题逐渐凸显。为了解决这一挑战，推测性解码（Speculative Decoding, SPD）技术应运而生。本文深入探讨了SPD在多模态大型语言模型（MLLMs）中的应用，尤其是针对LLaVA 7B模型的优化。MLLMs通过融合视觉和文本数据，极大地丰富了模型与用户的互动，但同时也面临着自回归生成和内存带宽的瓶颈。SPD技术通过小型草稿模型预测未来标记，并由目标LLM进行快速验证，有效提升了推理效率。
使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速
Hugging Face
01-10 2033
Open AI 推出的 Whisper 是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的 large-v3 模型登顶了 OpenASR 排行榜，被评为最佳的开源英语语音转录模型。该模型在 Common Voice 15 数据集的 58 种语言中也展现出了强大的多语言性能，在 42 种语言上的单词错误率 (WER) 低于 30％。尽管转录准确度非常优秀，但推理速度非常缓慢。...
探索高效解码：Fast Inference via Speculative Decoding
gitblog_00044的博客
06-07 570
探索高效解码：Fast Inference via Speculative Decoding 去发现同类优质开源项目:https://gitcode.com/ 在当今的AI领域，大型语言模型（LLMs）在自然语言处理任务中的表现越来越出色，但其计算需求也随之水涨船高。为了解决这一问题，开源社区推出了一项名为“Fast Inference from Transformers via Speculat...
LLM推理加速新范式！推测解码（Speculative Decoding）最新综述
zenRRan的博客
01-23 3863
作者：hemingkx合作单位：香港理工大学、北京大学、微软亚洲研究院、阿里巴巴原文链接：https://zhuanlan.zhihu.com/p/678404136好久不见！在这里跟大家分享我们最近关于推测解码（Speculative Decoding）的一篇综述：Unlocking Efficiency in Large Language Model Inference: A Comprehe...
Meet Up 活动预约：首次！vLLM 中文社区活动！生成式 AI 推理技术，码上共享
亚马逊云科技专栏
07-17 184
活动主题亚马逊云科技联合 vLLM 社区开启的第一期线上中文 Meetup。你将有机会与 vLLM 核心开发者以及亚马逊云科技平台的贡献者进行深度交流。在本次活动中，我们会介绍 vLLM 的全新开发动态以及我们在生成式 AI 领域的前沿研究。同时，我们也会基于此次活动创建 vLLM 的第一个中文社区。我们希望利用这个活动了解更多开发者目前的使用习惯以及问题，从而帮助社区更好规划未来的发展路线。目前...
Speculative Streaming：无需辅助模型的快速大模型推理
人工智能讲师分享前沿技术
08-06 977
人工智能咨询培训老师叶梓 转载标明出处在自然语言处理领域，大模型（LLM）在进行推理时，由于其自回归生成的特性，往往需要较高的计算成本和内存占用。为了解决这一问题，苹果公司的研究者们提出了一种名为Speculative Streaming的新方法。这种方法通过改变目标模型的微调目标，从下一个词预测转变为未来n-gram预测，从而将草稿生成过程融合到目标模型中，无需使用辅助草稿模型。这一创新不仅简化了推理系统，还提高了推理速度，同时保持了生成质量。
VLLM专题（二十三）—引擎参数
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
03-17 67
-modelautogenerateembeddingembedclassifyscorerewardpromptNone--revisionautoslowmistralcustom- 信任 Hugging Face 的远程代码。- 允许 API 请求从服务器文件系统指定的目录读取本地图像或视频。这是一个安全风险，仅在受信任的环境中启用。- 下载和加载权重的目录，默认为 Hugging Face 的默认缓存目录。- 加载模型权重的格式。auto（自动选择）、pt（PyTorch 格式）、
总结版 | vLLM这一年的新特性以及后续规划
CV_Autobot的博客
11-10 2690
作者|oldpan编辑| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『视觉大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文本文来自The State of vLLM | Ray Summit 2024 && RoadMap的分享，带大家一起回顾下vllm发展历史、过去一...
NLP（十八）：LLM 的推理优化技术纵览
张伟的专栏
01-11 2943
目录收起一、子图融合（subgraph fusion）二、模型压缩（Model Compression）2.1 稀疏(Sparsity)2.2 量化(Quantization)2.3 蒸馏(Distillation)三、并行化（Parallelism）3.1 数据并行 (Data Parallelism, DP)3.2 张量并行(Tensor Parallelism, TP)3.3 流水线并行(Pipeline Parallelism, PP)四、Transformer 结构优化。
vllm--speculative decoding
最新发布
weixin_49245465的博客
04-20 489
例如，在第一行中，近似模型生成了5个token，目标模型使用这5个token和前缀拼接后的句子“[START] japan’s bechmark bond”作为输入，通过一次推理执行来验证小模型的生成效果。如果q(x) > p(x)（p，q表示在大小模型采样概率，也就是logits归一化后的概率分布）则以一定1-p(x)/q(x)为概率拒绝这个token的生成，从一个新的概率分布p’(x) = norm(max(0, p(x) − q(x)))中重新采样一个token。用一个例子展示随机采样的工作方式。
LLM优化--加速GPT-fast
weixin_46566149的博客
12-07 455
官方文档：torch.compile — PyTorch 2.1 文档PyTorch 2.0加入了一个新的函数，叫做torch.compile()，能够通过一行代码对已有的模型进行加速。这个函数具备很强的通用性，不仅能对普通PyTorch的模型进行加速，还能对用户自定义的函数和huggingface上的模型进行一键加速。只需要简单的一句torch.complie，便可以完成对运行函数的加速优化，甚至可以做装饰器使用。
vllm/spec_decode/spec_decode_worker.py 投机采样的一次前向推理 流程分析
weixin_43080939的博客
10-15 1109
vllm投机采样的前向推理流程分析
使用推测解码提高 LLM 推理速度
2401_85233349的博客
08-28 1470
在理想情况下，如果辅助模型正确生成了大多数 token，主模型将能够快速验证 token，从而缩短端到端生成时间。如果根据主模型，其中一个 token 不正确，它会丢弃错误 token 后的整个序列。这个想法是，由于辅助模型很小，因此它会快速生成 token。理想情况下，辅助模型应该具有很少的参数，以便能够快速生成 token。原因是，在主模型验证生成的 token 之前，辅助模型必须生成 token。如果主模型继续拒绝助手生成的大部分标记，它（较大的模型）现在必须自动回归生成其余的序列。
一文速览vLLM支持的大模型推理技术和优化
强化学习曾小健
07-08 2753
通过Marlin内核，我们能够实现对模型参数的量化，从而减少模型的存储空间和计算量，提高模型在部署和推理过程中的性能和效率。Marlin内核通过特定的算法和优化策略，能够在保持模型精度的同时，显著提升模型的推理速度，从而为用户提供更加快速和高效的推理体验。速度和效率： 在生成式任务中，传统的贪婪解码或束搜索算法可能需要完整地搜索整个解码空间，这在大规模模型和长序列情况下会导致计算资源和时间的浪费。推测性解码通过提前终止、多假设生成等技术，能够在保证一定质量的情况下，显著提高解码速度和效率。
LLM推理优化笔记2: vLLM原理PagedAttention
beingstrong的博客
07-27 1707
vLLM实现原理PagedAttention论文笔记
Speculative Decoding LMstudio
03-09
### Speculative Decoding in LMStudio Implementation and Usage In the context of large language models (LLMs), speculative decoding is an optimization technique aimed at improving inference efficiency...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI专题精讲

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值