简单好用！北大、普林斯顿联合提出即插即用的大语言模型加速方法

©PaperWeekly 原创 · 作者 | 何震宇

单位 | 北京大学博士生

研究方向 | 大语言模型

最近，大语言模型（LLM）生成过程的加速技术，例如投机解码、Medusa（美杜莎）等，都带来了令人印象深刻的速度提升。这些方法通常依赖于将 LLM 与一个小型的草稿模型配对。小型的草稿模型试图在每个解码步骤中以更低的延迟预测多个草稿 token，并让 LLM 并行验证它们，从而减少了 LLM 的解码步数。

然而，获得高质量的草稿 token 仍然是一门艺术：它必须在 LM 更少量的参数和更强大的预测能力之间找到平衡，同时草稿模型必须匹配 LLM 的词汇表；此外，它还应该便于集成到用于部署 LLM 的分布式系统中。

为了应对这些挑战，Medusa 引入了一个有效的微调方法来获得草稿模型，它基于 LLM 本身微调了多个头（Medusa head）来预测草稿 token。然而，对额外微调的要求仍然有诸多不便。

这就引出了一个问题——能否设计一个即插即用的加速方法？一个无需训练或微调新模型即可提供快速生成草稿 token 的方法？

为了实现这个目标，作者引入了 REST: Retrieval-Based Speculative Decoding，一种基于检索的投机解码方法。REST 不使用额外的草稿模型，而是利用数据存储来根据部分输入来检索草稿 token。通过在 CPU 上进行检索，REST 避免了额外的 GPU 负载。由于不需要联合训练或微调，REST 可以立即加速任何预训练语言模型。

在这篇文章中，研究人员将探讨 REST 的灵感和内部工作机制，揭示它如何在没有额外训练模型的情况下实现令人印象深刻的速度提升，通过清晰的解释和生动的例子来展示 REST 的能力。