本文是LLM系列文章,针对《Generation Meets Verification: Accelerating Large Language Model
Inference with Smart Parallel Auto Correct Decoding》的翻译。
摘要
本研究旨在加快具有数十亿参数的大型语言模型(LLM)的推理速度。我们提出了一种用于实现LLM无损加速的智能并行自动校正dEcoding(SPACE)方法。通过集成半自动推理和推测解码功能,SPACE独特地使自回归LLM能够并行化token生成和验证。这是通过专门的半自回归监督微调过程实现的,该过程使现有LLM具备同时预测多个token的能力。此外,自校正解码算法有助于在单个模型调用内同时生成和验证token序列。通过对一系列LLM的广泛实验,SPACE在HumanEval-X上展示了2.7x-4.0x的推理加速,同时保持了输出质量。代码发布于https://github.com/cteant/SPACE。
1 引言
2 相关工作
3 方法
4 实验
5 结论
在本文中&#