Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy

本文是LLM系列文章，针对《Accelerating Inference in Large Language Models with a Unified Layer Skipping Strategy》的翻译。

摘要

最近，动态计算方法通过精心设计的启发式方法或其他预测器跳过了多层计算，从而显示出大型语言模型 （LLM） 的显著加速。然而，在现有方法的解码过程中，不同的样本被赋予不同的计算预算，无法保证稳定精确的加速效果。此外，现有方法通常会跳过层的底部或顶部的多个连续层，从而导致模型的分层表示发生剧烈变化，从而导致性能退化。因此，我们提出了一种 Unified Layer Skipping 策略，仅根据目标加速比选择要跳过计算的层数，然后以平衡的方式跳过相应的中间层计算数量。由于 Unified Layer Skipping 策略独立于输入样本，因此它自然支持流行的加速技术，例如批量解码和 KV 缓存，从而在实际应用中表现出更多的实用性。在机器翻译和文本摘要两个常见任务上的实验结果表明，在给定目标加速比的情况下，与现有的动态方法相比，统一跳层策略显著提高了推理性能和实际模型吞吐量。

1 引言

2 相关工作

3 方法