打破LLM逐字生成的低效率方式

添加微信fanqie6655加入技术交流群

概述

本文研究背景是自回归大语言模型在自然语言生成任务中取得的显著进展，但由于逐个生成单词的方式，导致计算成本和延迟较高。

过去的方法主要是使用逐个单词生成，然而这种方法在推论速度上存在问题。本论文提出了一种名为SkipDecode的自回归跳跃解码方法，以应对批处理和缓存。

在方法上，SkipDecode设置了每个批处理中每个序列位置的单词的退出点，保证了退出点的单调递减，并且能够无需重新计算前面单词的缓存，通过将计算资源主要用于上层，后续的单词可以从之前的计算中受益。

在多个任务上进行的实验结果显示，SkipDecode可在不损失性能的情况下，实现2倍至5倍的推论速度提升。实验使用了1.3亿和6.7亿参数的OPT模型，并且能够与批处理和缓存优化技术兼容。

重要问题探讨

1. 基于上述文本，SkipDecode在令牌级别提前退出策略中如何解决了批处理和键值缓存的挑战？

SkipDecode通过在批处理中每个位置每个批次退出进行批处理，并使下一个令牌在前一个令牌之前退出，从而解决了批处理和键值缓存的挑战。这样做的原因是，左侧的令牌更难生成。通过在顶层花费大部分计算预算，SkipDecode保证了在单词级别的早期退出的计算效率，并通过静态策略来解决计算成本的不确定性。

2. 什么是批处理推断，以及在令牌级别提前退出策略中如何应用批处理推断来提高计算效率？

批处理推断是同时处理多个输入样本以提高计算效率的一种方法。通过利用硬件（如GPU和TPU）提供的并行计算能力，批处理推断可以降低延迟并提高吞吐量。在将令牌级别的提前退出策略应用于批处理推断时，由于批次中令牌具有不同的退出点，面临着一些挑战。为了解决这个问题，提出了一种方法，在给定序列位置的每个令牌中为批次中的每个令牌指定一个固定的位置退出点。这样可以确保在处理每个位置的批次令牌时，所有批次成员的处理同时完成。通过这种方法，可以在非平凡的批处理场景中实现所有批处理令牌的理论优势。

3. SkipDecode如何应对令牌级别提前退出策略中的计算效率问题？

SkipDecode通过在顶层花费大部分计算预算，隐式地对前一个令牌进行完全计算，从而解决了令牌级别提前退出策略中的计算效率问题。这样做的原因是，较低层的令牌在生成过程中较困难，因此优先花费计算预算在较高的层级上，可以有效提高计算效率。

4. SkipDecode如何解决令牌级别提前退出策略中的批处理挑战？

SkipDecode通过在批处理中每个位置每个批次退出进行批处理，从而解决了令牌级别提前退出策略中的批处理挑战。通过将同一位置的令牌跨所有实例进行批处理，确保了在某个序列位置结束时所有批处理令牌的处理同时完成。这样可以充分实现评估过程中观察到的所有理论优势，并应用于具有非平凡批处理情况下的生成过程。

5. CALM和SkipDecode在令牌级别提前退出策略中有哪些区别？

CALM和SkipDecode是两种令牌级别提前退出策略的方法，两者在多个方面存在区别。首先，CALM支持编码器-解码器结构，而SkipDecode仅支持解码器。其次，CALM支持令牌级别的提前退出和仅解码的两种提前退出方式，而SkipDecode仅支持令牌级别的提前退出。此外，CALM使用缓存技术来提高推断效率，而SkipDecode通过批处理和左侧令牌的优先处理来解决挑战。综上所述，CALM和SkipDecode在结构和实现上存在明显的差异，并在不同方面应用于令牌级别提前退出策略中。

论文链接：https://arxiv.org/abs/2307.02628.pdf

添加微信fanqie6655加入技术交流群