投机采样(Speculative Sampling)加速大模型推理

1. 引言

随着全球对大模型持续的高度关注，国外的OpenAI、Google以及国内的百度、阿里等都在大模型领域中不断地探索前进。由于模型的参数量和计算量的不断增大，大模型的推理部署成本也“水涨船高”，对模型推理的优化成为研究热点。

基于Transformer Decoder的大(语言)模型在进行推理时，不同于训练过程，推理时我们并不能知道下一个字是什么，只能进行串行的预测，将预测到的下一个词，连同之前的句子，一起作为输入，继续预测下一个词，这样每生成一个token，都需要将所有参数从内存传输到缓存中。也就是说，我们的答案有几个字，模型就要跑几次，而大模型的参数量巨大，这个过程受内存带宽(memory bound)的限制，这就是大模型推理的瓶颈。

当前业内一直在致力于研究大模型推理的优化技术。当前已有的大语言模型推理提速的方式，包括低精度计算、模型量化、适配器微调、模型剪枝、批量推理、多GPU并行和其他推理优化工具等方法，这些方法需要对模型架构、训练过程等做出修改，模型的输出分布也会发生变化，但“投机采样”避免了这些变化，通过引入一个“小模型”辅助解码，使部署的大模型能够进行“并行”解码，从而提高推理速度。

推理提速