1. 引言
随着全球对大模型持续的高度关注,国外的OpenAI、Google以及国内的百度、阿里等都在大模型领域中不断地探索前进。由于模型的参数量和计算量的不断增大,大模型的推理部署成本也“水涨船高”,对模型推理的优化成为研究热点。
基于Transformer Decoder的大(语言)模型在进行推理时,不同于训练过程,推理时我们并不能知道下一个字是什么,只能进行串行的预测,将预测到的下一个词,连同之前的句子,一起作为输入,继续预测下一个词,这样每生成一个token,都需要将所有参数从内存传输到缓存中。也就是说,我们的答案有几个字,模型就要跑几次,而大模型的参数量巨大,这个过程受内存带宽(memory bound)的限制,这就是大模型推理的瓶颈。
当前业内一直在致力于研究大模型推理的优化技术。当前已有的大语言模型推理提速的方式,包括低精度计算、模型量化、适配器微调、模型剪枝、批量推理、多GPU并行和其他推理优化工具等方法,这些方法需要对模型架构、训练过程等做出修改,模型的输出分布也会发生变化,但“投机采样”避免了这些变化,通过引入一个“小模型”辅助解码,使部署的大模型能够进行“并行”解码,从而提高推理速度。
推理提速