大模型推理加速技术简介

大模型推理加速技术简介

文章内容主要参考综述：1. Towards Efficient Generative Large Language Model Serving: ASurvey from Algorithms to Systems. 2. A Survey on Model Compression for Large Language Models.

生成式大型语言模型（LLM）已成为人工智能（AI）取得重大进步的驱动力，并在广泛的与语言相关的任务中表现出卓越的性能。基于Transformer的体系结构的出现，如GPT系列、LLaMA系列、OPT、BLOOM、Mistral、DeciLM、Baichuan和GLM等，彻底改变了自然语言处理（NLP）任务的方式。除了NLP之外，这些模型被应用到了大量其他任务中，包括自动编程、科学发现、个性化助手、艺术创作，显式了其多功能性和对各个行业的深远影响。但是，LLM的巨大成功也带来了一些挑战，特别是其在提供服务时巨大的计算需求。巨大的模型规模和复杂性，加之对大量计算资源和存储资源的需求，已经阻碍了它们在现实应用中的部署，特别是在要求低延迟、高吞吐的场景中。研究人员和从业者在克服LLM有效部署的障碍方面进行了大量研究，本报告首先列举了高效LLM服务面临的挑战，然后梳理了针对这些挑战的具有代表性的解决方案，主要包括解码优化、模型结构优化、模型压缩和量化、需求调度、内存管理、常用框架等方面。因为并行计算适用于LLM的训练和推理，主要包括数据并行、张量并行和流水线并行，以及它们的混合，本部分报告不对其进行详细介绍。

1. 高效LLM服务的挑战

延迟和响应时间：高效的大模型推理要求低延迟和快速响应时间，特别是在实时应用中，如对话机器人、虚拟助手和交互系统。平衡模型复杂性和推理速度是一个关键的挑战，需要优化算法和系统结构，在不损失精度的情况下减小响应时间。
内存占用和模型规模：由于大语言模型的规模和包含的大量参数导致其巨大的内存需求。在内存受限的设备上部署大模型是一个挑战，需要发展有效的模型压缩技术和系统优化方法来减少内存占用，而不降低模型性能。
可拓展性和吞吐量：在生产环境中，推理系统通常面临变化的请求负载。在保证可扩展性和高吞吐量以同时处理多个需求方面，需要并行计算、需求调度和其它的系统级优化等方式实现在资源之间有效地分配计算工作负载。
硬件兼容性和加速：有效的利用硬件资源对于大模型推理十分重要。将LLM适应到多样的硬件平台和架构，如CPU、GPU和专用加速器，需要充分挖掘底层硬件潜力的算法设计和优化方法。
准确性和效率的平衡：优化LLM推理的性能有可能需要牺牲模型的准确性。在模型规模、计算复杂度和性能之间保持适当的平衡是一个有挑战的任务，需要仔细考虑和评估各种算法和系统级技术带来的影响。

2. 优化加速方案

2.1 解码优化

影响现有大模型推理效率的一个主要限制是其使用的自回归式解码机制，需要依次逐个生成输出token，具体过程如图1所示。自回归式解码过程分为两个阶段：预填充（prefill）和解码（decoding）阶段。在预填充阶段，主要编码输入查询向量并生成起始token；在解码阶段，每次模型循环以已生成的tokens为输入，预测下一个tokens。自回归式推理导致计算量增加，耗费时间。为了解决自回归式解码存在的问题，研究人员提出了多种解决的方案ÿ