本文是LLM系列文章,针对《A Survey on Efficient Inference for Large Language Models》的翻译。
摘要
大型语言模型(LLMs)因其在各种任务中的出色表现而引起了广泛关注。然而,LLM推理的大量计算和内存要求给资源受限场景中的部署带来了挑战。该领域的工作一直致力于开发旨在提高LLM推理效率的技术。本文对现有关于有效LLM推理的文献进行了全面的综述。我们首先分析了LLM推理效率低下的主要原因,即模型大小大、二次复杂度注意操作和自回归解码方法。然后,我们引入了一个全面的分类法,将当前的文献分为数据级、模型级和系统级优化。此外,本文还对关键子领域内的代表性方法进行了比较实验,以提供定量见解。最后,我们提供了一些知识总结,并讨论了未来的研究方向。
1 引言
2 前言
3 分类
4 数据级别优化
5 模型级别优化
6 系统级别优化
7 关键应用场景探讨
8 结论
高效的LLM推理侧重于降低LLM推理过程中的计算、内存访问和内存成本,旨在优化延迟、吞吐量、存储、功率和能量等效率指标。本调查对高效LLM推理研究进行了全面回顾,提出了见解、建议和关键技术的未来方向。最初,我们引入了一种分层分类法,包括数据、模型和系统级优化。随后,在这种分类法的指导下,我们仔细检查和总结了每个层次和子领域的研究。对于模型量化和高效服务系统等成熟技术ÿ