A Survey on Efficient Inference for Large Language Models

本文是LLM系列文章，针对《A Survey on Efficient Inference for Large Language Models》的翻译。

摘要

大型语言模型（LLMs）因其在各种任务中的出色表现而引起了广泛关注。然而，LLM推理的大量计算和内存要求给资源受限场景中的部署带来了挑战。该领域的工作一直致力于开发旨在提高LLM推理效率的技术。本文对现有关于有效LLM推理的文献进行了全面的综述。我们首先分析了LLM推理效率低下的主要原因，即模型大小大、二次复杂度注意操作和自回归解码方法。然后，我们引入了一个全面的分类法，将当前的文献分为数据级、模型级和系统级优化。此外，本文还对关键子领域内的代表性方法进行了比较实验，以提供定量见解。最后，我们提供了一些知识总结，并讨论了未来的研究方向。

1 引言

2 前言

3 分类

4 数据级别优化

5 模型级别优化

6 系统级别优化

7 关键应用场景探讨

8 结论

高效的LLM推理侧重于降低LLM推理过程中的计算、内存访问和内存成本，旨在优化延迟、吞吐量、存储、功率和能量等效率指标。本调查对高效LLM推理研究进行了全面回顾，提出了见解、建议和关键技术的未来方向。最初，我们引入了一种分层分类法，包括数据、模型和系统级优化。随后，在这种分类法的指导下，我们仔细检查和总结了每个层次和子领域的研究。对于模型量化和高效服务系统等成熟技术ÿ