Inference Acceleration for Large Language Models on CPUs

本文是LLM系列文章，针对《Inference Acceleration for Large Language Models on CPUs》的翻译。
@TOC

摘要

近年来，大型语言模型在各种自然语言处理（NLP）任务中表现出了卓越的性能。然而，为现实世界的应用程序部署这些模型通常需要高效的推理解决方案来处理计算需求。本文探讨了如何利用CPU加速大型语言模型的推理。具体来说，我们引入了一种并行方法，通过1）利用现代CPU架构的并行处理能力，2）对推理请求进行批处理来提高吞吐量。我们的评估显示，加速推理引擎每秒生成的token提高了18-22x。序列越长，模型越大，提高幅度越大。除此之外，我们还可以在同一台具有NUMA节点隔离的机器上运行多个worker，以进一步提高token/秒。表2显示，我们在4个worker的情况下获得了4倍的额外改进。这也将使基于人工智能的产品和公司对环境友好，我们的估计显示，推理的CPU使用率可以将LLM的功耗降低48.9%（使用AMD EPYC 7V13的A100为1252 W，而使用Intel®Xeon®Gold 6538N为613 W），同时提供生产就绪的吞吐量和延迟。

1 引言

2