Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理

原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch

了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟

2024 年 4 月 19 日

万众期待的 Meta 第三代 Llama 发布了，我想确保你知道如何以最佳方式部署这个最先进的（SoTA）LLM。在本文中，我们将重点讨论如何执行只权重量化（WOQ）来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Llama 3。

Llama 3

迄今为止，Llama 3 系列包括 8B 到 70B 参数的模型，未来还会有更多版本。这些模型都附带有允许使用的 Meta Llama 3 许可证，请在接受使用这些模型所需的条款之前仔细阅读。这标志着 Llama 模型系列和开源人工智能进入了激动人心的新篇章。

结构

Llama 3 是一种基于纯解码器transformer的自动回归 LLM。与 Llama 2 相比，Meta 团队做出了以下显著改进：

• 采用分组查询关注 (GQA)，提高了推理效率。
• 优化了标记符号生成器，其词汇量为 128K 标记，旨在更高效地编码语言。
• 在 15 万亿个 token 数据集上进行了训练，比 Llama 2 的训练数据集大 7 倍，包含的代码多 4 倍。

下图是 print(model) 的结果，其中 model 为 meta-llama/Meta-Llama-3-8B-Instruct。从图中我们可以看到，该模型由 32 个 LlamaDecoderLayers 组成，这些 LlamaDecoderLayers 由 Llama Attention 自我注意组件构成。此外，它还有 LlamaMLP、LlamaRMSNorm 和一个线性头。