Llama 3 CPU推理优化指南

备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA) LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ) 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Llama 3。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 

1、Llama 3

到目前为止，Llama 3 系列包括从 8B 到 70B 参数的模型，未来还会有更多版本。这些模型附带宽松的 Meta Llama 3 许可证，建议你在接受使用它们所需的条款之前先查看一下。这标志着 Llama 模型系列和开源 AI 的一个激动人心的篇章。

1.1 架构

Llama 3 是一个基于仅解码器transformer的自回归 LLM。与 Llama 2 相比，Meta 团队做出了以下显著改进：

• 采用分组查询注意 (GQA)，提高了推理效率。
• 优化的标记器，词汇量为 128K 个标记，旨在更有效地编码语言。
• 在 15 万亿个标记数据集上进行训练，这比 Llama 2 的训练数据集大 7 倍，代码量多 4 倍。

下图（图 1）是 print(model) 的结果，其中 mo