The Llama 3 Herd of Models 第6部分推理部分全文

第1,2,3部分 介绍，概览和预训练

第4部分 后训练

第5部分 结果

6 Inference 推理

        我们研究了两种主要技术来提高Llama 3405b模型的推理效率:(1)管道并行化和(2)FP8量化。我们已经公开发布了FP8量化的实现。

6.1 Pipeline Parallelism 管道并行

        当使用BF16数字表示模型参数时，Llama 3 405B不适合带有8个Nvidia H100 GPU的单台机器的GPU内存。为了解决这个问题，我们在两台机器上的16个gpu上使用BF16精度并行化模型推理。在每台机器内，高NVLink带宽允许使用张量并行性(Shoeybi等人，2019)。然而，跨节点的连接具有更低的带宽和更高的延迟，因此我们使用管道并行(Huang et al, 2019)。

        在管道并行训练期间，bubbles是一个主要的效率问题(参见3