对于训练而言，最引人注目的自然是FP8的使用

1. 什么是FP8？

FP8是一种浮点数格式，用8个比特（bit）来表示一个数字。相比传统的32位浮点数（FP32）或16位浮点数（FP16），FP8的数据量非常小。这意味着我们可以用更少的内存和计算资源，来处理更多的数据。

2. 为什么训练中使用FP8？

• 节省内存和加速计算：深度学习训练通常需要大量的数据和参数。传统的FP32（32位浮点数）格式虽然精度高，但也消耗大量的内存和计算资源。而FP8格式，只有8位，大大减少了内存消耗，每次计算所需的数据量也变小了，因此可以更快地进行计算，加速训练过程。

• 在合理精度下仍能有效训练：虽然FP8精度较低，但很多深度学习任务并不需要非常高的精度，特别是在模型已经训练得比较好的情况下。对于一些推理任务或已经接近最终结果的训练阶段，FP8依然能提供足够的效果。因此，使用FP8可以在不明显影响最终结果的情况下，显著提升训练速度和节省资源。

3. 对比FP32/FP16：

• FP32（32位浮点数）是目前训练中最常见的格式，它的优点是精度高，但缺点是内存消耗大，计算也比较慢。
• FP16（16位浮点数）则减少了内存的使用，速度有所提升，但精度下降较多，在某些训练阶段可能无法满足需求。
• FP8（8位浮点数）则在进一步降低内存和计算需求的同时，依然能保持足够的精度，适合那些对精度要求不是特别高的应用。

4. 总结：

FP8最吸引人的地方就是它在训练中能提供更高的效率。它通过降低内存消耗和计算量，能够加速训练过程，特别是对于一些大规模模型训练或在硬件资源有限的情况下，它能够显著提升性能而不会对结果造成太大的影响。

简而言之，FP8就像是“压缩”了你的训练数据和计算任务，使得模型训练更快、更省资源，而且在大多数情况下，精度的下降不会影响到模型的表现。