深度学习八股文：混合精度训练过程出nan怎么办

其实如果是FP32的训练，基本的调试方法还是差不多，这里就讲一下混合精度训练过程中的nan。

低精度计算（如16位浮点数或半精度浮点数）在某些情况下容易出现NaN。这主要与浮点数的表示范围和精度有关。以下是一些可能导致NaN的情况：

1. 数值范围越界： 低精度浮点数的表示范围相对较小，如果计算结果超出了这个范围，就会导致数值溢出，最终得到NaN。

2. 数值精度损失： 低精度浮点数的表示精度有限，因此在一些计算中可能会发生舍入误差，导致结果不准确。这种不准确性在一些计算中可能积累，最终导致NaN。

3. 零除错误： 如果在低精度下进行除法运算，可能导致分母或分子的值过小，从而引发零除错误，得到NaN。

4. 无穷大和无穷小： 低精度浮点数可能无法表示某些极端的数值，例如无穷大或无穷小。在一些计算中，如果结果超出了浮点数的表示范围，就会得到NaN。

5. 非数值操作： 一些非数值操作，如取负数的平方根，可能在低精度计算中产生NaN。

在使用低精度计算时，需要仔细考虑数据的范围和计算的稳定性。对于某些应用，特别是对数值精度要求较高的任务（如训练深度神经网络），可能需要选择更高精度的计算。此外，合理的数值范围检查和异常值处理也是避免NaN的一种方式。

混合精度训练使用较低的数值精度（通常是半精度浮点数，例如FP16）来加速模型训练，但在一些情况下，可能会引发数值不稳定性的问题，导致 NaN 的出现。处理混合精度训练中的 NaN 问题时，可以考虑以下步骤：

数值检查： 在训练过程中，定期检查模型参数、梯度等是否包含 NaN 或 Inf（无穷大）值。你可以在训练循环中添加断言语句，及时发现异常值

assert not torch.isnan(model.parameters()).any(), "Model parameters contain NaN!"

梯度缩放（Gradient Scaling）： 在混合精度训练中，通常会使用梯度缩放来抵消使用较低精度带来的梯度范围减小的问题。你可以尝试调整梯度缩放的比例。

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

注意，相比与前向出nan，混合精度训练会多一个梯度缩放的过程，这个是前向没有出nan的前提下实现的，影响的梯度更新：

前向计算过程中没有nan，loss算完后，乘以scale后导致inf，这时候再往后反向传播出nan了，那在梯度更新的时候就会在梯度更新前进行数值检查，check finite and unscale过程会去检查权重的梯度发现有nan或者inf就会跳过更新，此时就可以调整scale的值，把scale降低，然后跑下一个step的前向。如果scale调整后，乘以loss，没有inf，就调成功了，继续正常更新参数，如果还是inf就得继续调小scale