fp16训练（混合精度训练）

深度神经网络（DNN）在许多领域都取得了突破，包括图像处理和理解，语言建模，语言翻译，语音处理，游戏策略以及许多其他领域。 为了获得这些卓越结果，DNN的复杂性一直在增加，这反过来又增加了训练这些网络所需的计算资源。 混合精度训练通过使用低精度算术降低了所需的资源，具有以下好处。

减少所需的内存量。 半精度浮点格式（FP16）使用16位，而单精度（FP32）使用32位。 降低所需的内存可以训练更大的模型或训练时使用更大的batch size。

缩短训练或推理时间。计算的次数或者数据存储的存储十分影响算法的执行时间。半精度使用单精度的一半内存访问，从而降低了在存储层方面所花费的时间。 与单精度相比，NVIDIA GPU的半精度算术吞吐量最多提高了8倍，从而加快了数学受限层的速度。

---

---

---

参考资料：
fp16训练（混合精度训练）
fp16与fp32简介与试验