【深度学习】AMP（Automatic Mixed Precision，自动混合精度）

@[toc]AMP（Automatic Mixed Precision，自动混合精度）

AMP

在深度学习中，AMP（Automatic Mixed Precision，自动混合精度） 是一种通过混合使用单精度（FP32）和半精度（FP16）来加速训练并减少显存占用的技术。它能够在不显著损失模型精度的情况下，大幅提升训练速度和效率。

1. 什么是混合精度训练？

混合精度训练是指在训练过程中同时使用两种不同的浮点数精度：

FP32（单精度浮点数）：32 位浮点数，精度高，但计算速度较慢，显存占用较大。

FP16（半精度浮点数）：16 位浮点数，精度较低，但计算速度快，显存占用小。

通过混合使用 FP32 和 FP16，可以在保持模型精度的同时，显著提升训练速度和减少显存占用。

2. AMP 的工作原理

AMP 的核心思想是：

使用 FP16 进行计算（如矩阵乘法、卷积等），以加速计算并减少显存占用。

使用 FP32 存储模型权重和梯度，以避免因 FP16 精度不足而导致的数值不稳定问题。

在需要时，自动将 FP16 转换为 FP32（例如在梯度更新时）。

3. AMP 的优势

1.加速训练：FP16 的计算速度比 FP32 快，尤其是在支持 Tensor Core 的 GPU（如 NVIDIA Volta、Turing、Ampere 架构）上。

2.减少显存占用：FP16 的显存占用是 FP32 的一半，可以训练更大的模型或使用更大的批量大小。

3.保持模型精度：通过混合精度训练，可以在大多数情况下保持模型的精度。

4. 如何使