amp Automatic Mixed Precision 自动混合精度 在训练一个数值精度为float32的模型时,一部分的算子的精度为float16,具体哪些算子需要16的精度,可以进行自动安排。 功能 不改变模型,不降低模型训练精度的前提下 缩短训练时间、降低存储需求 apex 是PyTorch的拓展