fp16和fp32 混合精度训练 mmdetection

gpu是否支持fp16

fp16和fp32区别

FP32 是单精度浮点数，4个字节，32个bit，1bit表示符号，8bit 表示指数，23bit 表示小数。
FP16 半精度浮点数，2个字节，16个bit，1bit表示符号，5bit 表示指数，10bit 表示小数。

fp16作用

加载训练，同时减少显存的使用

mmdetection中使用fp16 混合精度训练

#config.py
'''
以fp16的形式保存权重和梯度，更新时使用fp32
	更新时，学习率和梯度的乘积值一般会很小，FP16的极限表达能力比fp32大，为了避免乘积小于fp16表达极限时乘积为0的情况。
放大loss（梯度也会跟着放大）（loss*=loss_scale),更新时以fp32形式，保存时以fp16形式，梯度较小时，直接以fp16形式保存，可能为0，所以先乘上loss_scale
'''
# loss_scale你可以自己指定，几百到1000比较合适，这里取512
fp16 = dict(loss_scale=512.)