gpu是否支持fp16
fp16和fp32区别
FP32 是单精度浮点数,4个字节,32个bit,1bit表示符号,8bit 表示指数,23bit 表示小数。
FP16 半精度浮点数,2个字节,16个bit,1bit表示符号,5bit 表示指数,10bit 表示小数。
fp16作用
加载训练,同时减少显存的使用
mmdetection中使用fp16 混合精度训练
#config.py
'''
以fp16的形式保存权重和梯度,更新时使用fp32
更新时,学习率和梯度的乘积值一般会很小,FP16的极限表达能力比fp32大,为了避免乘积小于fp16表达极限时乘积为0的情况。
放大loss(梯度也会跟着放大)(loss*=loss_scale),更新时以fp32形式,保存时以fp16形式,梯度较小时,直接以fp16形式保存,可能为0,所以先乘上loss_scale
'''
# loss_scale你可以自己指定,几百到1000比较合适,这里取512
fp16 = dict(loss_scale=512.)