tensorflow 1.14后, 可以自动开启混合精度训练,在nvidia 某些设备上支持的很好,可以提速和节省显存,使用也很方便。
简介
看官方的介绍更好
Nvidia,auto_mix_precision
使用方法
在opt 后加上一句就好,
opt = tf.train.experimental.enable_mixed_precision_graph_rewrite(opt),
在终端会出现以下log,会自动将某些运算用fp16计算,并scale loss
tensorflow 1.14后, 可以自动开启混合精度训练,在nvidia 某些设备上支持的很好,可以提速和节省显存,使用也很方便。
看官方的介绍更好
Nvidia,auto_mix_precision
在opt 后加上一句就好,
opt = tf.train.experimental.enable_mixed_precision_graph_rewrite(opt),
在终端会出现以下log,会自动将某些运算用fp16计算,并scale loss