通过half()把单精度float32转为半精度float16 超实用网络训练技巧 python

我在网上之前找了半天，也没找到能简洁明了地说怎么做能实现转半精度的，趁着弄清楚了，分享给大家。

我们都知道N卡早就支持半精度float16的运算了。跑深度学习的时候，在不苛求精度的前提下(大多数时候都是不需要的)，通过half()把单精度float32转为半精度float16，使得整个网络调用的参数量直接砍掉一半，以便运行时间大大缩短。

方法：

我们知道把原在cpu运行的网络放到gpu上运行，只需要把网络模型和变量全都加上cuda()就可以了，如图

要实现把单精度float32转为半精度float16，就在所有的 .cuda() 后再加上 .half() ,如图

如果有哪个cuda()忘加half()了,就会报如上的错误，所以继续加half(), 如图

这次就大功告成了，确实发现快了，官方说法是运行速度提升了整整一倍,美滋滋！

注：