pytorch 半精度half()

目录

全精度半精度转换

判断数据类型是否为half：

用type判断是否为half，测试不成功：

判断是否为tensor：

混合精度：

半精度训练心得笔记：

---

全精度半精度转换

nn.Module中的half()方法将模型中的float32转化为float16,实现的原理是遍历所有tensor,而float32和float16都是tensor的属性，也就是说，一行代码解决，如下

model.half()

全精度：

 model.float()

cuda自动半精度：

half &= device.type != 'cpu'  # half precision only supported on CUD