目录
全精度半精度转换
判断数据类型是否为half:
用type判断是否为half,测试不成功:
判断是否为tensor:
混合精度:
半精度训练心得笔记:
全精度半精度转换
nn.Module中的half()方法将模型中的float32转化为float16,实现的原理是遍历所有tensor,而float32和float16都是tensor的属性,也就是说,一行代码解决,如下
model.half()
全精度:
model.float()
cuda自动半精度:
half &= device.type != 'cpu' # half precision only supported on CUD