原生的torch是float32的,我们可以借鉴模型量化的思想将其变成float16,而且pytorch自身就定义了半精度的tensor
假设我训练的一个模型为model,我们在运算的时候直接将模型转成半精度的模型,怎么做的呢?直接使用model.half()就行
model.half()
model.cuda()
float32的tensor的变量 img,为了使用半精度的模型,同样需要将其输入转成HalfTensor
img=img.type(torch.HalfTensor).cuda()
现在就可以正常使用半精度的模型了:
out = model(img)
注意:img无论在cpu或者gpu上,
img.type(torch.HalfTensor).cuda()
转换类型后,都在cpu上,需要再转到gpu上。
float16转float32:
img.type(torch.FloatTensor).cuda()
我们可以对比一下效果,这里我自己拿了一个模型计算了一下:
完整版模型推理时间:0.03268694877624512秒
半精度模型推理时间:0.018633127212524414秒
原文链接:https://blog.csdn.net/zhou_438/article/details/115971686