pytorch 使用GPU加速常见的问题

pytorch如何使用gpu加速

print(torch.cuda.is_available())
# 设置gpu设备
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
# net使用GPU
net.to(device)

# 数据copy到gpu
inputData = inputData.to(device)

# 开始执行
...
net(inputData)
...

两种方式，使用gpu：
inputs = inputs.to(device) # 方法一：将input这个tensor转换成了CUDA 类型
inputs = inputs.cuda() # 方法二：将input这个tensor转换成了CUDA 类型

常见的错误1

RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same or input should be a MKLDNN tensor and weight is a dense tensor
看看错误的代码

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
net.to(device) # 设置网络使用gpu
inputData.to(device)  # 数据发送到gpu

net(inputData) # 执行

RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same
错误内容就在类型不匹配，根据报错内容可以看出Input type为torch.FloatTensor（CPU数据类型），而weight type（即网络权重参数这些）为torch.cuda.FloatTensor（GPU数据类型）

若与上面错误提示是反的，即：

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
说明神经网络没指定GPU，解决办法即：

device = torch.device('cuda:0')
net.to(device) # 设置网络使用gpu

常见的错误2

TypeError: can‘t convert cuda:0 device type tensor to numpy. Use Tensor.cpu()

解决办法

 将张量移动到 CPU 上
tensor_cpu = tensor_gpu.cpu()
 
# 转换为 NumPy 数组
numpy_array = tensor_cpu.numpy()