pytorch如何使用gpu加速
print(torch.cuda.is_available())
# 设置gpu设备
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
# net使用GPU
net.to(device)
# 数据copy到gpu
inputData = inputData.to(device)
# 开始执行
...
net(inputData)
...
两种方式,使用gpu:
inputs = inputs.to(device) # 方法一:将input这个tensor转换成了CUDA 类型
inputs = inputs.cuda() # 方法二:将input这个tensor转换成了CUDA 类型
常见的错误1
RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same or input should be a MKLDNN tensor and weight is a dense tensor
看看错误的代码
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
net.to(device) # 设置网络使用gpu
inputData.to(device) # 数据发送到gpu
net(inputData) # 执行
RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same
错误内容就在类型不匹配,根据报错内容可以看出Input type为torch.FloatTensor(CPU数据类型),而weight type(即网络权重参数这些)为torch.cuda.FloatTensor(GPU数据类型)
若与上面错误提示是反的,即:
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
说明神经网络没指定GPU,解决办法即:
device = torch.device('cuda:0')
net.to(device) # 设置网络使用gpu
常见的错误2
TypeError: can‘t convert cuda:0 device type tensor to numpy. Use Tensor.cpu()
解决办法
将张量移动到 CPU 上
tensor_cpu = tensor_gpu.cpu()
# 转换为 NumPy 数组
numpy_array = tensor_cpu.numpy()
其他一些注意
-
使用.to()或.cuda()和.cpu()方法时要小心:
当你使用.to(device)、.cuda()或.cpu()方法时,这些操作会返回新的张量,而不是在原地修改原张量。因此,你需要确保将新返回的张量赋值给变量,并在后续的计算中使用这个新变量。 -
使用.to()时考虑数据类型:
如果你的张量包含半精度浮点数(torch.half)或其他非默认数据类型,并且你的GPU支持这些数据类型,确保在调用.to(device)时也指定了数据类型。 -
检查是否有库或函数在后台自动改变设备:
有时,某些库或函数可能会在你的不知情下改变张量的设备。确保你了解你正在使用的所有库和函数,并检查它们的文档以了解它们是否可能影响张量的设备。 -
使用torch.nn.DataParallel或torch.distributed进行多GPU训练:
如果你正在使用多个GPU进行训练,并且希望自动处理跨设备的数据传输,你可以考虑使用torch.nn.DataParallel或PyTorch的分布式模块。但是,这些工具通常用于高级用例,并且在大多数情况下,简单地确保所有张量都在同一个设备上更为简单和直接。
参考来源:https://blog.csdn.net/qlkaicx/article/details/138354699