PyTorch默认使用从0开始的GPU,如果GPU0正在运行程序,或者GPU0运行内存空间不足,如果服务器上还有其他GPU的话,可以指定其他GPU。
查看显卡使用情况:
nvidia-smi
查看显卡使用情况(每一秒刷新一次):
watch -n 1 nvidia-smi
得到的GPU和显存状态图如下:
Memory Usage是显存使用率
GPU-Util是GPU利用率
类似tensorflow指定GPU的方式,使用CUDA_VISIBLE_DEVICES。使用GPU1:
CUDA_VISIBLE_DEVICES=1 python training.py
代码中选择使用哪块GPU
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
data = data.to(device)
model.to(device)