pytorch之多GPU使用——#CUDA_VISIBLE_DEVICES使用 #torch.nn.DataParallel() #报错解决

主要讲单机多卡（单主机多GPUs训练）

使用多卡训练的方式有很多，当然前提是我们的设备中存在多个GPU：使用命令nvidia-smi查看当前Ubuntu平台的GPU数量，其中每个GPU被编上了序号：[0,1,2,3]

0. 显卡编号（什么是主卡）

在默认情况下，标号为0的显卡为主卡，如主机中有4块显卡，那么每张显卡的默认标号为[0,1,2,3]。

如何将其他显卡设置为主卡呢？

通过os.environ["CUDA_VISIBLE_DEVICES"]指定所要使用的显卡，如：

os.environ["CUDA_VISIBLE_DEVICES"] = "3,2,0,1"
model = torch.nn.DataParallel(model, device_ids=[0,2,3]).cuda()

此时，3号显卡就变成了主卡，在使用torch.nn.DataParallel指定运算显卡时，显卡的对应关系如下：

实际显卡编号----->运算显卡编号
    3     ----->     0（主卡）
    2     ----->     1
    0     ----->     2
    1     ----->     3

1. 使用所有存在的显卡

在存在多卡的条件下，最简单的方法是直接使用torch.nn.DataParallel将你的模型wrap一下即可：

net = torch.nn.DataParallel(model)

这时，默认所有存在的显卡都会被使用

2. 指定编号使用显卡

如果有很多显卡(例如我们有4张显卡)，但只想使用0、1、2号显卡，那么可以：

net = torch.nn.DataParallel(model, device_ids=[0, 1, 2])

或者：

os.environ["CUDA_VISIBLE_DEVICES"] = ','.join(map(str, [