小猪猪的深度学习之路-2-多显卡加载

DataParallel

model=torch.nn.DataParallel(model,device_ids=显卡id)#显卡id格式为list

model.to(torch.device(“cuda:0”)

device = torch.device(“cuda：0” if torch.cuda.is_available() else “cpu”)
inputs, labels = inputs.to(device), labels.to(device)

optimizer = nn.DataParallel(optimizer, device_ids=device_ids)
optimizer.to(torch.device(“cuda:0”)
注：此方法会导致严重的负载不均衡现象，即gpu 0的使用内存会大大超出其他显卡的使用内存。

torch.nn.parallel.DistributedDataParallel()

有点复杂，先略过，性能比DataParallel好，不过依然不如买卡有效果。。。