使用单机多卡GPU训练网络，数据并行模式，问题总结！！！！！！！！！！

1.设置GPU可显有哪些

from torch.nn import DataParallel

os.environ["CUDA_VISIBLE_DEVICES"] = '3,4,5,6,7'
2.设置device为GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
3.使用nn.DataParallel来切换多GPU格式

if torch.cuda.device_count() > 1:
     print("Let's use", torch.cuda.device_count(), "GPUs!")#打印可用GPU
model.to(device)
model = DataParallel(model)

4.数据并行模式：系统会自动将数据放在各个GPU上，模型参数也会各自复制一份在各个模型上，但是当GPU内存不足时他会将模型切分多个部分，因此在保存模型时要保留完整的模型，示例如下：

 if best_dice < val_dice:
      best_dice = val_dice
      best_model=self.model.module.state_dict()###关键点：model.module将完整参数取回
      name = "{}_BEST.pth".format(os.path.basename(self.args.save))
      # print(self.args.save)
      torch.save(best_model, os.path.join(self.args.save, name))

注意：在调试过程中犯了几个错误：
1.首先非必要不要指定某个GPU存放模型参数，因为在后续训练过程中可能会因为内存问题导致训练中断；
2.在存模型时只需要将参数赋给某个变量，不要将整个模型都使用model=model.module,这会导致原本使用多GPU训练，而加上这句后，模型使用一个GPU训练，中断训练过程。