Pytorch多显卡调用 Dataparallel

1. 如何使模型在多个卡上进行运算

Model = VGG(args)
Device = torch.device('cpu' if use_cpu else 'cuda')  # 明确是使用cpu还是cuda
If use_more_gpu:
    Model = torch.nn.Dataparallel( Model, [0,1,2,3]) # [0,1,2,3] 是可使用的gpu id

2. Dataparallel的原理

① 将模型的参数拷贝至多个显卡

②将数据按照batch平均分给各个显卡，降低单个显卡的计算压力。