pytorch如何同时用多块gpu同时训练

问题.现在只有一块gpu训练，另一块没有用上，不知如何调
(1) batch_size需要大于现有的gpu的数量
（2）device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#cuda:0代表起始的
#device_id为0,如果直接是cuda,同样默认是从0开始，可以根据实际需要修改起始位置，如cuda:1
（3）if torch.cuda.device_count() > 1:  # 查看当前电脑的可用的gpu的数量，若gpu数量>1,就多gpu训练
        model = torch.nn.DataParallel(model)#多gpu训练,自动选择gpu
 （4）model.to(device)#将网络模型放到指定的gpu或cpu上