pytorch中nn.DataParallel(多GPU并行计算)的原理
DataParallel()函数的作用就是将一个batchsize的输入数据均分到多个GPU上分别计算。此处注意,batchsize要大于GPU个数才能划分。torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)这个函数主要有三个参数:module:即模型,此处注意,虽然输入数据被均分到不同gpu上,但每个gpu上都要拷贝一份模型。 device_ids:即参与训练的gpu列表,例如三块卡, .



