【torch.nn.DataParallel】

1.问题描述
使用单机多卡训练时，用了DataParallel加载模型。模型需要的参数为复数形式，在模型内部需要转为实数，使用view_as_real()函数，代码在这一步报错“view_as_real is only supported for complex tensors”。
原因分析及解决：
DataParallel用于单机多卡训练，但是当传入的数据为复数时，会自动被转为实数。
比如shape为([257,600])的复数，会变为([257,600,2])。因此，不能再用view_as_real()函数将其转换为实数，应去掉这行代码。

相关资料：https://blog.csdn.net/comway_Li/article/details/107531165

2.问题描述

使用单机多卡训练时，loss.backward()报错如下：
发生异常: RuntimeError Function GatherBackward returned an invalid gradient at index 0 - got [6, 257, 626, 2] but expected shape compatible with [6, 257, 626] File "/DPB/code/nnet/libs/trainer_unet_tse.py", line 208, in train loss.backward() File "/DPB/code/nnet/libs/trainer_unet_tse.py", line 258, in run tr = self.train(train_loader) File "/DPB/code/nnet/train_bsrnn.py", line 58, in run trainer.run(train_loader, dev_loader, num_epochs=args.epochs) File "/BSRNN/DPB/code/nnet/train_bsrnn.py", line 95, in <module> run(args) RuntimeError: Function GatherBackward returned an invalid gradient at index 0 - got [6, 257, 626, 2] but expected shape compatible with [6, 257, 626]
在我的代码中[6,257,626,2]是实数，[6,257,626]是复数
原因分析及解决
同上述问题原因一样，因为DataParallel只能处理实数数据，用DataParallel加载模型时，其输入输出会自动被转为实数，也就是由[6,257,626]->[6,257,626,2]，虽然前向传播时不会报错，但反传时，loss.backward()看到的数据（变换后的[6,257,626,2]）和它期待的数据（变换前的[6,257,626]）是不一样的。解决这个问题，只需在模型返回输出前，将其手动转为实数，这样反向传播时看到的数据就一致了。因此，在使用DataParallel训练时，涉及到复数的模型的输入输出必须要注意处理。

return s

改为如下形式即可：

s = torch.view_as_real(s)
return s

3.问题描述：
使用单机多卡训练时，在某层提示“Expected all tensors to be on the same device, but found at least two devices”
原因分析及解决
使用metric GAN loss训练网络，原本的网络用的多卡训练，Discriminator网络却没使用DataParallel加载模型，所以这个模型只存在于单张卡，而他要用的数据是同时存在于两张卡上，有部分数据获取不到。所以要把这个Discriminator也用多卡训练。

discriminator_load = th.nn.DataParallel(self.discriminator, device_ids=self.gpuid)