Pytorch Distribted training中loss.backward()报错

参考issue

错误触发：
pytorch 在分布式计算时, 如果模型中某部分参数未参与最终loss计算，那么不会有梯度值，进行loss回传时，这部分梯度便为None, 因此loss.backward()会报错。（单卡时并不会触发）

解决：
一种不太优雅的方式，对这部分对最终loss无影响的参数也加入到参数计算之中。

loss =  0 * sum([x.sum() for x in model.parameters()])