错误触发:
pytorch 在分布式计算时, 如果模型中某部分参数未参与最终loss计算,那么不会有梯度值,进行loss回传时,这部分梯度便为None, 因此loss.backward()会报错。(单卡时并不会触发)
解决:
一种不太优雅的方式,对这部分对最终loss无影响的参数也加入到参数计算之中。
loss = 0 * sum([x.sum() for x in model.parameters()])
错误触发:
pytorch 在分布式计算时, 如果模型中某部分参数未参与最终loss计算,那么不会有梯度值,进行loss回传时,这部分梯度便为None, 因此loss.backward()会报错。(单卡时并不会触发)
解决:
一种不太优雅的方式,对这部分对最终loss无影响的参数也加入到参数计算之中。
loss = 0 * sum([x.sum() for x in model.parameters()])