当训练时loss下降效果不理想或自定义损失函数时,需要检查反向回传梯度是否正常,网络权重是否在更新。
打印网络中的层的梯度
参考pytorch 打印网络回传梯度,在loss.backward()
后,取出网络各层属性,并分析权重及其梯度信息。
for name, weight in net.named_parameters():
# print("weight:", weight) # 打印权重,看是否在变化
if weight.requires_grad:
# print("weight:", weight.grad) # 打印梯度,看是否丢失
# 直接打印梯度会出现太多输出,可以选择打印梯度的均值、极值,但如果梯度为None会报错
print("weight.grad:", weight.grad.mean(), weight.grad.min(), weight.grad.max())
打印参数的梯度
对于自己设计的网络或损失函数,当设计有误时可能网络中各层都没有梯度,这时需要通过分析输入输出的中间变量Tensor来分析梯度是在哪个环节消失的。参考pytorch中的钩子(Hook)有何作用?李斌的回答,如果在训练中打印中间变量的梯度时会得到None
,这是因为
这个问题在PyTorch的论坛上有人提问过,开发者说是因为当初开发时设计的是,对于中间变量,一旦它们完成了自身反传的使命,就会被释放掉。
因此需要添加hook来打印中间变量的梯度:
# 方法一
def print_grad(grad):
print(grad)
def tran():
...
# 对于中间变量 y
y.register_hook(print_grad)
loss.backward()
...
# 方法二,适用于Python3
y.register_hook(lambda grad: print(grad))