Pytorch 分析反向梯度检查网络

  当训练时loss下降效果不理想或自定义损失函数时，需要检查反向回传梯度是否正常，网络权重是否在更新。

打印网络中的层的梯度

  参考pytorch 打印网络回传梯度，在loss.backward()后，取出网络各层属性，并分析权重及其梯度信息。

for name, weight in net.named_parameters():
	# print("weight:", weight) # 打印权重，看是否在变化
	if weight.requires_grad:
		# print("weight:", weight.grad) # 打印梯度，看是否丢失
		# 直接打印梯度会出现太多输出，可以选择打印梯度的均值、极值，但如果梯度为None会报错
		print("weight.grad:", weight.grad.mean(), weight.grad.min(), weight.grad.max())

打印参数的梯度

  对于自己设计的网络或损失函数，当设计有误时可能网络中各层都没有梯度，这时需要通过分析输入输出的中间变量Tensor来分析梯度是在哪个环节消失的。参考pytorch中的钩子（Hook）有何作用？李斌的回答，如果在训练中打印中间变量的梯度时会得到None，这是因为

这个问题在PyTorch的论坛上有人提问过，开发者说是因为当初开发时设计的是，对于中间变量，一旦它们完成了自身反传的使命，就会被释放掉。

  因此需要添加hook来打印中间变量的梯度：

# 方法一
def print_grad(grad):
    print(grad)

def tran():
	...
	# 对于中间变量 y
	y.register_hook(print_grad)
	loss.backward()
	...

# 方法二，适用于Python3
	y.register_hook(lambda grad: print(grad))