hook钩子函数的使用

Pytorch中的Hook
使用Hook函数获取网络中间变量.
Hook函数机制是不改变函数主体，实现额外功能，像一个挂件，挂钩。正是因为PyTorch计算图动态图的机制，所以才会有Hook函数。在动态图机制的运算，当运算结束后，一些中间变量就会被释放掉，例如，特征图，非leaf节点的梯度。但是有时候，我们需要这些中间变量，所以就出现了Hook函数。
torch提供了四种hook方法，分别用于

获取各个参数的梯度值。tensor.register_hook(hook)
获取各个层前向传播的输入输出值。Module.register_forward_hook(hook)
获取各个层前向传播的输入值。Module.register_forward_pre_hook(hook)
获取各个层反向传播的梯度值。Module.register_backward_hook(hook)