1、使用方法
完整文章见PyTorch中Hook的简单使用
def hook_fn(grad):
grad *= 2
return grad
z.register_hook(hook_fn) # 注册一个钩子
z.backward() # 计算z的梯度
上面的代码展示了如何获取或者修改z的梯度:
首先需要注册一个钩子,当代码运行到涉及z的梯度(比如backward)时,会想起这里的钩子,并执行传入的函数hook_fn,其参数grad就是z的梯度,你可以将这个梯度保存下来,也可以如代码中改变梯度(需要返回)。
2、热力图的关键:获取梯度
output,features = model(img) # features为模型中间某层的特征图
def extract(g):
global features_grad
features_grad = g
pred = np.argmax(output.numpy()) # 计算此次分类的最终结果类
pred_class = output[:, pred]
features.register_hook(extract) # 给features特征层放置钩子
pred_class.backward() # 计算梯度,计算到features特征层时,触发钩子,执行extract,并将梯度赋值给全局变量features_grad,方便在函数外面获取数值
grads = features_grad # 获取梯度