【深度之眼】【Pytorch打开第12天】：hook函数与CAM可视化

任务：hook函数与CAM(class activation map, 类激活图)

任务简介：学习pytorch的hook函数机制以及CAM可视化算法

详细说明：深入学习了解pytorch的hook函数运行机制，介绍pytorch中提供的4种hook函数

1. torch.Tensor.register_hook(hook)
2. torch.nn.Module.register_forward_hook
3. torch.nn.Module.register_forward_pre_hook
4. torch.nn.Module.register_backward_hook
   最后，介绍CAM可视化及其改进算法Grad-CAM

实现任务

采用torch.nn.Module.register_forward_hook机制实现AlexNet第一个卷积层输出特征图的可视化，并将/torchvision/models/alexnet.py中第28行改为：nn.ReLU(inplace=False)，观察inplace=True与inplace=False的差异。

---

知识点

Hook函数

Hook函数机制:不改变主体，实现额外功能，像一个挂件，挂钩，hook

1. torch.Tensor.register_hook(hook)
2. torch.nn.Module.register_forward_hook
3. torch.nn.Module.register_forward_pre_hook
4. torch.nn.Module.register_backward_hook

Tensor.register_hook

• 功能:注册一个反向传播hook函数
• Hook函数仅一个输入参数，为张量的梯度

  使用方法：.register_hook(hook_fn)，其中hook_fn为一个用户自定义的函数，输出为一个 Tensor 或者是 None （None 一般用于直接打印梯度）。反向传播时，梯度传播到变量 z，再继续向前传播之前，将会传入hook_fn。如果hook_fn的返回值是 None，那么梯度将不改变，继续向前传播，如果hook_fn的返回值是Tensor类型，则该Tensor将取代 z 原有的梯度，向前传播。

# ----------------------------------- 1 tensor hook 1
flag = 0
flag = 1
if flag:
    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)
    a = torch.add(w, x)
    b = torch.add(w, 1)
    y = torch.mul(a, b)

    a_grad = list()

    def grad_hook(grad):
        a_grad.append(grad)

    handle = a.register_hook(grad_hook)

    y.backward()

    print("gradient:", w.grad, x.grad, a.grad, b.grad, y.grad)
    print("a_grad[0]:", a_grad[0])

    handle.remove()
    

输出：

gradient: tensor([5.]) tensor([2.]) None None None
a_grad[0]: tensor([2.])

# ----------------------------------- 2 tensor hook 2
flag = 0
flag = 1
if flag:
    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)
    a = torch.add(w, x)
    b = torch.add(w, 1)
    y = torch.mul(a, b)

    a_grad = list()


    def grad_hook(grad):
        grad *= 2
        return grad * 3


    handle = w.register_hook(grad_hook)

    y.backward()

    print("w.grad:", w.grad)
    handle.remove()
    

输出：w.grad: tensor([30.])

Module.register_forward_hook

• 功能:注册module的前向传播hook函数
• 参数:
  • module: 当前网络层
  • input:当前网络层输入数据
  • output:当前网络层输出数据

Module.register_forward_pre_hook

• 功能:注册module的前向传播前的hook函数
• 参数:
  • module: 当前网络层
  • input:当前网络层输入数据

Module.register_backward_hook

• 功能:注册module的反向传播的hook函数
• 参数:
  • module: 当前网络层
  • grad_input:当前网络层输入梯度数据
  • grad_output:当前网络层输出梯度数据

小实验

# --------------------------- 3 Module.register_forward_hook and pre hook
# flag = 0
flag = 1
if flag:
    class Net(nn.Module):
        def __init__(self):
            super(Net, self).__init__()
            self.conv1 = nn.Conv2d(1, 2