Pytorch 可视化CNN中间层的输出

可视化中间层的输出有助于理解输入图像如何在不同层之间进行转换。

PyTorch 提供了一个名为register_forward_hook的方法,它允许传入一个可以提取特定层输出的函数。

以下例子,使用VGG-16网络和猫狗图像分类,演示如何提取不同层的输出。

import matplotlib.pyplot as plt
import torch
from torchvision import models, transforms
from torch.utils.data import DataLoader, Dataset
import torch.nn as nn
from torch.autograd import Variable
import torch.nn.functional as F
import os
import numpy as np
from torchvision.datasets import ImageFolder

torch.cuda.set_device(0)  # 设置GPU ID
is_cuda = True
simple_transform = transforms.Compose([transforms.Resize((224, 224)),
                                       transforms.ToTensor(),  # H, W, C -> C, W, H 归一化到(0,1),简单直接除以255
                                       transforms.Normalize([0.485, 0.456, 0.406],  # std
                                                            [0.229, 0.224, 0.225])])

# mean  先将输入归一化到(0,1),再使用公式”(x-mean)/std”,将每个元素分布到(-1,1)
# 使用 ImageFolder 必须有对应的目录结构
train = ImageFolder("./datas/dogs-vs-cats/train", simple_transform)
valid = ImageFolder("./datas/dogs-vs-cats/valid", simple_transform)
train_loader = DataLoader(train, batch_size=1,  shuffle=False, num_workers=5)
val_loader = DataLoader(valid, batch_size=1, shuffle=False, num_workers=5)

vgg = models.vgg16(pretrained=True).cuda()

# 提取不同层输出的 主要代码
class LayerActivations:
    features = None

    def __init__(self, model, layer_num):
        self.hook = model[layer_num].register_forward_hook(self.hook_fn)

    def hook_fn(self, module, input, output):
        self.features = output.cpu()

    def remove(self):
        self.hook.remove()

print(vgg.features)

conv_out = LayerActivations(vgg.features, 0)  # 提出第 一个卷积层的输出 
img = next(iter(train_loader))[0]

# imshow(img)
o = vgg(Variable(img.cuda()))
conv_out.remove()  #
act = conv_out.features  # act 即 第0层输出的特征

# 可视化 输出
fig = plt.figure(figsize=(20, 50))
fig.subplots_adjust(left=0, right=1, bottom=0, top=0.8, hspace=0, wspace=0.2)
for i in range(30):
    ax = fig.add_subplot(12, 5, i+1, xticks=[], yticks=[])
    ax.imshow(act[0][i].detach().numpy(), cmap="gray")

plt.show()

原图像:

第一个VGG-16 卷积层输出 部分结果可视化,如下图:

可视化 VGG-16最后的输出结果,设置:(29 是最后一个MaxPool2d的ID)

conv_out = LayerActivations(vgg.features, 29)

可视化结果, 如下图:

 

 从上可以 看出, 低层的输出的特征 人还可以看明白, 而更高层的输出 倾向于学习更高层次的特征,而解释性比较差。

可视化层的输出, 对于理解CNN有很大的帮助,神经网络如果一直是一个黑盒,人类使用起来恐怕也不放心。解释神经网络是如何学习的,必然是一个研究方向。

  • 22
    点赞
  • 136
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
可以使用PyTorch提供的可视化工具来查看CNN的每一的特征。以下是一些实现方法: 1. 使用torchsummary库来可视化模型的结构和参数。 ```python from torchsummary import summary import torch.nn as nn # 定义一个CNN模型 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1) self.conv2 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, stride=1, padding=1) self.conv3 = nn.Conv2d(in_channels=128, out_channels=256, kernel_size=3, stride=1, padding=1) self.pool = nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = nn.Linear(256 * 4 * 4, 1024) self.fc2 = nn.Linear(1024, 10) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = self.pool(F.relu(self.conv3(x))) x = x.view(-1, 256 * 4 * 4) x = F.relu(self.fc1(x)) x = self.fc2(x) return x # 输出模型的结构和参数 model = Net() print(summary(model, (3, 32, 32))) ``` 2. 使用hook函数来获取每一的特征,并将其可视化。 ```python import matplotlib.pyplot as plt import numpy as np # 定义hook函数 def get_activation(name): def hook(model, input, output): activation[name] = output.detach() return hook # 注册hook函数 model.conv1.register_forward_hook(get_activation('conv1')) model.conv2.register_forward_hook(get_activation('conv2')) model.conv3.register_forward_hook(get_activation('conv3')) # 加载一张图片 image = np.array(Image.open('image.jpg').resize((32, 32))) # 转换图片维度 image_tensor = torch.from_numpy(image).permute(2, 0, 1).unsqueeze(0).float() # 对图片进行预测 model.eval() with torch.no_grad(): output = model(image_tensor) # 可视化每一的特征 for i in range(3): plt.figure() plt.imshow(activation['conv{}'.format(i+1)][0][0].cpu(), cmap='gray') plt.axis('off') ``` 以上两种方法都可以帮助我们可视化CNN的每一的特征,方便我们观察模型的学习情况。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值