【可解释】|Layer CAM

已于 2022-05-01 21:13:02 修改
阅读量1.9k 收藏 5
点赞数 1
分类专栏： 可解释 文章标签： 深度学习
于 2022-03-19 10:41:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35608277/article/details/123583265
版权

主页：
https://mmcheng.net/layercam/

发现问题

Grad CAM浅层特征图的显著图噪声过多。
在这里插入图片描述

分析：

浅层权重方差变化大，不能使用梯度均值为特征图每个像素赋予同等重要度

在这里插入图片描述

提出解决方法

LayerCAM:基于元素的，每一张特征图中每一个元素都有一个对应的权重。
在这里插入图片描述
在这里插入图片描述

实验验证

1 弱监督目标定位实验

ILSVRC 50000张验证集

定位精度由loc1和loc5指标衡量。如果估计边界框和地面真值边界框之间的联合交集（IoU）大于或等于0.5，同时前1个预测类是正确的，则loc1度量表示估计结果属于正确类别。loc5指标用于预测的前5个类别。
在这里插入图片描述
在这里插入图片描述
不同层特征图融合
在这里插入图片描述
在这里插入图片描述
图像遮挡实验
在这里插入图片描述

rrr2
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LayerCAM Exploring Hierarchical Class Activation Maps for Localization 论文阅读笔记
qq_42310545的博客
08-12 657
期刊：IEEE Transactions on Image Processing（Tip）时间：2021年本文针对现有类激活图的方法如CAM、Grad-CAM、Grad-CAM++等方法构建的类激活热力图不够精确的问题，提出一个全新的算法LayerCAM。它可以为 CNN 的不同层生成可靠的类激活图。这个属性使LayerCAM能够收集到对象定位信息从粗略（粗略的空间定位）到精细（精确的细粒度细节）级别，并可以进一步将它们整合成一个高质量的类激活图，可以更好地突出与对象相关的像素。
LayerCAM：Exploring Hierarchical Class Activation Maps for Localization
weixin_44884999的博客
06-25 3389
LayerCAM
CAM，PradCAM，layer CAM（可解释性分析方法）
weixin_48878618的博客
08-05 1118
尽管CAM在计算机视觉领域起到了解释性的作用，但同时也要注意到，CAM只能关注模型得到结果依据的特征是什么，它依然不能从根本上解释神经网络在做什么。真正意义上的可解释性分析，应该有一个通用模型，而不是一个计算模型，一个解释模型，因为这两个模型还是不同的，这样的解释模型也无法百分之百保证对计算模型的解释是正确的。
【算法】可解释机器学习-CAM / Grad_CAM(Datawhale)
weixin_46847902的博客
12-19 1361
CAM以及Grad-CAM极其后续变种算法介绍
Feature map相关论文、代码合集
如果想成为中心，那么就到中心去吧。
11-17 826
特征图操作
机器学习可解释性(二) —— 类激活映射(CAM)
shuaibuzhi1mian的博客
06-25 4417
类激活映射（Class Activation Mapping,CAM）方法作为一类显著图算法的“开山之作”，其思想影响了后续诸多方法的产生。本文将在CAM的基础上，介绍的GradCAM, GradCAM++, LayerCAM的实现原理及相关实验。
CAM350 教程 CAM350 教程
09-23
* DFM 检验：CAM350 REV7.0 提供了强大的 DFM 检验功能，用于检查设计的可制造性。 CAM350 使用技巧浅谈 CAM350 是一种功能强大且复杂的软件，需要大量的实践和经验来熟练掌握。下面是一些 CAM350 使用技巧浅谈： ...
CAM350拼板步骤，自己备份
03-10
在 CAM350 中，可以合并层（Edit->Move），选择需要合并的层，按键盘“W”，选择该层内需要合并的图，点 Move To Layer，在弹框内选择要移到的层。 知识点：合并层可以将多个层合并成一个层，方便编辑和拼板。 五...
PADS中Layer25层的作用
08-19
1. Layer25层只能在电源层定义为CAM Plane时使用。 2. Layer25层包含了地电信息，主要指电层的焊盘要比正常的焊盘大20mil左右的安全距离。 3. Layer25层可以在建元件的时候就设置好这一项，可以减少过孔的感生电容...
CAM350.rar
11-17
可制造性设计(Designing for Fabrication) 设计规则检查(Design Rule Checking) 数据输入和输出 DirectCAD 技术 反向工程(Reverse Engineering) 绘图到光栅的多边形转换(Draw-to-Raster Polygon Conversion) 复合到...
CAM350教程
02-22
Status Bar在屏幕底部显示当前命令、坐标和单位信息，双击可输入坐标，有Absolute、Relative和AutoPan三种模式供选择。 掌握这些基本知识和技巧，你将能够更加熟练地使用CAM350，优化PCB设计流程，提高工作效率，...
图像处理特征可视化方法总结（特征图、卷积核、类可视化CAM）(附代码)
Wzongming的博客
03-05 7379
图像处理特征可视化方法总结（特征图、卷积核、类可视化CAM
可解释机器学习 Task04 - GradCAM深度学习可解释性分析
Insistence0807的博客
12-20 317
本文介绍了Grad-CAM算法的原理以及优缺点，并且根据其缺点简介了完善其缺点的算法。
（202301）pytorch图像分类全流程实战Task6:可解释性分析、显著性分析
raw_inputhello的博客
01-28 1402
对的系列的学习（大佬的完整代码在2022年人工智能依旧飞速发展，从传统机器学习模型到如今以“炼丹”为主的深度神经网络，代表着模型拟合度与模型各自的发展趋势。至此，深刻体会并成功解释NN为何能取得更优的效果成为各行各业的新目标，而可解释性机器学习便应运而生。
深度卷积神经网络(CNN)特征层的可视化
03-17 9154
对卷积神经网络有所了解的同学应该都知道，网络内部的特征层，随着越靠近最终输出，其特征所代表的语义信息就越明显。我们能够通过中间层的信息，直观的看到网络学习过程中，哪些像素的权重比较高，这些权重高的像素集中在什么区域，进而知道网络对数据理解的基本过程。
CAM可视化
eye123456789的博客
12-14 4541
参考:https://blog.csdn.net/herr_kun/article/details/106997646 CAM以热力图的形式告诉了我们，模型是重点通过哪些像素确定这个图片是羊驼了。 一句话总结CAM方法：最后一层的卷积层的所有特征图，针对该层的每个特征图求出均值，最后对应特征图加权求和得到最终的热力图。直接看图pic1。 在最后一层卷积层（全连接层之前接上GAP) 从图中可以看到，经过GAP之后，我们得到了最后一个卷积层每个特征图的均值，通过加权和得到输出(实际中是soft.
【学习打卡04】可解释机器学习笔记之Grad-CAM
风信子的猫Redamancy的快乐星球
12-18 2947
其实 CAM 得到的效果已经很不错了，但是由于其需要修改网络结构并对模型进行重新训练，这样就导致其应用起来很不方便。CAM的缺点必须得有GAP层，否则得修改模型结构后重新训练只能分析最后一层卷积层输出，无法分析中间层仅限图像分类任务Grad-CAM解决了上述问题，基本思路和CAM是一致的，也是通过得到每对特征图对应的权重，最后求一个加权和。区别是求解权重的过程，CAM通过替换全连接层为GAP层，重新训练得到权重，而Grad-CAM另辟蹊径，用梯度的全局平均来计算权重。
卷积神经网络的可视化——热力图Grad CAM
热门推荐
码农ZZK的博客
11-30 1万+
前言 在大部分人看来，卷积神经网络是一种黑盒技术，通过理论推导，以及梯度传播，去不断逼近局部最优解。这也导致人们对于神经网络研究进展的缓慢，因为这种黑盒模型无法给出研究人员进行改进的思路。所幸的是，近几年来的论文，也从常规的神经网络结构转向神经网络可视化，目的是让我们能看见卷积神经网络“学习”到了什么，神经网络是怎么判别物体的类别 今天就要为大家介绍一种卷积神经网络可视化的技巧，它发表于一篇论文，...
CAM(类激活映射)，卷积可视化，神经网络可视化，一个库搞定，真的简单的不能再简单
u014264373的博客
05-09 1万+
文章目录前言 前言 我是一个讲实战的博主，所以~~~~~~，这篇不会讲原理。 神经网络的可解释性一直是讨论的热点，尤其是在做分类的时候，写论文要是不提供一张可视化图，告诉审稿人你的网络究竟学到了什么，估计审稿人都是不会让你过的，相反，你要是提供了，肯定会大大增加论文过的概率。类似下面这种图。 今天介绍的方法，通过一个github库来解决。 https://github.com/jacobgil/pytorch-grad-cam ...
1D-Grad-CAM pytorch
最新发布
12-13
1D-Grad-CAM是一种基于梯度的可视化方法，用于理解深度学习模型在输入序列中的关注点。下面是使用Pytorch实现1D-Grad-CAM的步骤： 1. 首先，加载训练好的模型和输入序列。可以使用torchvision.models中的预训练模型，例如resnet18。 2. 然后，定义一个Grad-CAM类，该类包含一个前向传递函数和一个反向传递函数。前向传递函数计算模型输出和特定层的特征图，反向传递函数计算特征图相对于输出的梯度。 3. 接下来，使用Grad-CAM类计算输入序列的梯度。这可以通过将输入序列传递给前向传递函数，然后将输出和特定层的特征图传递给反向传递函数来完成。 4. 最后，将梯度与特征图相乘，并将结果求和。这将生成一个热力图，用于可视化模型在输入序列中的关注点。 下面是一个使用Pytorch实现1D-Grad-CAM的示例代码： ```python import torch import torch.nn as nn import torch.nn.functional as F from torchvision import models class GradCAM: def __init__(self, model, target_layer): self.model = model self.target_layer = target_layer self.feature_maps = None self.gradient = None def save_feature_maps(self, module, input, output): self.feature_maps = output.detach() def save_gradient(self, grad): self.gradient = grad.detach() def forward(self, x): for name, module in self.model.named_modules(): if name == self.target_layer: module.register_forward_hook(self.save_feature_maps) module.register_backward_hook(self.save_gradient) break output = self.model(x) output = F.softmax(output, dim=1) return output def backward(self): self.gradient = torch.mean(self.gradient, dim=[2, 3], keepdim=True) feature_maps_weights = torch.mean(self.gradient * self.feature_maps, dim=1, keepdim=True) cam = F.relu(torch.sum(feature_maps_weights * self.feature_maps, dim=1, keepdim=True)) cam = F.interpolate(cam, size=x.shape[-1], mode='linear', align_corners=False) cam = cam.squeeze() cam = cam - torch.min(cam) cam = cam / torch.max(cam) return cam # 加载模型和输入序列 model = models.resnet18(pretrained=True) x = torch.randn(1, 3, 224, 224) # 创建Grad-CAM对象并计算热力图 grad_cam = GradCAM(model, 'layer4') output = grad_cam.forward(x) output[:, 0].backward() cam = grad_cam.backward() # 可视化热力图 import matplotlib.pyplot as plt plt.imshow(cam.detach().numpy()) plt.show() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值