使用Python进行Grad-CAM ++：深度卷积网络的改进视觉解释

最新推荐文章于 2024-05-17 01:52:23 发布
最新推荐文章于 2024-05-17 01:52:23 发布
阅读量2.5k 收藏 10
点赞数
文章标签： 卷积 计算机视觉 神经网络 机器学习 人工智能

在Grad-CAM ++和Guided Grad-CAM ++显著图中，**狗（多个对象）的可视化效果更好（第一行和第二行），并且该类的整个区域都处于局部状态（第三行和第四行），**而Grad-CAM热图仅显示部分覆盖范围。

在该故事由印度海得拉巴技术学院和Cisco Systems撰写，名为Grad-CAM ++：深度卷积网络的改进视觉解释，Grad-CAM ++。在本文中：

  • Grad-CAM++，基于Grad-CAM，提供CNN模型预测的更好的视觉的解释，在以下方面：目标定位以及在单个图像中的多个对象实例的说明发生。

    • Grad-CAM：https://sh-tsang.medium.com/review-grad-cam-visual-explanations-from-deep-networks-via-gradient-based-localization-wsol-edab5fd4fd0a

  • 最后一个卷积层特征图的正偏导数相对于特定类别分数的权重组合作为权值，用于生成相应类别标签的直观说明。

这是2018年WACV上的一篇论文，被引用超过260次。

Sik-Ho Tsang@Medium：https://sh-tsang.medium.com/

CAM技术系列已被许多SOTA论文广泛使用，例如 EfficientNet（它使用 CAM 来直观地解释模型。值得阅读这一系列论文。

  • EfficientNet：https://sh-tsang.medium.com/efficientnet-rethinking-model-scaling-for-convolutional-neural-networks-image-classification-ef67b0f14a4d

  • CAM：https://sh-tsang.medium.com/cam-learning-deep-features-for-discriminative-localization-weakly-supervised-object-7cab7b31f972

目录

  1. CAM简介

  2. Grad-CAM简介

  3. Grad-CAM ++

  4. 实验结果

1. CAM简介

  • 在CAM中，需要修改CNN，因此需要重新训练。全连接层需要删除。

  • 在softmax之前使用全局平均池（GAP）。

  • 特定类c的最终分类得分Yc可以写为其全局平均集合最后卷积层特征图Ak的线性组合：

  • 然后，将类特定显著性图Lc中的每个空间位置（i，j）计算为：

  • Lcij与特定类c的特定空间位置（i，j）的重要性直接相关，因此可作为网络预测类的视觉解释。

2. Grad-CAM简介

  • Grad-CAM是为解决CAM问题而构建的，因此不需要重新训练或架构修改。

  • Grad-CAM支持计算权重。

  • 特征图Ak和类c的权重wck定义为：

  • 其中Z是常数（激活图中的像素数）。

  • 因此，Grad-CAM可以与任何深度CNN一起使用，其中最终的Yc是激活映射Ak的可微函数。

  • 为了获得细粒度的像素比例表示，对 Grad-CAM 显著性图进行上采样，并通过点向乘法与引导反向传播生成的可视化进行更新采样和融合。这种可视化被称为 Guided Grad-CAM。

但是，如果图像包含多次出现的同一类，则 Grad-CAM 无法正确定位图像中的对象。

偏导数的未加权平均值的另一个结果是，局部化通常并不对应于整个对象，而是对应于对象的位和部分。

  • 这可以显示在顶部的第一个图中。

3. Grad-CAM ++

  • 如上所述，CAM需要进行网络修改。

  • Grad-CAM通过除以Z（即特征图的大小）来估计权重。如果响应较小或响应面积较小，则权重会变小。

  • Grad-CAM ++通过更复杂的反向传播解决了上述问题：

  • 像这样：

  • 如果αkcij = 1 / Z，则Grad-CAM ++简化为Grad-CAM的公式。

  • 因此，顾名思义，Grad-CAM ++可以视为Grad-CAM的广义形式。

  • （我仅对Grad-CAM ++进行了简要回顾。本文描述了更详细的方程式推导。如果有兴趣，请随时阅读本文。）

  • 与输入图像 I 相比，很明显，图像中对象的空间足迹对于Grad-CAM的可视化效果很重要。

  • 因此，如果一个物体有轻微不同的方向或视图（或对象激发不同的特征映射的部分），不同的特征映射可能会被不同的空间足迹激活，足迹较小的特征图会在最终的显著性图中消失。

可以如上图的示例所示。面积较小的特征图往往会获得较小的值（0.26和0.13），因此重要性就越低。

但是使用Grad-CAM ++可以解决上述Grad-CAM问题。示例中的所有值均为1.0，这同样重要。

  • 与Grad-CAM相似，要生成最终的显著图，我们对上采样的（到图像分辨率）显著图Lc与由引导反向传播生成的像素空间可视化进行逐点乘法。因此生成的表示称为Guided Grad-CAM ++。

4.实验结果

4.1 物体识别

ImageNet验证集上的Grad-CAM ++和Grad-CAM：

PASCAL VOC 2007验证集中的Grad-CAM ++和Grad-CAM

  • 使用VGG -16。

  • Grad-CAM ++在生成视觉说明时采用的逐像素加权更适合于模型，并且与模型的预测一致。

  • 询问13位人类受试者中，哪一位更信任基础模型。

  • Grad-CAM ++的得分为109.69，而Grad-CAM的得分为56.08。剩下的84.23则被受试者标记为“相同”。

4.2 目标定位

在 PASCAL VOC 2012 val 上进行对象本地化的IoU结果：

  • *结果表明，在该指标上，Grad-CAM ++也比Grad-CAM有所改进。尤其是，IoU的改善随着的更大的值而增加。δ，即生成二进制映射的阈值。

  • 与Grad-CAM ++相比，CAM的对象热图通常具有较低的强度值。

4.3 知识精炼

  • 在CIFAR-10数据集上训练一个WRN-40-2教师网络(2.2 M参数)。为了训练一个学生WRN-16-2网络(0.7 M参数)，训练一个修正的Lexp_student损失，它是标准交叉熵 Lcross_ent 损失和可解释性损失 Linterpret 的加权组合:

  • 其中Linterpret定义为：

  • Linterpret中的L基于由Grad-CAM或Grad-CAM ++发现的权重。

  • Grad-CAM ++提供了比Grad-CAM更好的基于解释的知识精炼。

  • 所考虑的学生的参数数量减少了68.18％。

  • 与仅在VOC 2007训练集上训练学生网络相比，平均精度（mAP）大约提高了35％

  • 学生网络是一个较浅的11层CNN，具有27M个参数（减少了80％）。

4.4 图像字幕和3D动作识别

  • 这里使用的架构是Show-and-Tell模型，它包括一个CNN来编码图像，然后是一个LSTM来生成字幕。

  • Grad-CAM ++比Grad-CAM生成更完整的热图。

  • Grad-CAM ++的可视化可以洞察网络关注的是什么。

  • 在Sports-1M数据集上训练了C3D模型。

  • 在所有指标上，Grad-CAM ++的性能均优于Grad-CAM。

  • Grad-CAM ++生成的解释在语义上更相关。

  • Grad-CAM ++倾向于强调视频的上下文（类似于图像），因为视频说明中的亮度较差，而最有区别的部分则较明亮。

参考文献

[2018 WACV] [Grad-CAM++] Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networkshttps://arxiv.org/abs/1710.11063)

弱监督目标定位（WSOL）

  • 2014 [Backprop]

    • https://sh-tsang.medium.com/backprop-visualising-image-classification-models-and-saliency-maps-weakly-supervised-94392011b34a

  • 2016 [CAM]

    • https://sh-tsang.medium.com/cam-learning-deep-features-for-discriminative-localization-weakly-supervised-object-7cab7b31f972

  • 2017 [Grad-CAM] [Hide-and-Seek]

    • https://sh-tsang.medium.com/review-grad-cam-visual-explanations-from-deep-networks-via-gradient-based-localization-wsol-edab5fd4fd0a

    • https://sh-tsang.medium.com/hide-and-seek-weakly-supervised-object-localization-action-localization-a1ea4a028d01

  • 2018 [Grad-CAM++] [ACoL] [SPG]

    • https://sh-tsang.medium.com/review-grad-cam-improved-visual-explanations-for-deep-convolutional-networks-weakly-760264e66bc6

    • https://sh-tsang.medium.com/acol-adversarial-complementary-learning-weakly-supervised-object-localization-e112e5343f

    • https://sh-tsang.medium.com/review-spg-self-produced-guidance-weakly-supervised-object-localization-8400d2f57461

  • 2019 [CutMix] [ADL]

    • https://sh-tsang.medium.com/paper-cutmix-regularization-strategy-to-train-strong-classifiers-with-localizable-features-5527e29c4890

    • https://sh-tsang.medium.com/review-adl-attention-based-dropout-layer-weakly-supervised-object-localization-bebf5ab21457

  • 2020 [Evaluating WSOL Right] [SAOL]

  • https://sh-tsang.medium.com/review-evaluating-weakly-supervised-object-localization-methods-right-weakly-supervised-object-b46d6ebc51fc

    https://sh-tsang.medium.com/review-saol-spatially-attentive-output-layer-image-classification-weakly-supervised-object-742e2eeb3226

    如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 mthler」，每日朋友圈更新一篇高质量博文。

    ↓扫描二维码添加小编↓

woshicver
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2019-09-03 Grad-CAM++ 原理及实现
tj253750329的博客
09-03 9204
GradCAM++ vs GradCAM 优点 定位更准确 更适合同类多目标的情况 原理 和gradcam一样，都基于假设： 某类的得分是权重和feature map点积而来。 Yc=∑kwkc⋅∑i∑jAi,jk Y^{c}=\sum_{k}w^{c}_{k}\cdot\sum_{i}\sum_{j}A_{i,j}^{k} Yc=k∑​wkc​⋅i∑​j∑​Ai,jk​ 热力图是由feat...
Grad_CAM_PLUS_PLUS:Grad-CAM ++ Hard ResNet50
05-30
Grad_CAM_PLUS_PLUS 原来的 梯度CAM Grad-CAM++ ...A.Chattopadhyay 等人，“Grad-CAM++：深度卷积网络的改进视觉解释”，arXiv 预印本 arXiv:1710.11063v3，2018 年 abityac94/Grad_CAM_plus_plus
[可解释机器学习]Task04：[算法]GradCAM
m0_59286668的博客
12-19 1551
CAM的升级版Grad-CAM
《python深度学习》笔记（二十）：神经网络的解释方法之CAM、Grad-CAM、Grad-CAM++、LayerCAM
qq_59572329的博客
10-31 2784
GAP分类后概率最大的神经元的权重特征图梯度的全局平均来计算权重。
Grad-Cam实现流程(pytorch)_gradcam实现
最新发布
2401_85012620的博客
05-17 464
图片预处理函数# 图片预处理])return img1.之后读取图片会使用opencv读取，读取的颜色通道为BGR，为了适应模型，需要将颜色通道转回为RGB。2.由于更改通道后，数组变为不连续，所以需要使用将img转为连续数组，否则无法转为tensor。3.增加第一维的batch通道，使得图片能够输入网络定义获取梯度和特征图的函数# 定义获取梯度的函数# 定义获取特征图的函数定义计算grad-cam并显示的函数# 计算grad-cam并可视化!!
神经网络的解释方法之GAP、CAM、Grad-CAM、Grad-CAM++的理解
tz的博客
12-16 4005
卷积神经网络的解释方法之一是通过构建类似热力图 (heatmap) 的形式，直观展示出卷积神经网络学习到的特征，当然，其本质还是从像素的角度去解释卷积神经网络。在深度学习的可解释性研究中比较经典的研究方法是采用反卷积（Deconvolution）和导向反向传播（Guided-backpropagation）等。而随着网络的提出，GAP（全局平均池化）的概念被我们所熟知。基于此，对热力图中所引申的CAM、Grad-CAM、Grad-CAM实现原理以及应用进行简单说明。结合论文中的理论去理解，并通过对代码实现进
YOLOv5目标检测之Grad-CAM热力图可视化
05-18
PyTorch版的YOLOv5是一个非常流行的基于深度学习的目标检测器。本课程使用Grad-CAM热力图可视化方法对YOLOv5进行热力图可视化，可直观展示图像中哪些区域对类别分类贡献程度大。Grad-CAM是一种CNN（卷积神经网络）可解释性的经典方法，与CAM（类激活图）相比，不需要对模型进行改动就可以生成热力图（heatmap），非常方便和灵活。本课程在YOLOv5 v6.1版本代码的基础上增加Grad-CAM热力图可视化方法，并演示针对自己的数据集训练和进行Grad-CAM热力图可视化过程，并讲解原代码针对Grad-CAM热力图可视化的修改部分。本课程分为原理篇、实战篇、代码讲解篇。·        原理篇包括：Grad-CAM热力图可视化原理。·        实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、训练自己的数据集、Grad-CAM热力图可视化。 ·        代码讲解篇包括：针对Grad-CAM热力图可视化具体修改的代码讲解。
Grad-CAM：梯度加权类激活映射（Grad-CAM）
02-04
其中，Grad-CAM（Gradient-weighted Class Activation Mapping）是一种可视化技术，它有助于理解卷积神经网络（CNNs）如何做出决策。Grad-CAM提供了一种解释模型预测的方式，通过突出显示输入图像中与特定类别相关的...
Python-GradCAM的Pytorch实现
08-11
**Python-GradCAM的PyTorch实现** 在深度学习领域，可视化是理解模型决策过程的重要工具。Grad-CAM（Gradient-weighted Class Activation Mapping）是一种这样的技术，它可以帮助我们理解卷积神经网络（CNN）是如何...
Grad-Cam
03-14
Grad-CAM（Gradient-weighted Class Activation Mapping）是一种用于理解卷积神经网络（CNNs）决策过程的可视化技术。它可以帮助我们理解模型在做出预测时关注图像的哪些区域，从而揭示了模型的“注意力”模式。这一...
Grad_CAM github 压缩包文件 绘画热力图
01-25
Grad CAM是一种可视化技术，用于解释卷积神经网络（CNN）在图像识别中的决策过程。它全称为Gradient-weighted Class Activation Mapping，通过计算最后一层卷积层的梯度信息来生成热力图，揭示了模型关注图像的哪些...
Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks 论文阅读笔记
qq_42310545的博客
08-14 899
本文针对Grad-CAM中出现的问题，例如当图像中存在多个目标或单个物体存在多个部分时，显著图无法将其全部标注、显著图无法完整地捕获整个对象的结构。面对上述问题，本文在CAM和Grad-CAM的基础上提出一个全新的可解释性算法Grad-CAM++，下面将对Grad-CAM++算法进行详细介绍。
【学习打卡04】可解释机器学习笔记之Grad-CAM
风信子的猫Redamancy的快乐星球
12-18 3021
其实 CAM 得到的效果已经很不错了，但是由于其需要修改网络结构并对模型进行重新训练，这样就导致其应用起来很不方便。CAM的缺点必须得有GAP层，否则得修改模型结构后重新训练只能分析最后一层卷积层输出，无法分析中间层仅限图像分类任务Grad-CAM解决了上述问题，基本思路和CAM是一致的，也是通过得到每对特征图对应的权重，最后求一个加权和。区别是求解权重的过程，CAM通过替换全连接层为GAP层，重新训练得到权重，而Grad-CAM另辟蹊径，用梯度的全局平均来计算权重。
【算法】可解释机器学习-CAM / Grad_CAM(Datawhale)
weixin_46847902的博客
12-19 1417
CAM以及Grad-CAM极其后续变种算法介绍
CAM++
2301_80722985的博客
12-02 440
Ecapa Tdnn的性能出色，但需要以高的计算复杂度和慢的推理速度为代价。不适合在对推理速度和计算资源有限制的条件下使用。
【学习打卡】GradCAM可解释性分析
像初雪一样自由洒落
12-20 2125
总结：Grad-CAM算法原理，它避免了使用GAP，用全连接层的网络也完全ok，用求梯度的方法间接的求得这个权重，不需要修改网络结构，也不需要用数据重新训练，如果你来了一个用全连接层的网络，马上就可以用Grad-CAM做可解释新分析，绘制出每一个类别的Grad-CAM热力图了，所以这是一个非常不错的拿来即用算法。，它会关注脸的区域，比如说2-2图，他是一个医生，但是网络预测她是一个护士，依据是她脸部的区域，因为长头发或者女性的容貌，这是不对的，网络不应该看脸，而应专注于职业本身。的一些专业的问题非常重要。
GAP CAM Grad-CAM Grad-CAM++的解释
热门推荐
Loong Cheng的博客
05-30 1万+
转载于：https://www.zhihu.com/question/274926848/answer/473562723 卷积层输出的特征映射其实和原图是存在一定的空间对应关系的。把最后一层卷积输出的特征映射处理一下，然后绘制到原图上，就得到了热图（也就是网络模型更关注的区域）。 关键是通过什么方式处理得到的效果比较好？ GAP 让我们小小地绕行一下，先介绍下全局平均池化（globa...
可解释机器学习 Task04 - GradCAM深度学习可解释性分析
Insistence0807的博客
12-20 337
本文介绍了Grad-CAM算法的原理以及优缺点，并且根据其缺点简介了完善其缺点的算法。
pytorch gradCAM 热力图 特征可视化 guid，权重的计算过程，github 地址，可视化地址
m0_37192554的博客
01-14 5613
Pytorch版本cam图经过resnet50网络，直接可用的显示代码 https://www.jianshu.com/p/9d963a867860 注意 1、 代码中的权重weight,不是卷积的权重w, 例如conv1 对应的权重w是[64,3,7,7]， 这里权重对应的是该输入数据对应的梯度，求平均值 例如 conv1 feature [1, 64, 112, 112] 对应的分类梯...
GRAD-CAM++
10-18
GRAD-CAM++是一种可视化技术，用于解释深度学习模型的预测结果。它可以帮助我们理解模型在哪些区域对于预测结果起到了重要作用。 GRAD-CAM++的全称是Gradient-weighted Class Activation Mapping，它是在GRAD-CAM的基础上进行了改进。GRAD-CAM++不仅考虑了卷积层的梯度信息，还考虑了BN层和ReLU层的影响，从而更准确地定位重要区域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值