CAM：Class Activation Mapping 类激活映射

最新推荐文章于 2024-04-16 22:39:44 发布
最新推荐文章于 2024-04-16 22:39:44 发布
阅读量1.1k 收藏 7
点赞数 1
分类专栏： 读书 文章标签： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38869560/article/details/128341311
版权

CAM

CAM

同济子豪兄-——CAM可解释性分析-算法讲解

Learning Deep Features for Discriminative Localization, CVPR2016

贡献：

  1. 奠定了可解释分析、显著性分析的基石

在这里插入图片描述

类别激活热力图可视化工具介绍

  1. 同一张图像，根据不同类别绘制不同的热力图

在这里插入图片描述

  1. 潜在的注意力机制

  2. 弱监督学习 （图像分类模型 -> 完成定位）

1. 引言和相关工作

  1. 卷积神经网络中卷积单元充当目标检测器。但使用全连接层分类时，这种显著定位物体的能力丧失。
  2. NIN 提出了 GAP (全局平均池化）， 其优势不仅体现在正则化，更关键的在于，它能保持网络的定位能力到最后一层。
  3. GAM 可用于弱监督目标定位。

两篇多实例学习弱监督目标定位
“R. G. Cinbis, J. Verbeek, and C. Schmid. Weakly supervised object localization with multi-fold multiple instance learning. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2015. 1, 2”
“P. O. Pinheiro and R. Collobert. From image-level to pixellevel labeling with convolutional networks. 2015. 1, 2”

2. Class Activation Mapping 类激活映射

在这里插入图片描述

分析：

  • 类别 c 的线性分类 l o g i t logit logit 分数：
    S c = ∑ k ω k c ∑ x , y f k ( x , y ) = ∑ x , y ∑ k ω k c f k ( x , y ) S_c = \sum_k \omega_k^c \sum_{x,y} f_k(x,y) = \sum_{x,y}\sum_k \omega_k^c f_k(x,y) Sc​=k∑​ωkc​x,y∑​fk​(x,y)=x,y∑​k∑​ωkc​fk​(x,y)

其中， f k ( x , y ) f_k(x,y) fk​(x,y) 表示最后一层卷积层的单元 k 在空间网格 ( x , y ) (x,y) (x,y) 处的激活。之后，对单元 k ，经过GAP全局平均池化得到 F k = ∑ x , y f k ( x , y ) F_k = \sum_{x,y} f_k(x,y) Fk​=∑x,y​fk​(x,y)。对于类别 c ，输入经过 s o f t m a x softmax softmax， w k c w_k^c wkc​表明类别 c 对单元 k 重要性的权重。

  • 类别 c 的类别概率映射 M c M_c Mc​：
    M c ( x , y ) = ∑ k ω k c f k ( x , y ) M_c(x,y) = \sum_k \omega_k^c f_k(x,y) Mc​(x,y)=k∑​ωkc​fk​(x,y)

因此， S c = ∑ x , y M c ( x , y ) S_c = \sum_{x,y} M_c(x,y) Sc​=∑x,y​Mc​(x,y), 其中 M c ( x , y ) M_c(x,y) Mc​(x,y) 表明 在空间网格 ( x , y ) (x,y) (x,y) 处对将图片分为 c 类的激活的重要性。

每个 特征图 (feature map) 的通道 (channel) 代表了一个卷积核从图像中提取出的一类视觉特征。 w c w_c wc​ 权重间接反映了该特征对类别 c 的重要程度。接着通过上采样，将 14x14 的特征图缩放到原输入图像尺寸。

GAP vs GMP：

  • average：关键区域范围内的特征都有影响
  • max ： 非最大值的特征怎么变化都没用（无梯度）

分类性能接近， 定位性能不同

讨论：

  1. 全卷积神经网络？为什么不用池化？
    池化（Max、Mean）作用：
    • 减少计算量
    • 防止过拟合
    • 平移不变性

池化（下采样）引入了平移不变性，也意味着丢失了长宽方向的位置信息。因此，在CAM热力图中，不使用带池化的卷积神经网络。

  1. 全局平局池化(GAP)？

全局平均池化（GAP） 取代了全连接层，减少了参数量、防止过拟合。
而且每个GAP平均值，间接代表了卷积层最后一层输出的每个channel。
CAM算法中，必须有GAP层，否则无法计算每个channel的权重。[缺点]

在这里插入图片描述

[注] NIN 中提出了 GAP、1x1卷积。
在这里插入图片描述

3. 实验：Localization （定位竞赛）

Localization ：定位竞赛，图像中有一个物体需要分类 + 画一个框。

方法：用 GAP 代替全连接层 ⟶ \longrightarrow ⟶ 重新训练模型
下采样次数越少， 最后一层卷积层输出的 feature map 越大， 空间信息丢失越少，定位性能越好。

4. CAM算法缺点：

  1. 必须有GAP层，否则得修改模型结构后重新训练
  2. 只能分析最后一层卷积层输出，无法分析中间层

改进工作：

Grad-CAM
  • 不需要GAP层
  • 可以分析中间层
    在这里插入图片描述
SqueezeNet（轻量化网络）

最后一层卷积层直接输出对于类别数的channel数特征图
在这里插入图片描述

5. 显著性分析的意义

1.工业应用

  • machine learning
    • 解决工业中的问题： 如参数设置
  • machine teaching
    • 通过可视化，告诉人们需要关注的位置，教会人们学习
  1. AI 教学

论文：Making a Bird AI Expert Work for You and Me
教会人们利用图像的不同种类的鸟的哪些特征去区分不同的鸟

参考资料：

在这里插入图片描述

思考题：

在这里插入图片描述

STUffT
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CAM (Class Activation Map)
禅与计算机程序设计艺术
08-19 1727
CAM即分类激活映射（Class Activation Mapping），是一种用于分析卷积神经网络(CNN)中间特征映射(feature map)中每个通道的重要程度的方法。它通过反向传播的方式，在神经网络输出的预测类别上对输入图片进行梯度运算，最终生成各个通道的重要性热力图(heat map)。与其他可视化方法相比，CAM可以更清晰地看到网络内部不同层的特征图。一般来说，CNN模型在训练阶段会通过多种loss函数来优化模型参数，并尝试拟合每一个训练样本的真实标签。
Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning
想变有趣的EMMA
01-11 2386
Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning基于多层多实例学习的弱监督物体定位 摘要——在计算及视觉领域，物体的分类定位是一个具有挑战性的问题。标准的监督训练需要物体实例的bounding box标注。弱监督学习避免了这一耗时的标注过程。在这样的情况下，监督信息被限制在了二态标注中
Class Activation Mapping，可视化深度学习的判断因素：这是一个实现Class Activation Mapping的示例代码，可视化视觉检查的OK/NG判断重点在哪里。-matlab开发
05-29
使用CNN进行深度学习的分类判断准确率极高，被用于很多领域的自动图像判断。另一方面，有人担心内部是一个黑匣子，“我不知道为什么会做出这个决定”。 本示例代码使用CNN（GoogleNet）判断OK/NG，然后使用称为Class Activation Mapping的方法可视化哪些区域的特征与判断强相关。 ・确认误判是由于哪个区域以及正确的判断是否与人类正在观察的判断因素相同而有效的。 [关键词]图像处理、IPCV 演示、深度学习、深度学习、迁移学习、介绍、对象识别、图像分类、计算机视觉、神经网络、人工智能、视觉检测、可视化 单击此处获取类激活映射为判别性定位学习深度特征麻省理工学院的Boolei Zhou，Aditya Khosla，Agata Lapedriza，Aude Oliva，Antonio Torralba计算机科学和人工智能实验室http://cnnlocalizatio
类激活映射详解
最新发布
不正经的码狗
04-16 407
类激活映射（CAM, Class Activation Mapping）是一种常用于卷积神经网络（CNN）的技术，用来识别和解释模型在进行图像或时间序列分类任务时，哪些区域对最终分类决定起到了关键作用。
Class Activation Mapping（CAM）类激活映射
简单记录生活、学习
12-23 1万+
目录 本文总结： GAP（全局平均池化层） CAM（类激活映射） CAM的缺陷 CAM的应用 CVRP 2015，原文链接：http://arxiv.org/abs/1512.04150 官方开源代码：http://cnnlocalization.csail.mit.edu/ 本文总结： 1、池化（最大池化，平均池化，全局平均池化【GAP】）的作用：正则化（防止过拟合，降低维度，保留主要特征的同时减少计算量，减少了参数数量） 2、使用GAP来代替FC，优点是最小化参数数量的同时保持高性能
【原理】CAM(类激活映射)模型可视化
丑小鸭
06-29 8153
前言 深度学习如火如荼，神经网络的可解释性一直是讨论的热点，其实可解释性常和模型的可视化联系在一起,模型可视化或者模型可解释说到是对某一类别具有可解释性，直接画出来特征图并不能说明模型学到了某种特征。这里主要讲一下基于类激活映射(Class Activation Mapping)的可视化。这个技术其实提出时间比较早，但是效果较好，如果希望做模型可视化，推荐大家研究一下，近期我也是用到了这个模型可视化，所以这里主要先针对原理进行简要的阐述，希望可以加深自己的认识。 可视化方法 其实可视化有很多方法： 1
Class Activation Mapping算法解读
qq_21869801的博客
05-06 4579
Class Activation Mapping论文地址论文解读Class Activation Mapping(CAM)GMP VS GAP 工作中碰到某些公司的深度学习软件，能够在分类的过程中显示神经网络感兴趣的区域，从而了解训练是否朝着我们所期望的方向进行，避免花费大量的训练时间在错误的模型上。这个功能让人眼前一亮，因此深入了解了一下。 论文地址 CAM算法来源于论文Learning Dee...
Class Activation Mapping（CAM）
Vectorln的博客
12-16 489
文章以CVPR 2016的CAM算法为例，重点讲解了网络模型架构及可视化的可解释性分析，从基础推导层面分析了池化层的作用，GAP与FC的异同以及以GradCAM为例的衍生算法分析，并提出了更进一步的思考
Grad-CAM：梯度加权类激活映射（Grad-CAM）
02-04
其中，Grad-CAM（Gradient-weighted Class Activation Mapping）是一种可视化技术，它有助于理解卷积神经网络（CNNs）如何做出决策。Grad-CAM提供了一种解释模型预测的方式，通过突出显示输入图像中与特定类别相关的...
CAM：CAM（类激活图）の実験（https：arxiv.orgpdf1512.04150.pdf）
02-15
CAM（Class Activation Mapping）是一种深度学习技术，用于可视化卷积神经网络（CNN）中的特征映射，以便理解模型是如何做出决策的。这个技术通过在最后一层卷积层上计算权重加权的平均来生成类激活图，这些图揭示了...
Class-Activation-Mappings:通过CAM可视化卷积网络在看什么
05-15
类激活映射Chainer实施此实现使用ResNet50体系结构来推断类的激活。 类激活图是获取CNN用来识别图像中特定类的区分图像区域的一种简单技术。 换句话说，使用类别激活图（CAM），我们可以查看图像中哪些区域与此类别...
显著性检测数据集 DUT-OMRON (5166)
04-25
显著性检测是计算机视觉的一个重要分支，而在深度学习的训练阶段、显著性检测算法的评价阶段等都需要大量有标注信息的数据集。常用的显著性检测数据集DUT-OMRON (5166)和他们的GT图
Grad-CAM：Visual Explanations from Deep Networks via Gradient-based Localization
06-11
Grad-CAM（Gradient-weighted Class Activation Mapping）是一种可视化技术，用于解释卷积神经网络（CNN）的决策过程。这项技术由Selvaraju等人在2017年的ICCV会议上发表，它通过分析模型的梯度信息来生成对输入图像...
gradcam-pytorch：在Pytorch中实现GradCAM算法
02-04
GradCAM（Gradient-weighted Class Activation Mapping）是一种可视化技术，用于解释深度学习模型，特别是卷积神经网络（CNN）的决策过程。它可以帮助我们理解模型在做出预测时关注图像的哪些区域，这对于理解和改进...
关于类激活图（CAM）运行机制的解读
热门推荐
so
03-01 1万+
CAM:https://arxiv.org/abs/1512.04150 Grad-CAM：https://arxiv.org/pdf/1610.02391v1.pdf Grad-CAM++:https://arxiv.org/abs/1710.11063 最近看了网上很多关于这三篇解读的文章，但是对于一个“CAM新人“来说，还是遇到了很多疑惑。 下面总结几点： 1.CAM能让我们对CN...
CAM(Class Activation Mapping)
Crazy的博客
05-09 2355
CAM出自于论文 Learning Deep Features for Discriminative Localization 以热力图的形式展示，模型通过哪些像素点得知图片属于某个类别。 论文中原句：before the final output layer (softmax in the case of categorization), we perform global average p...
揭秘卷积神经网络热力图：类激活映射
读芯术的博客
07-17 3361
全文共2280字，预计学习时长4分钟 目前在可视化方面，我们已经掌握了许多不同的技术。本文将介绍在卷积神经网络(CNN)中，针对图像的某些部位可视化从而做出判断的不同技术。 类激活映射(CAM)是一种生成热力图的技术，用于突出图像的类的特定区域。 热力图效用 下面是一个典型的热力图： 图片来源：https://github.com/jacobgil/pytorch-grad-cam 这张图片中...
CAM(类激活映射)，卷积可视化，神经网络可视化，一个库搞定，真的简单的不能再简单
u014264373的博客
05-09 1万+
文章目录前言 前言 我是一个讲实战的博主，所以~~~~~~，这篇不会讲原理。 神经网络的可解释性一直是讨论的热点，尤其是在做分类的时候，写论文要是不提供一张可视化图，告诉审稿人你的网络究竟学到了什么，估计审稿人都是不会让你过的，相反，你要是提供了，肯定会大大增加论文过的概率。类似下面这种图。 今天介绍的方法，通过一个github库来解决。 https://github.com/jacobgil/pytorch-grad-cam ...
Class Activation Mapping (CNN可视化) Python示例
医疗影像检索
03-26 1431
Class Activation Mapping 论文：CVPR2016《Learning Deep Features for Discriminative Localization》 代码：https://github.com/acheketa/pytorch-CAM/blob/master/update.py 1、首先定义并训练好CNN网络，很重要的一点是网络的最后一个卷积层必须只有一个...
class activation mapping
03-16
类激活映射（Class Activation Mapping，CAM）是一种用于可视化卷积神经网络（Convolutional Neural Network，CNN）中不同类别的激活区域的方法。在CNN中，每个卷积层的输出被称为特征图，CAM通过将分类器的权重与卷...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值