CAM可视化

参考:原理分析-CAM模型可视化(可解释)_herr_kun的博客-CSDN博客_cam可视化

CAM以热力图的形式告诉了我们,模型是重点通过哪些像素确定这个图片是羊驼了。

一句话总结CAM方法:最后一层的卷积层的所有特征图,针对该层的每个特征图求出均值,最后对应特征图加权求和得到最终的热力图。直接看图pic1。

在最后一层卷积层(全连接层之前接上GAP)

从图中可以看到,经过GAP之后我们得到了最后一个卷积层每个特征图的均值,通过加权和得到输出(实际中是softmax层的输入)。需要注意的是,对每一个类别C,每个特征图k的均值都有一个对应的,记为。CAM的基本结构就是这样了,下面就是和普通的CNN模型一样训练就可以了。训练完成后才是重头戏:我们如何得到一个用于解释分类结果的热力图呢?其实非常简单,比如说我们要解释为什么分类的结果是羊驼,我们把羊驼这个类别对应的所有取出来,求出它们与自己对应的特征图的加权和即可。由于这个结果的大小和特征图是一致的,我们需要对它进行上采样,叠加到原图上去,如下图pic1所示。(看懂下图是关键)

那么改进版的 Grad-CAM 是干什么的?

前面看到CAM的解释效果已经很不错了,但是它有一个致使伤,就是它要求修改原模型的结构,导致需要重新训练该模型,这大大限制了它的使用场景。如果模型已经上线了,或着训练的成本非常高,我们几乎是不可能为了它重新训练的。

于是乎,Grad-CAM横空出世,解决了这个问题。
Grad-CAM的基本思路和CAM是一致的,也是通过得到每对特征图对应的权重,最后求一个加权和。但是它与CAM的主要区别在于求权重的过程。CAM通过替换全连接层为GAP层,重新训练得到权重,而Grad-CAM另辟蹊径,用梯度的全局平均来计算权重

事实上,经过严格的数学推导,Grad-CAM与CAM计算出来的权重是等价的。

Grad_CAM:基于每一个特征图有一个对应的全局权重

 LayerCAM:基于元素的,每一张特征图中每一个元素都有一个对应的权重

 

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值