关于类激活图（CAM）运行机制的解读

CAM:https://arxiv.org/abs/1512.04150

Grad-CAM：https://arxiv.org/pdf/1610.02391v1.pdf

Grad-CAM++:https://arxiv.org/abs/1710.11063

最近看了网上很多关于这三篇解读的文章，但是对于一个“CAM新人“来说，还是遇到了很多疑惑。

下面总结几点：

1.CAM能让我们对CNN网络有很好的解释作用，利用特征图权重叠加的原理，获得热图，主要公式如下：

在说明上述公式前，先来了解一下GAP（注意GAP是没有权重可言的）：GAP就是对特征图的均值化，例如输入一个维度为 5*5*10特征图，其中10代表通道，那么经过GAP输出后，维度大小则为1*1*10，也就是把每一张特征图全局做了一个均值，得到一个值。GAP相比与原有FC层大大减少了参数，但是缺点是网络收敛比较慢。在CAM中主要是就是利用GAP+“小的FC层”，代替了原有的分类层。但是其实在维度上看起来就是相当于一个FC层。

上述公式中A表示网络最后的卷积层输出大小为w*h*n，其中w则为最后那个“小的FC”层的权重,C为类别数。现在来重新推导一下这个过程：

最后一层的卷积输出：w*h*n,然后经过一个GAP得到：1*n,然后经过一个权重为n*c的小fc层，得到大小为1*c的分类向量。

整个过程如下图：

那么这时候我会想，引用GAP究竟是为了什么，我可不可以不用GAP算出热图，从维度关系上分析：对一般网络而言最后一层卷积层假如输出大小为5*5*256这种形式，那么FC层权重维度肯定是[256*5*5,C],但是这时候注意 也就是对于一个类别来说有256*5*5个权重，这时候这个权重大小是无法和256相对应的，也就是W和A是对应不上的，故不能得到热图。。。                        

2.为了解决CAM必须插入GAP，修改原始网络，需要重新训练模型的问题，Grad-CAM其基本思路是对应于某个分类的特征映射的权重可以转换为 利用反传梯度来表达这个权重。

概述图：

然后列出两个关键公式： 从公式1可以看出直接把GAP当做了一次均值计算，并没有直接在网络中引入GAP层，Z表示每张特征图的像素点总数。

（1）

（2）之所以使用ReLU激活函数，是因为我们只关注对于类别有关的区域，即特征图取值大于0的部分

3 ，grad_cam++：

相比grad_cam，定位更准确，能够适用于一张图片中的同类多目标的情况

主要公式：主要的变动是在对应于某个分类的特征映射的权重表示中加入了ReLU和权重梯度。

以上三种方法的概述图：

附上grad_cam版本的开源：GitHub - daixiangzi/Grad_Cam-pytorch-resnet50: Class activate map