以GradCAM为例的衍生算法分析

Vector Jason

已于 2022-12-19 19:53:48 修改

阅读量279

点赞数

文章标签：深度学习人工智能神经网络计算机视觉

于 2022-12-19 19:28:03 首次发布

本文链接：https://blog.csdn.net/Vectorln/article/details/128375943

版权

网络架构

与CAM相比，GradCAM引入了梯度，同时可以用全连接网络进行训练，而不用将FC替代为GAP层。输入image通过CNN提取特征，经过FC Layer后得到某一类的logit，对其求导数，将每个channel的经过GAP处理，即可得到每一个channel对应的权重，再与channel对应相乘再累加，通过ReLU即可得到GradCAM的热力激活图。

通过反向传播，可以得到输入图像求导后的粗粒图，而如果与由GradCAM产生的细粒图相乘，可得到Guided GradCAM，虽然分辨率上存在一定缺陷，但依然能够反映出class discrimination的效果。同样的道理，在图像分类、图像描述、视觉问答、强化学习等方面也可通过这样的方式分析。

样例分析

比较（b）与（h），发现类别分别为猫、狗时相差不大，而结合GradCAM算法之后，从（d）与（j）可以看出class discrimination。此外，进行消融实验，如对图像特定位置进行遮挡时，从（e）与（k）蓝色部分可以看出具体哪些位置对最终识别结果较为敏感。当使用ResNet实现时，从（f）与（l）可以看出，网络越深时，识别范围越大。

利用这种方式，我们还可以分析神经网络为何会出现识别错误的结果。

以（a）为例，当Ground truth为volcano时，神经网络预测结果为sandbar，通过提取出Guided GradCAM可以发现，此时神经网络提取的图像特征为前景，而实际上我们希望的识别范围是图片的远景，因此可以通过该方式逐步调整权重，直至得到正确识别结果。

对一张图片进行解释，使用GradCAM能够使关键物体高亮显示，而对同一张图片进行不同解释时，也能够使对应的关键物体高亮显示，利用高亮部分，可以实现以人为核心的Machine Teaching，具有很高的科研意义和商业价值。

俗话说：正难则反，如果我们把GradCAM中梯度的计算过程中取反，则能够得到识别某一类时最不敏感的部分，从（b）能够发现，当图像ground truth为猫时，关于狗的部分则为不敏感部分，同理能应用到（c）中图像ground truth为狗的情况。

优缺点分析

优点

1. 不需要使用GAP层，不需要修改模型结构，不需要重新训练

2. 可对卷积神经网络的中间层进行分析

3. GradCAM是在CAM基础上的进一步推广，具有性能的兼容性和优越性

4. 能够更好地进行细粒度图像分类，识别结果具有class discrimination，同时可以应用到以人为核心的Machine Teaching中

缺点

例如，当分析深层网络的底层部分对识别结果的关注度时，可以发现识别界限是模糊的。同样如果分析浅层网络的底层部分对识别结果的关注度时，发现识别界限也是模糊的。以此，引出GradCAM的缺点。

GradCAM++

现实中，一张图片可能存在同一类的多个物体，对于GradCAM而言，此时只能绘制出一块热力图，而GradCAM++由于权重系数并非通过平均得到，因此能够关注到同一类的所有物体。

比较GradCAM与GradCAM++可以发现，GradCAM在一个channel上每个像素点的权重系数是通过平均后得到，即大小都是相同的，这意味着feature map上的关注度一致，而GradCAM++的权重系数引入 $\alpha_{ij}^{kc}$ （是一个关于二次偏导，三次偏导的系数），则能够解决该问题。