论文解读《Relevance-CAM: Your Model Already Knows Where to Look》–阅读笔记

本文属于原创，转载请注明出处

*本论文解读的初衷：
1.由于某些原因，最近有关注到神经网络可解释性与可视化方向的发展。
2.本人习惯阅读优秀的博文后直接点赞收藏，而这篇却没有搜到相关解读，不知道是不是关注这方面的同学比较少，所以才有了这篇文章。
3.本文属于全文性译文，个人解读比较少，同学们应该都看得懂。
4.时间原因比较粗糙，如有错误，烦请大佬指教，感激不尽。同时本文仅作为个人读后留存资料，不承担任何责任。

*建议阅读顺序：摘要，介绍，结论，确定需要阅读全文的，再阅读正文

文章目录

原文地址
摘要
介绍
正文（body）
结论
代码地址（非本人）

摘要

随着神经网络应用领域的增加和神经网络的发展，解释深度学习模型的能力也变得越来越重要。特别是在实际应用之前，分析模型的推理和生成结果的过程至关重要。一种常见的解释方法是基于类激活映射（CAM）的方法，它经常被用来理解计算机视觉领域中流行的卷积神经网络的最后一层。在本文中，我们提出了一种新的CAM方法，名为相关性加权类激活映射（Relevance-CAM），利用层间相关性传播来获得加权成分。这使得解释图对碎裂的梯度问题具有忠实性和鲁棒性，这是基于梯度的CAM方法的一个共同问题，会导致中间层的显著图包含噪声。因此，我们提出的方法可以通过正确分析中间层以及最后的卷积层来更好地解释模型。在本文中，我们用Relevance-CAM直观地展示了流行的图像处理模型的每一层是如何提取特定类别的特征的，评估了定位能力，通过实验加权部分证明了并展示了为什么基于梯度的CAM不能用来解释中间层。Relevance-CAM在任何深度层的识别和定位评估中都优于其他基于CAM的方法。他的源代码位置https://github.com/mongeoroo/Relevance-CAM

1.介绍

最近，随着GPU的发展和新神经网络架构的进步，深度学习正在产生显著的成果[10,12,13]。在这种情况下，可解释的深度学习领域也在被深入研究[1,24,36,4]，特别是在医学图像处理方面[15,7]。在计算机视觉中，有许多分析模型的方法，如基于[36,25,6,30]的类激活映射CAM的方法和基于分解的方法[27,33,9,14,19,34,4,21,3,26].基于CAM的方法计算最后卷积特征图的加权线性和，以可视化的方式进行模型决策。全局平均池化的输出和目标类输出节点之间的全连接层的权重与相应通道的激活图相乘，沿通道轴的加权激活图之和就是类激活图。它可以被理解为通过定位模型的观察点来生成描述模型决策的热图。然而，尽管CAM[36]可以定位目标类，但它在模型结构上受到很大的限制，模型必须由全局平均池（GAP）和一个全连接层作为其分类器。Grad-CAM[25]和Grad-CAM++[6]解释了一个不受模型结构限制的模型。 这些基于梯度的CAMs使用目标类输出分数相对于最后卷积层的梯度作为激活图的加权成分。这些方法是基于激活对目标类的敏感性，可以理解为激活图对该类的重要性。
Layer-wise Relevance Propagation (LRP)[4] 是一种基于分解的方法。 LRP 通过特定的相关性传播规则将模型类输出分数重新分配到输入图像中。它有一个关于深度泰勒分解的理论背景[19]，并且有了这个理论基础，证明了 LRP 对破碎梯度问题的鲁棒性 [5] 并表现出很好的性能 [4,20]。在本文中，我们提出了新的解释该方法不仅可以在最后一个卷积层分析模型，还可以在中间层分析模型。具体来说，我们提出了相关性加权类激活图（Relevance-CAM）。如图1所示，Relevance-CAM在可视化目标对象方面优于其他方法。 本文的贡献如下。
1.我们提出了一种新颖的基于CAM的方法，它对破碎梯度问题忠实且鲁棒。因此，即使在中间层也能很好地运行。 Relevance-CAM 可以帮助您详细分析模型，这是其他基于