Grad-CAM论文笔记

Grad-CAM论文笔记

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

Abstract

我们提出了一种技术，用于从一大类基于卷积神经网络（CNN）的模型中生成决策的“视觉解释”，使它们更加透明和可解释。

我们的方法——Gradient-weighted Class Activation Mapping梯度加权类激活映射（Grad-CAM），使用流入最终卷积层的任何目标概念（比如分类网络中的“狗”或字幕网络中的一系列单词）的梯度，生成一个粗略的定位图，突出显示图像中用于预测概念的重要区域。与之前的方法不同，Grad CAM适用于各种各样的CNN模型系列：（1）具有完全连接层（例如VGG）的CNN，（2）用于结构化输出（例如字幕）的CNN，（3）用于具有多模式输入（例如视觉问答）或强化学习的任务的CNN，所有这些都没有架构更改或重新训练。我们将Grad-CAM与现有的细粒度可视化技术结合起来，创建一个高分辨率的类识别器可视化，

在图像分类模型的背景下，我们的可视化（a）有助于深入了解这些模型的故障模式（表明看似不合理的预测有合理的解释），（b）在ILSVRC-15弱监督定位任务上优于以前的方法，（c）对对抗性干扰具有鲁棒性，（d）对基础模型更加忠实，（e）通过识别数据集偏差，帮助实现模型泛化。

对于图像字幕和VQA，我们的可视化显示，即使是非基于注意的模型也能学会定位输入图像的辨别区域。

我们设计了一种通过GradCAM识别重要神经元的方法，并将其与神经元名称相结合[4]，为模型决策提供文本解释。最后，我们设计并进行了人类研究，以测量Grad-CAM解释是否有助于用户对深度网络的预测建立适当的信任，并表明Grad-CAM可以帮助未经培训的用户成功区分“更强”的深度网络和“较弱”的深度网络，即使两者做出了相同的预测。我们的代码可在https://github.com/ramprs/grad-cam/，以及CloudCV[2]http://gradcam.cloudcv.org上的演示，以及youtu （youtu.be/COjUB9Izk6E）上的视频。

1 Introduction

基于卷积神经网络（CNN）的深度神经模型在各种计算机视觉任务中实现了前所未有的突破，从图像分类[33,24]、目标检测[21]、语义分割[37]到图像字幕[55,7,18,29]、视觉问答[3,20,42,46]以及最近的视觉对话[11,13,12]和具体问答[10,23]。虽然这些模型实现了卓越的性能，它们缺乏分解为单个直观组件的能力，因此很难解释[36]。因此，当今天的智能系统出现故障时，它们往往会在没有警告或解释的情况下以惊人的方式失败，让用户盯着一个不连贯的输出，想知道系统为什么会这样做。可解释性很重要。为了建立对智能系统的信任，并将其有意义地融入我们的日常生活，很明显，我们必须建立“透明”的模型，能够解释它们为什么会预测它们预测的结果。从广义上讲，这种透明度和解释能力在人工智能（AI）进化的三个不同阶段是有用的。首先，当人工智能明显弱于人类且尚未可靠部署时（例如，视觉问答[3]），透明度和解释的目标是识别故障模式[1,25]，从而帮助研究人员将精力集中在最富有成效的研究方向上。其次，当人工智能与人类不相上下且可可靠部署时（例如，根据足够的数据进行图像分类[30]），目标是建立对用户的适当信任和信心。第三，当人工智能明显强于人类时（例如国际象棋或围棋[50]），解释的目标是机器教学[28]——即机器教人类如何做出更好的决策。

在准确性和简单性或可解释性之间通常存在权衡。经典的基于规则或专家系统[26]具有高度的可解释性，但不太准确（或健壮）。每个阶段都是手工设计的可分解管道被认为更易于解释，因为每个单独的组件都假设了一种自然的直观解释。通过使用深度模型，我们牺牲了可解释的模块，以换取无法解释的模块，这些模块通过更大的抽象（更多层）和更紧密的集成（端到端培训）实现了更高的性能。最近引入的深度剩余网络（Resnet）[24]有200多层，在一些具有挑战性的任务中表现出最先进的性能。这种复杂性使得这些模型难以解释。因此，深度模型开始探索可解释性和准确性之间的关系。

Zhou等人[59]最近提出了一种称为类激活映射（CAM）的技术，用于识别不包含任何完全连接层的有限类图像分类CNN使用的鉴别区域。本质上，这项工作权衡了模型的复杂性和性能，使模型的工作更加透明。相比之下，我们使现有的最先进的深层模型在不改变其架构的情况下可解释，从而避免了可解释性与准确性之间的权衡。我们的方法是CAM[59]的推广，适用于范围更广的CNN模型系列：（1）具有完全连接层（例如VGG）的CNN，（2）用于结构化输出（例如字幕）的CNN，（3）用于具有多模式输入（例如VQA）或强化学习的任务的CNN，无需架构更改或重新训练。

What makes a good visual explanation?

考虑图像分类[14]——模型中用于证明任何目标类别的“良好”视觉解释应该是（a）类别区分（即在图像中定位类别）和（b）高分辨率（即捕捉细粒度细节）。

图1显示了“老虎猫”类（顶部）和“拳击手”（狗）类（底部）的许多可视化输出。像素空间梯度可视化，如Guided Backpropagation[53]和反卷积[57]是高分辨率的，并突出图像中的细粒度细节，但不具有类别区分性（图1b和图1h非常相似）。

相比之下，像CAM或我们提出的梯度加权类激活映射（Grad-CAM）这样的定位方法具有高度的类区分性（图1c中的“cat”解释只突出了“cat”区域，而不是“狗”区域，图1i中的“cat”解释则相反）。

为了将这两个世界的优点结合起来，我们展示了将现有的像素空间梯度可视化与Grad-CAM融合，以创建高分辨率和类别区分的引导Grad-CAM可视化是可能的。因此，即使图像包含多个可能概念的证据，与任何感兴趣的决策相对应的图像重要区域也以高分辨率细节可视化，如图1d和1j所示。当为“老虎猫”可视化时，引导梯度摄像头不仅突出显示猫的区域，还突出显示猫身上的条纹，这对预测特定种类的猫很重要。

总而言之，我们的贡献如下：

（1） 我们将介绍Grad CAM，这是一种类别区分性定位技术，可以为任何基于CNN的网络生成视觉解释，而无需架构更改或重新培训。我们评估Grad CAM的本地化（第4.1节）和对模型的忠实性（第5.3节），在这两个方面，Grad CAM的表现优于基线。

（2） 我们将Grad CAM应用于现有的顶级分类、字幕（第8.1节）和VQA（第8.2节）模型。对于图像分类，我们的可视化可以洞察当前CNN的故障（第6.1节），表明看似不合理的预测有合理的解释。对于字幕和VQA，我们的可视化显示，常见的CNN+LSTM模型往往出人意料地擅长区分图像区域，尽管没有经过固定图像-文本对的训练。

（3） 我们展示了可解释的GradCAM可视化如何通过发现数据集中的偏差来帮助诊断故障模式的概念证明。这不仅对一般化很重要，而且对公平和无偏见的结果也很重要，因为社会上越来越多的决策是由算法做出的。

（4） 我们介绍了应用于图像分类和VQA（第8.2节）的Resnet[24]的Grad CAM可视化。

（5） 我们使用Grad CAM中的神经元重要性和[4]中的神经元名称，并获得模型决策的文本解释（第7节）。

（6） 我们进行的人类研究（第5节）表明，引导式Grad-CAM解释具有阶级歧视性，不仅有助于人类建立信任，还可以帮助未经训练的用户成功区分“更强”的网络和“较弱”的网络，即使两者做出了相同的预测。

Paper Organization:

论文的其余部分组织如下。在第3节中，我们提出了我们的方法梯度凸轮和Guided Grad-CAM。在第4节和第5节中，我们评估了Grad CAM的本地化能力、阶级辨别力、可信度和忠诚度。在第6节中，我们展示了Grad CAM的某些用例，例如诊断图像分类CNN和识别数据集中的偏差。在第7节中，我们提供了一种通过GradCAM获得文本解释的方法。在第8节中，我们将展示Grad CAM如何应用于视觉和语言模型——图像字幕和视觉问答（VQA）。

2 Related Work

我们的工作借鉴了最近在CNN可视化、模型信任评估和弱监督本地化方面的工作。

Visualizing CNNs

之前的许多作品[51,53,57,19]通过突出显示“重要”像素（即这些像素的强度变化对预测分数的影响最大），将CNN预测可视化。具体而言，Simonyan等人[51]将预测类分数的偏导数可视化为w.r.t.像素强度，而Guided Backpropagation[53]和反卷积[57]对“原始”梯度进行修改，从而实现定性改进。[40]对这些方法进行了比较。尽管产生了细粒度的可视化，但这些方法并不是区分类别的。不同类别的可视化几乎相同（见图1b和1h）。

其他可视化方法合成图像，以最大限度地激活网络单元[51,16]或反卷积潜在表示[41,15]。尽管这些图像具有高分辨率和类别区分性，但它们并不特定于单个输入图像，也不会整体可视化模型。

Assessing Model Trust

基于**可解释性[36]和评估模型信任度[47]**的概念，我们通过人类研究以类似于[47]的方式评估GradCAM可视化，以表明它们可以成为用户评估和信任自动化系统的重要工具

**Aligning Gradient-based Importances调整基于梯度的重要性 **

Selvaraju等人[48]提出了一种方法，使用我们工作中引入的基于梯度的神经元重要性，并将其映射到人类的类特定领域知识，以便为新类学习分类器。在未来的工作中，Selvaraju等人[49]提出了一种方法，将基于梯度的重要性与人类的注意力map对齐，以便建立视觉和语言模型。

Weakly-supervised localization

另一项相关工作是CNN环境下的弱监督定位，其任务是仅使用整体图像类别标签对图像中的对象进行定位[8,43,44,59]。

与我们的方法最相关的是用于本地化的Class Activation Mapping（CAM）方法[59]。这种方法修改了图像分类体系结构，将完全连接的层替换为卷积层和全局平均池[34]，从而实现了特定类别的特征映射。其他人则研究了使用全局最大池[44]和log-sum-exp池[45]的类似方法。

CAM的一个缺点是，它要求特征映射直接位于softmax层之前，因此它仅适用于在预测之前对卷积映射执行全局平均池的特定CNN体系结构（即conv特征映射→ 全球平均池→ softmax层）。与一般网络相比，这种体系结构在某些任务（如图像分类）上的精确度可能较低，或者可能根本不适用于任何其他任务（如图像字幕或VQA）。我们介绍了一种使用梯度信号组合特征图的新方法，该方法不需要对网络结构进行任何修改。这使得我们的方法可以应用于现成的基于CNN的架构，包括用于图像字幕和视觉问答的架构。对于完全卷积结构，CAM是Grad CAM的特例。

其他方法通过对输入图像的扰动进行分类来实现定位。Zeiler和Fergus[57]通过遮挡面片和对遮挡图像进行分类来干扰输入，当这些对象被遮挡时，通常会导致相关对象的分类分数较低。这一原则适用于[5]中的本地化。Oquab等人[43]对包含一个像素的多个面片进行分类，然后对这些面片得分进行平均，以提供像素的类得分。与这些不同的是，我们的方法可以一次性实现本地化；它只需要一个单一的前进和部分向后通过每一幅图像，因此通常是一个数量级更有效。在最近的工作中，Zhang等人[58]介绍了对比边际获胜概率（c-MWP），这是一种概率赢家通吃公式，用于为神经分类模型建模自上而下的注意，它可以突出区分区域。这在计算上比Grad CAM更昂贵，并且只适用于图像分类CNN。此外，Grad CAM在定量和定性评估方面优于c-MWP（见第4.1节和第D节）。

3 Grad-CAM***

之前的许多作品都断言，CNN中更深层次的表征捕捉到了更高层次的视觉结构[6,41]。此外，卷积层自然地保留了在完全连接的层中丢失的空间信息，因此我们可以期望最后的卷积层在高级语义和详细的空间信息之间有最好的折衷。这些层中的神经元在图像中寻找特定于语义类的信息（比如对象部分）。Grad-CAM利用流入CNN最后一个卷积层的梯度信息，为每个神经元分配重要值，以做出特定的决策。虽然我们的技术相当通用，因为它可以用来解释深层网络中任何一层的激活，但在这项工作中，我们只专注于解释输出层的决定。

如图2所示，为了获得类别判别定位图Grad CAM $L_{\text{Grad-CAM }}^c\in {\mathbb{R}}^{u\times v}$ 对于任何c类，我们首先计算c类得分的梯度$y^c$（在softmax之前），关于卷积层的特征图激活$A^k$，即。$\frac{\partial y^c}{\partial A^k}$。这些倒流的梯度是宽度和高度维度（分别由i和j索引）上的全局平均池化（根据经验，我们发现全球平均池比全球最大池更有效），以获得神经元重要性权重${\alpha }_k^c$：

在计算${\alpha }_k^c$时，当反向传播有关激活的梯度时，精确的计算直到梯度传播到的最后一个卷积层
我们对前向激活图进行加权组合，然后通过ReLU获得，

注意，这会产生与卷积特征图大小相同的粗略热图（在VGG[52]和AlexNet[33]网络的最后卷积层中为14×14）。我们将ReLU应用于地图的线性组合，因为我们只对对对感兴趣类别有积极影响的特征感兴趣，即应增加其强度以增加$y^c$的像素。负像素可能属于图像中的其他类别。正如预期的那样，如果没有这个ReLU，本地化映射有时会突出显示的不仅仅是所需的类，而且在本地化方面表现更差。图1c、1f和1i、1l分别显示了“老虎猫”和“拳击手（狗）”的 Grad-CAM可视化。消融研究见Sec。B

一般来说，$y^c$不需要是图像分类CNN生成的分类分数。它可以是任何可区分的激活，包括标题中的单词或问题的答案。

3.1 Grad-CAM generalizes CAM

在本节中，我们将讨论GradCAM和类激活映射（CAM）[59]之间的联系，并正式证明Grad CAM将CAM推广到各种基于CNN的体系结构中。回想一下，CAM为图像分类CNN生成了一个定位图，该图像分类CNN具有一种特定的体系结构，其中全局平均池卷积特征图直接输入softmax。具体来说，让倒数第二层生成K个特征图，$A^k\in {\mathbb{R}}^{u\times v}$，每个元素由i，j索引。因此，$A_{ij}^k$ 指的是特征图$A^k$的位置（i，j）处的激活。然后使用全局平均池（GAP）对这些特征图进行空间池化，并进行线性变换，为每个类别c生成$Y^c$分数，

**注：**我们发现，当我们移动到更早的卷积层时， Grad-CAM图变得越来越糟糕，因为它们的感受野更小，只关注语义较少的局部特征。

让我们将$F^k$定义为全球平均池化的输出，

CAM computes the final scores by,

其中，${\omega }_k^c$是将$k^{th}$ 特征图与$c^{th}$类连接起来的权重。取c类（$Y^c$）的分数相对于我们得到的特征映射$F^k$的梯度，

取（4）w.r.t.$A_{ij}^k$的偏导数，我们可以看到$\frac{\partial F^k}{\partial A_{ij}^k}=\frac{1}{Z}$。在（6）中替换这个，我们得到，

From (5) we get that,$\frac{\partial Y^c}{\partial F^k}=w_k^c$. Hence,

在所有像素（i，j）上求（8）的两侧之和，

因为Z和$w_k^c$不依赖于（i，j），所以将其重写为

请注意，Z是特征图中的像素数（或$Z={\sum }_i{\sum }_j$）。因此，我们可以重新排序条款，并看到

当比例常数（1/Z）在可视化过程中被归一化时，$w_k^c$的表达式与Grad CAM（1）使用的$\alpha _{k}^{c} $相同。因此，Grad-CAM是CAM的严格推广。这种概括使我们能够从基于CNN的模型中生成视觉解释，这些模型将卷积层与更复杂的结合，例如图像字幕和VQA（第8.2节）。

3.2 Guided Grad-CAM

虽然Grad-CAM具有类别识别能力，并能定位相关图像区域，但它缺乏突出显示像素空间梯度可视化方法等细粒度细节的能力（Guided Backpropagation[53]，反卷积[57]）。Guided Backpropagation使梯度相对于图像可视化，当反向传播通过ReLU层时，负梯度被抑制。直观地说，这是为了捕捉神经元检测到的像素，而不是抑制神经元的像素。参见图1c，Grad CAM可以轻松定位猫；然而，从粗略的热图来看，尚不清楚该网络为什么会将这一特殊情况预测为“老虎猫”。为了结合两者的最佳方面，我们通过元素乘法将Guided Backpropagation和 Grad-CAM可视化融合在一起（首先使用双线性插值将LcGrad CAM上采样到输入图像分辨率）。图2左下角显示了这种融合。这种可视化既具有高分辨率（当感兴趣的类别是“老虎猫”时，它识别重要的“老虎猫”特征，如条纹、尖尖的耳朵和眼睛）又具有类别识别性（它突出显示“老虎猫”，但不突出“拳击手（狗）”。用反卷积代替Guided Backpropagation给出了类似的结果，但我们发现反卷积可视化具有伪影，而Guided Backpropagation通常噪声较小。

3.3 Counterfactual Explanations（反事实解释）

通过对Grad-CAM稍加修改，我们可以得到一些解释，突出显示对区域的支持，这些区域将使网络改变其预测。因此，删除这些地区出现的概念将使模型对其预测更有信心。我们将这种解释模式称为反事实解释。

具体来说，我们否定了$y^c$（c类分数）相对于卷积层的特征映射A的梯度。因此，重要的是权重$\alpha _{k}^{c} $ 现在变成了：

如（2）所示，我们取前向激活图A的加权和，加权$\alpha _{k}^{c} $ ，然后再加上ReLU，以获得图3所示的反事实解释。 (高亮区域是需要去掉的影响)

4 Evaluating Localization Ability of Grad-CAM

4.1 Weakly-supervised Localization

在本节中，我们将在图像分类的背景下评估GradCAM的定位能力。ImageNet本地化挑战[14]要求除分类标签外，还提供边界框。与分类类似，对前1名和前5名预测类别进行评估。

给定一幅图像，我们首先从我们的网络中获得类预测，然后为每个预测类生成 Grad-CAM映射，并使用最大强度的15%阈值对它们进行二值化。这会产生连接的像素段，我们会在单个最大的像素段周围绘制一个边界框。请注意，这是一种弱监督定位——在训练期间，模型从未暴露于边界框注释。

我们使用现成的预训练VGG-16[52]、AlexNet[33]和GoogleNet[54]（从Caffe[27]动物园获得）评估 Grad-CAM定位。在ILSVRC-15评估之后，我们报告了表中val集的前1名和前5名本地化错误。1.Grad CAM定位误差明显优于c-MWP[58]和Simonyan等人[51]的定位误差，后者使用抓取切割将图像空间梯度后处理为热图。VGG-16的Grad-CAM也比CAM[59]实现了更好的top-1定位误差，这需要改变模型结构，需要重新训练，从而实现更糟糕的分类误差（top-1差2.98%），而Grad-CAM不会影响分类性能。

4.2 Weakly-supervised Segmentation

语义分割涉及到为图像中的每个像素分配一个对象类（或背景类）的任务。这是一项具有挑战性的任务，需要昂贵的像素级注释。弱监督分割的任务包括仅使用图像级注释来分割对象，这可以相对便宜地从图像分类数据集中获得。在最近的工作中，Kolesnikov等人[32]引入了一种新的损失函数，用于训练弱监督图像分割模型。它们的损失函数基于三个原则：1）使用弱定位线索进行种子分割，鼓励分割网络匹配这些线索；2）根据图像中可能出现的类别信息，将对象种子扩展到大小合理的区域；3）将分割限制到对象边界，从而缓解训练时已经存在的边界不精确问题。他们表明，他们提出的损失函数，包括上述三种损失，能够更好地进行细分。

然而，他们的算法对弱定位种子的选择非常敏感，没有弱定位种子，网络无法正确定位目标。在他们的工作中，他们使用了一个基于VGG-16的网络中的CAM映射，这些映射被用作对象种子，用于弱定位前景类。我们使用从标准VGG-16网络获得的Grad CAM替换CAM地图，并在PASCAL VOC 2012分割任务中获得49.6（相比之下，使用CAM获得44.6）的联合交叉点（IoU）分数。图4显示了一些定性结果。

4.3 Pointing Game

略

5 Evaluating Visualizations

在本节中，我们将介绍我们为理解模型预测方法的可解释性与忠实性之间的权衡而进行的人类研究和实验。我们的第一项人类研究评估了我们方法的主要前提——Grad-CAM可视化是否比以前的技术更具阶级歧视性？在确定了这一点之后，我们转而了解它是否能够引导最终用户适当地信任可视化模型。对于这些实验，我们比较了在PASCAL VOC 2007 train上微调的VGG-16和AlexNet，以及在val上评估的可视化效果。

5.1 Evaluating Class Discrimination

为了衡量Grad CAM是否有助于区分类别，我们从PASCAL VOC 2007 val集合中选择图像，该集合正好包含两个带注释的类别，并为每一个类别创建可视化。对于VGG-16和AlexNet CNN，我们使用四种技术获得特定类别的可视化：反卷积、Guided Backpropagation和每种方法的 Grad-CAM版本（Deconvolution Grad-CAM和Guided Grad-CAM）。我们向亚马逊机械土耳其公司（AMT）的43名员工展示了这些可视化效果，并询问他们“图像中描绘了两种对象类别中的哪一种？”（如图5所示）。

直觉上，一个好的预测解释是为感兴趣的类别产生有区别的可视化。该实验使用了90对图像类别的所有4种可视化（即360种可视化）；每幅图像收集9个评分，根据基本事实进行评估，并取平均值，以获得表中的准确度。2.在查看引导式Grad-CAM时，人类受试者在61.23%的情况下能够正确识别可视化的类别（相比之下，引导式反向传播的比例为44.44%；因此，Grad-CAM将人类表现提高了16.79%）。同样，我们还发现 Grad-CAM有助于使反褶积更具阶级区分性（从**53.33%**→ 60.37%). Guided Grad-CAM在所有方法中表现最好。

有趣的是，我们的结果表明，反卷积比Guided Backpropagation（53.33%对44.44%）更能区分类别，尽管Guided Backpropagation在美学上更令人愉悦。据我们所知，我们的评估是第一个量化这种细微差异的方法。

5.2 Evaluating Trust

略

5.3 Faithfulness vs. Interpretability

略

6 Diagnosing image classification CNNs with Grad-CAM

在本节中，我们将在imagenet上预训练的VGG-16的背景下，进一步演示Grad CAM在分析图像分类CNN的故障模式、理解对抗性噪声的影响、识别和消除数据集中的偏差方面的使用。

6.1 Analyzing failure modes for VGG-16

为了了解网络正在犯什么错误，我们首先得到一个网络（VGG-16）未能正确分类的示例列表。对于这些错误分类的例子，我们使用Guided Grad-CAM来可视化正确的和预测的类。如图6所示，一些故障是由于ImageNet分类中固有的模糊性造成的。我们还可以看到，看似不合理的预测有合理的解释，霍格尔[56]中也有这样的观察。与其他方法相比，Guided Grad-CAM可视化的一个主要优点是，由于其高分辨率和分类识别能力，它很容易实现这些分析。

6.2 Effect of adversarial noise on VGG-16

古德费罗等人[22]证明了当前深层网络对敌对示例的脆弱性，这些示例是对输入图像的轻微不可察觉的干扰，这些干扰会欺骗网络，使其以高置信度对其进行错误分类。我们为ImageNet预训练的VGG-16模型生成对抗性图像，以便它将高概率（>0.9999）分配给图像中不存在的类别，将低概率分配给存在的类别。然后，我们计算当前类别的 Grad-CAM可视化。如图7所示，尽管网络确定不存在这些类别（“老虎猫”和“拳击手”），Grad CAM可视化可以正确定位它们。这表明Grad CAM对对抗性噪声具有相当强的鲁棒性。

6.3 Identifying bias in dataset

在本节中，我们将演示Grad CAM的另一个用途：识别和减少训练数据集中的偏差。在有偏见的数据集上训练的模型可能无法推广到现实世界的场景，或者更糟的是，可能会使偏见和刻板印象永久化（w.r.t.性别、种族、年龄等）。我们对ImageNetpretrained VGG-16模型进行了微调，以完成“医生”与“护士”二元分类任务。我们使用一个流行的图像搜索引擎中的前250张相关图像（每个类）构建了我们的培训和验证拆分。测试集在两个班级中的性别分布是平衡的。虽然训练后的模型达到了很好的验证精度，但它并没有很好的泛化（82%的测试精度）。

模型预测的Grad-CAM可视化（参见图8中间一栏中的红框–手动绘制绿色和红色框，以突出显示模型的正确和错误焦点–区域）显示，模型已经学会观察人的面部/发型，以区分护士和医生，从而学习性别刻板印象。事实上，该模型错误地将几名女医生归类为护士，将男护士归类为医生。显然，这是有问题的。结果表明，图像搜索结果存在性别偏见（78%的医生图像为男性，93%的护士图像为女性）。

通过这些从Grad CAM可视化中获得的直觉，我们通过添加男护士和女医生的图像，减少了训练集中的偏见，同时保持了与以前相同的每节课的图像数量。经过重新训练的模型不仅具有更好的泛化能力（90%的测试准确率），而且可以查看正确的区域（图8的最后一列）。这项实验证明了Grad-CAM可以帮助检测和消除数据集中的偏见，这不仅对更好的泛化很重要，而且对公平和道德的结果也很重要，因为社会上的算法决策越来越多。

7 Textual Explanations with Grad-CAM

略

8 Grad-CAM for Image Captioning and VQA

略

9 Conclusion

在这项工作中，我们提出了一种新的类判别定位技术——Gradient-weighted Class Activation Mapping (Grad-CAM) ——通过产生视觉解释，使任何基于CNN的模型更加透明。此外，我们将Grad-CAM定位与现有的高分辨率可视化技术相结合，以获得两个方面的最佳效果——high-resolution and class-discriminative Guided Grad-CAM visualizations（高分辨率和类识别引导Grad-CAM可视化）。我们的可视化在两个方面都优于现有方法——对原始模型的可解释性和忠实性。大量的人类研究表明，我们的可视化可以更准确地区分不同的类，更好地揭示分类器的可信度，并帮助识别数据集中的偏差。此外，我们设计了一种通过Grad-CAM识别重要神经元的方法，并提供了一种获取模型决策文本解释的方法。最后，我们展示了Grad-CAM在图像分类、图像字幕和视觉问答等任务中的广泛适用性。我们相信，一个真正的人工智能系统不仅应该是智能的，而且应该能够对其信念和行为进行推理，以便人类信任和使用它。未来的工作包括解释深层网络在强化学习、自然语言处理和视频应用等领域做出的决策。