【CV+DL学习路03】CNN可视化学习3——Visual Explanations from Deep Networks via Gradient-based Localization

这是我可视化学习的第三篇文章。

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization     ICCV 2017

参考的阅读笔记如下：阅读笔记

翻译：翻译

1、介绍

这篇论文主要是提出了一种Grad-CAM技术对神经网络进行解释。

Grad-CAM是对周等人于2016年提出的CAM技术的推广，该方法不需要对网络架构进行任何修改。这使我们的方法可以应用于任何基于CNN的体系结构。对于全卷积网络，Grad-CAM可以简化为CAM。因此，Grad-CAM是CAM的推广。我们的方法只需要对每个图像有一个前向和一个部分后向传递，因此在一个数量级上这个方法更有效。

CAM技术使用的时候有以下缺点：要先改变网络的结构，然后再进行训练；只能作用于一类神经网络（含有卷积层和全连接层的图像分类CNN）；会影响原网络的分类效果。

Grad-CAM可以对大量的CNN模型进行可视化，而且不会影响神经网络的分类效果，可以运用于多个领域，不仅仅只针对图像分类应用。

Grad-CAM是在最后一个卷积层产生一个粗略的定位图谱，突出显示图像中用于预测的重要区域。与以前的方法不同，Grad-CAM适用于各种各样的CNN模型族：（1）具有全连接层的CNN（例如VGG），（2）用于结构化输出的CNN（例如captioning），（3）用于具有多模式输入（例如视觉问答）或强化学习的任务，无需进行架构更改或重新训练。

将Grad-CAM与现有的细粒度可视化技术相结合，创建具有高分辨率的类别判别的可视化技术，Guided Grad-CAM，可以应用于图像分类，图像描述生成和视觉问答（VQA）等多个领域。

论文在实验部分，从多个方面对Grad-CAM进行了研究：弱监督定位能力，分类能力，可信度，通过识别数据集偏差来帮助实现模型泛化，以及在Image Captioning和VQA领域的应用。证明了Grad-CAM广泛适用于各种现成的可用架构，它可以为可能的模型决策提供可信的视觉解释。

paper中的一个小demo，使用Grad-CAM的效果如下：

这样的结果十分符合我们人眼的观测效果，当我们说一张图中有一条狗的时候，也主要依靠狗的头部进行判别，猫也是如此。

 

2、相关工作

论文借鉴了最近在CNN可视化，模型信任度评估和弱监督定位方面的工作。