visualizing deep neural network decisions prediction difference analysis 可视化深度神经网络决策预测差异

作者：18届cyl

日期：2021-08-09

论文：《visualizing deep neural network decisions prediction difference analysis》

期刊：ICLR

一、概述

本文在ImageNet和医学影像（MRI脑扫描）两个数据集上进行的实验中说明了一种可以突出显示给定输入图像中提供支持或者反对某个类的证据的区域。为分类器决策过程提供的新的视角。（属于可视化热力图的）

就像这张识别该对象为凤头鹦鹉的最重要的特征是其面部特征（红色），而它身体的一些其他部分（蓝色）似乎构成了反对这一决定的证据。事实上，分类器可能认为这些蓝色部分会让他们认为这个是白狼。

其实本论文展现的可视化方法与ZFNet那一篇论文的后半个实验有点类似（第一种方法是可视化滤波器 第二个实验是遮挡实验） 但是也有所不同 本实验是通过条件采样、多元分析、深度可视化 来实现可视化结果的。结果更加严谨与可信。

二、具体的研究方法

对于已经给定的预测，设计了一种方法为每个输入特征相对于这个类分配一个关联值。该方法的基本思想是特征x的关联。由于采用的是滑动窗口的方式所以特征是未知的，则通过测量预测如何变化来估计。

在实际操作中，在删除相应特征的时候有二种方式：
1、将这一部分特征标记为unknown (大多数分类器不支持)
2、边缘化某一特征来模拟这一块特征的缺失 （本文采用）

条件采样：

单纯用滑动窗口的话对大小就太死板了。所以在采样的时候 如果一个kk的区域与相邻区域之间相关性比较大可以拓宽到ll这么大

多元分析：
之前分析的时候一次一般只删除一片区域（如ZFNet只遮挡一篇连续的区域） 而本实验试验了遮挡不相连的区域

深度可视化：
这个可视化方式就是 最终得到的可视化图像 不只考虑了删除了这一块区域以后最终输出的正确性变化（ZFNet） 还考虑了中间隐藏层的激活变化

三、结果展示

在 imageNet上展示的结果：


（可能是由于当时可视化方式受限，或者是因为本身在实验方式上确实提出了改变，受到青睐。在ImageNet上的表现确实差强人意）
在被HIV感染了之后 大脑MIR 扫描图像集 上展示的结果

尽管在imageNet上的表现差强人意，但是在 HIV感染大脑扫描图像集上 表现的还可以。 这个可视化结果可以比较清楚的展现出在 感染后的大脑后半部分与正常人有所差异。