论文解读《Evaluating the visualization of what a Deep Neural Network has learned》–阅读笔记

本文属于原创，转载请注明出处

*本论文解读的初衷：
1.由于某些原因，最近有关注到神经网络可解释性与可视化方向的发展。
2.本人习惯阅读优秀的博文后直接点赞收藏，而这篇却没有搜到相关解读，不知道是不是关注这方面的同学比较少，所以才有了这篇处女作。
3.本文属于全文性译文，个人解读比较少，同学们应该都看得懂。
4.时间原因比较粗糙，如有错误，烦请大佬指教，感激不尽。同时本文仅作为个人读后留存资料，不承担任何责任。

*建议阅读顺序：摘要，简介，结论，确定需要阅读全文的，再阅读

文章目录

原文地址
摘要
简介
正文（body）
结论
代码地址（非本人）

摘要

深层神经网络（DNNs）在复杂的机器学习任务（如图像分类或语音识别）中表现出令人印象深刻的优异性能。然而，由于它们的多层非线性结构，它们是不透明的，也就是说，很难掌握它们是如何在一个新的未见过的数据样本中得出一个特定的分类或识别的决策。最近，人们提出了几种方法，使人们能够理解和解释一个单一测试图像在DNN中所体现的推理。这些方法量化了单个像素对分类决定的 "重要性"，并允许在像素/输入空间中以热力图的形式进行可视化。 虽然热力图的有效性可以由人类主观判断，但却缺少一个客观的质量衡量标准。在本文中，我们提出了一种基于区域扰动的一般方法，用于评估诸如热力图这样的有序像素集合。我们在SUN397、ILSVRC2012和MITPlaces数据集上比较了由三种不同方法计算的热力图。我们的主要结论是，相比基于灵敏度的方法或反卷积方法，最近提出的逐层相关传播 (LRP) 算法，定性和定量地说明了其能够更好地解释 DNN 达到特定分类决策的原因。我们提供了解释这一结果的理论论据，并讨论了其实际意义。最后，我们研究了使用热力图对神经网络性能进行无监督的评估。

I.简介

深度神经网络（DNN）是解决大规模现实问题的强大方法，如自动图像分类[1], [2], [3], [4], 自然语言处理[5], [6], 人类动作识别[7], [8], 或物理学[9]，[10]。由于 DNN 训练方法（无监督预训练、Dropout、并行化、GPU 等）得到改进 [11]，DNN 最近能够收集极大量的训练数据，因此可以在许多研究领域取得创纪录的表现。同时，DNN 通常被认为是黑盒方法，用户可能会认为这种缺乏透明度是实践中的一个缺点。即，难以直观和定量地理解 DNN 推理的结果，即对于单个新的输入数据点，是什么使训练后的 DNN 模型达到特定响应。请注意，这方面不同于特征选择 [12]，其中的问题是：对于训练数据的整体而言，哪些特征平均是显著的。 直到最近，透明度问题才受到一般的非线性估计器的更多关注 [13]、[14]、[15]。已经开发了几种方法来理解 一个DNN 学到的东西 [16]、[17]、[18]。虽然在 DNN 中，大量工作致力于可视化特定的神经元或神经元层 [1]、[19]、[20]、[21]、[22]、[23]、[24]，但我们在这里重点关注可视化神经元或神经元层的方法。给定和固定单个图像的特定区域对该图像的预测的影响。 Zeiler 和 Fergus [19] 在他们的工作中提出了一种网络传播技术，用于识别给定输入图像中与特定 DNN 预测相关联的模式。该方法运行一种反向算法，该算法重用每一层的权重将预测从输出向下传播到输入层，从而在输入空间中创建有意义的模式。这种方法是为特定类型的神经网络设计的，即具有最大池化和Relu的卷积网络。反卷积方法的一个限制是缺乏特定的理论标准，可以以可量化的方式将预测输出直接连接到产生的模式。此外，在该方法中用于生成反向投影的图像特定信息的使用仅限于最大池化层。之前的进一步工作侧重于理解非线性学习方法，例如 DNN 或核方法 [14]、[25]、[26]，主要是通过基于给定样本的偏导数的分数意义上的敏感性分析。偏导数着眼于局部敏感度与分类器的决策边界分离。Simonyan等人[26]将偏导数用于可视化由深度神经网络分类的图像的输入敏感度。请注意，尽管[26]描述了一个泰勒级数，但它依靠给定图像的偏导数来计算结果。严格来说，偏导数不能解释分类器的决策，("什么能说明图像中存在汽车")，而是告诉我们什么变化会使图像更多或更少地属于汽车这个类别。 正如后面所显示的，这两种类型的解释在实践中导致了非常不同的结果。 Bach等人[27]提出了一种方法，即层级相关性传播（LRP），它适用于任意类型的神经单元激活（即使它们是不连续的）和一般的DNN架构。 这项工作旨在解释预测f(x)相对于中性状态f(x)=0的差异。LRP方法依赖于守恒原则来传播预测，而不使用梯度。这一原则确保了网络的输出激活通过DNN的各层完全重新分配到输入变量上，也就是说，无论是正面还是负面的相关性都不会丢失。 在下文中，我们将把上述方法所产生的可视化效果称为热力图。 虽然热力图本身是一个有趣而直观的工具，已经可以实现透明化，但很难对热力图的质量进行定量评估。 换句话说，我们可能会问：究竟什么才是 "好的 "热力图。 人类可能能够凭直觉评估热力图的质量，例如，通过与被认为是相关的先验匹配（见图1）。 然而，在实际应用中，评估热力图质量的自动化目标和定量措施是必要的。请注意，如果我们想把它作为进一步分析的输入，热力图质量的验证是很重要的。例如，我们可以只在图像中的相关区域运行计算成本更高的算法，而相关性是由热力图检测的。

在本文中，我们通过如下工作做出贡献：
• 指出如何客观评估热力图质量的问题。据我们所知，到目前为止，这个问题还没有被提出。
• 引入了一个用于评估热力图的通用框架，该框架将 [27] 中的方法从二进制输入扩展到彩色图像。
• 在三个大型数据集上比较了三种不同的热力图计算方法，并注意到基于相关性的 LRP 算法 [27] 比基于敏感性的方法 [26] 和反卷积方法 [19] 更适合解释 DNN 的分类决策。
•调查使用热力图评估神经网络性能

下一节简要介绍了三种现有的计算热力图的方法。第三节讨论了热力图评估问题，并提出了该任务的通用框架。第四部分给出了两个实验结果：第一个实验在 SUN397 [28]、ILSVRC2012 [29] 和 MITPlaces [30] 数据集上比较了不同的热力图算法，第二个实验在 CIFAR-10 数据集上研究了热力图质量与神经网络性能之间的相关性[31]。我们在第五节总结论文并给出展望。

正文（body）

II. 了解DNN的预测

在下文中，我们重点关注图像，但所提出的技术适用于任何类型的输入域，其元素可以由神经网络处理.

<