【可解释】| Guided Backprop deconv 方法理论分析

A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations

反向传播的可视化技术被用来理解和可视化卷积神经网络(CNN)的学习范式，但对于引导反向传播（GBP）和反卷积网络（DeconvNet）过程，现阶段缺少相应的理论来进行解释。

因此，作者从理论层面探讨了GBP和DeconvNet在神经网络中的作用。研究表明：GBP和DeconvNet在训练过程中的作用是不断的进行部分图像重建，而与网络决策过程无关。

研究表明，GBP和DeconvNet方法给出的图像分辨率优于显著性映射技术，但该方法所产生的可视化效果通常在不同的类别（class）中保持不变。因此，需要在分辨率和图像显著特征之间做出某些权衡。
作者也指出，GBP和DeconvNet之所以产生如此清晰的图像是因为他们修改了真正的梯度，从而在模型进行分类时，屏蔽了“哪些像素是重要的”这样的信息。

ref
https://cloud.tencent.com/developer/article/1673447

论文：Sanity Checks for Saliency Maps

摘要：显著性方法已经成为了一种流行的工具，被用于突出输入中被认为与学到的模型的预测结果相关的特征。目前研究人员提出的显著性方法通常是以图像数据的视觉吸引作为指导的。本文提出了一种可行的方法来评估一个给定的方法能够提供/不能提供什么样的解释。我们发现，仅仅依赖于视觉的评估可能会产生一些误导性的结果。通过大量的实验，我们证明了一些现有的显著性方法独立于模型和数据生成过程。因此，在我们的测试中表现较差的方法不能够胜任那些对数据或模型敏感的任务（例如找出数据中的异常值、解释输入和模型学到的输出之间的关系以及对模型进行调试）。我们通过与图像的边缘检测器（一种既不需要训练数据也不需要模型的技术）进行类比对我们发现进行说明。线性模型和单层卷积神经网络场景下的理论能够支持我们实验中的发现。

ref

https://www.sohu.com/a/272153752_129720