Visual Interpretability for Deep Learning部分翻译

【原创】仅供个人学习交流，请勿转载。

注：边学习边翻译中，翻到哪是哪。

摘要：本篇论文回顾了目前有关理解神经网络表征和用可解释/分离式中间层表征学习神经网络的新兴方向的研究。尽管深度神经网络在不同的任务中取得了不俗的表现，但是它的可解释性一直是深度神经网络的阿克琉斯之踵。当前，深度神经网络获得了很高的鉴别力，同时它也想黑匣子一样难以解释。我们相信良好的模型可解释性或许会帮助研究人员突破深度学习的瓶颈，例如，从很少的注释中学习，通过人机交互进行语义级别的学习，以及 debug 网络的语义表征。在本文中，我们重点关注卷积神经网络（CNN），并重新审视 CNN 表征的可视化，预训练 CNN 表征的诊断方法，预训练 CNN 表征的分离方法，CNN 的分离式表征学习，以及基于模型可解释性的从中到尾的学习。最后，我们将探讨可解释的人工智能的发展趋势。

1. 介绍

卷积神经网络（CNN）在很多视觉任务中都已经取得了巨大的成就，例如目标检测和分类问题。然而，端对端学习策略使CNN表现得像一个黑盒子。除了最后网络的输出结果之外，人们很难去理解CNN中隐藏层的逻辑关系。近年来，越来越多的研究人员认识到具有高解释性的模型在理论和实践中都具有重要价值，并且开发了具有可解释知识表示的模型。

在本文中，我们对目前有关理解神经网络表示和可解释/可说明的内容进行了调查。 我们可以粗略的将审查范围界定为以下六个研究方向。

• CNN在中间层的表征可视化。 这个方法主要通过将CNN预先训练中得分最大单元或者将卷积层的特征图重新转化为输入图像组合成图像。 详细讨论请参见第2节。
  
• CNN表征诊断。 相关研究可能为不同的对象类别诊断CNN的特征空间，或者发现在卷积层中的潜在的表征缺陷。 详情请参阅第3节。
  
• 在CNNs的每个滤波器中解开“混合模式”的编码。（？？）这些研究主要是将卷积层中复杂的表征分解为多个层次，并将网络表征转化为可解释的图形，详情请参见第4节。