《Evaluating Explanation Without Ground Truth in Interpretable Machine Learning》论文总结详述

总览

如题，这篇文章中文名《可解释机器学习中无基本事实的解释评价》，是属于机器学习可解释性方向的一篇入门级综述，是一篇纯理论性的文章，主要内容包括三个方面：

1. 机器学习可解释性方法的分类
2. 机器学习可解释性方法的评估标准、属性和框架
3. 机器学习可解释性方法的不足

重点在于评估的属性和框架部分。

概述

摘要中是这么说的：“本文严格定义了评价解释的问题，并对已有的研究成果进行了系统的回顾。具体来说，我们用正式的定义概括了解释的三个一般方面(即可预见性、忠实性和说服力)，并分别回顾了在不同任务下各自具有代表性的方法。此外，根据开发人员和最终用户的层次需求，设计了一个统一的评估框架，在实际应用中可以很容易地适用于不同的场景。最后，对现有评价技术存在的问题进行了探讨，指出了现有评价技术存在的一些局限性，为今后的探索提供了参考。”
以下是本文的思维导图：

写本文所要解决的问题：
可解释性模型可以帮助人们更好的了解机器学习系统如何工作，加强模型的可靠性。但是，很少有对可解释性模型的评估标准的明确定义，难以在主观和客观的“可解释性”之间取得一个平衡或者共识。

本文解决此问题的方法和具体行文流程：

1. 将现在的可解释性方法进行了分类
2. 提出了三个“可解释性”方法的属性
3. 根据提出的属性，对现有的解释性评估工作进行系统的审查，重点是各种应用中的不同技术
4. 根据提出的属性，设计了一个评估“可解释性”机器学习模型的框架

详述

第一部分——现在的可解释性方法的分类

作者一共总结里两种分类方法，

1. 第一种（横着切一刀）：根据可解释性模型的构造过程，将模型方法分为事前可解释性方法和事后可解释性方法。
2. 第二种（竖着切一刀）：根据可解释性模型的解释范围，将可解释性模型氛围了局部可解释性方法和全局可解释性方法。

事前可解释性

事前可解释性模型通俗的来讲就是在设计和建立该模型的时候就将可解释性因素考虑进去来建立模型，例如：决策树，每个决策节点的机制就是该模型输入和输出关系可解释的体现。

事后可解释性

事后可解释性模型是指在一个已经建立好的模型或部分关系后，针对输入和输出的关系，设计一个可解释的决策机制。例如利用深度模型的反向传播机制等。

局部可解释性

局部可解释性主要是挖掘学习模型针对某一个输入样本或者特征的决策过程和决策依据。

全局可解释性

全局可解释性主要是指该模型每一个决策过程都可解释。

（关于这四个分类的详细内容请见另博客可解释性的综述篇）

第二部分——三个“可解释性”方法的属性

总结了三个一般属性（概括性，保真度和说服性），以便用正式定义进行解释。

概括性

定义：关于相应说明所提供的知识和指导，我们将IML中的可解释性定义为泛化性能的指标。

Definition 1: We define the generalizability of explanation in IML as an indicator for generalization performance, regarding to the knowledge and guidance delivered by the corresponding explanation.

在实际应用中，人类用户主要使用IML技术的解释来从目标系统中获得见识，这自然提出了对解释概括性能的需求。 如果一组解释的概括性很差，那么就很难认为它具有良好的质量，因为它所提供的知识和指导在实践中会相当有限。 需要澄清的一件事是，除非模型本身可以用自解释（例如决策树）来解释，否则此处提到的解释泛化不一定等于模型的预测能力。

保真度

定义：我们将IML中的解释保真度定义为对目标系统的忠诚度，旨在衡量实际环境中解释的相关性。

Definition 2: We define the fidelity of explanation in IML as the faithfulness degree with regard to the target system, aiming to measure the relevance of explanations in practical settings.

评估标准：如果输入的解释忠实于目标系统，则根据生成的说明对输入实例进行的修改会给模型预测带来重大差异。差异越大，生成的解释就越忠实。
第二个是保真度，它用于指示对目标系统的忠实解释。 诚实的解释始终是人类的首选，因为它可以精确地捕获目标系统的决策过程，并为特定的预测提供正确的证据。 高质量的说明必须是真实的，因为它们实际上是用户理解目标系统的重要工具。 没有足够的保真度，解释只能为系统提供有限的见解，从而降低IML对人类用户的功能。

说服性

定义：我们将IML中解释的可理解性定义为对人类用户的有用程度，作为对相应解释的主观满意度或可理解性的量度

Definition 3: We define the persuasibility of explanation in IML as the usefulness degree to human users, serving as the measure of subjective satisfaction or comprehensi- bility for the corresponding explanation

评估标准：人机性能，用户满意度和用户信任。
该属性处理解释的主观方面，通常是在人类参与下进行衡量的。 好的解释很容易被理解，并有助于人类用户的快速反应。 对于不同的用户组或应用场景，由于偏好的多样性，一组特定的解释可能具有不同的说服力。 因此，讨论解释性的解释性仅应在相同的用户和任务设置下考虑。

第三部分——评估分部和对现有的解释性评估工作进行系统的审查

评估可分为两部分：模型评估和解释评估，对于模型评估部分，目标是测量IML系统的预测能力。 解释性评估的目标是提供三个标准高的解释能力。

文中继而对现有的解释性评估工作进行系统的审查，重点是各种应用中的不同技术。（本部分不够详尽，就不赘述了）

第四部分——评估“可解释性”机器学习模型的框架和结果

整体评估结果可以通过加权总和等综合方法进一步得出，其中可以根据应用程序和用户组为每个层分配重要权重。

评估结果：

1. 概括性：（1）局部解释不能轻易地组织成有效的预测模型，这使得模型评估技术难以直接应用； （2）局部说明仅包含目标IML系统学习的部分知识，因此需要进行特殊设计以确保评估具有特定的局部重点。
2. 保真度：事后模型保真度不够。
3. 说服性：全局模型的说服性不够。