Anchors:High-Precision Model-Agnostic Explanations——可解释机器学习论文理解一

2018年10月AAAI上的一篇论文，该作者在2016年发表了一篇LIME , 是一种局部可解释模型，可解释任何分类模型。本篇Anchors 是LIME的延续，指出了LIME中线性模型无法确定覆盖度（后文详细解释）的缺点，并设计Anchors,以规则集合描述模型的局部行为，使得用户能根据这些充分条件来推测模型的行为，预测模型的分类结果。
接下来，以翻译加总结的方式记述下自己对这篇论文的理解。

摘要

本文（下文以文章作者角度）介绍了一种新颖的模型无关的解释复杂机器学习模型的系统，该系统使用高精度的规则进行解释，我们称它为Anchors. Anchors使用局部的充分条件来解释模型行为。首先，我们设计了算法来有效地生成这样的规则；然后我们设计了多组实验，针对各种复杂模型和不同领域，来验证Anchors的可扩展性；最后，我们通过user study来说明，Anchors能允许用户预测模型的行为，并且用户的预测精确度比通过其他解释模型或无解释模型的情况要高。

Introduction

复杂的机器学习模型确实带来了高准确率，但是也使得模型对于用户来说是一个黑盒，而用户对理解模型行为的需求越来越关注，使得可解释的机器学习开始盛行。可解释的机器学习分为全局可解释的模型和局部可解释的模型。全局可解释的模型一般是特别设计的，局部可解释模型一般是与模型无关的。
首先，对于“可解释”，要给一个定义，“可解释”的核心是：用户能足够理解模型的行为，且能精确地预测模型对于样本的预测结果。
大多数的局部可解释模型，都是使用一个线性模型去拟合模型的局部行为，这样线性模型能给出样本中不同特征的相对重要性。但是，由于线性模型拟合的是局部的结果，对于一个未知样本，不能确定线性模型的结果是否适用于该样本（即不确定该样本是否在局部范围内），这也就是上文提到的“覆盖度”，线性模型的覆盖度是不确定的。这样就会导致低用户精确度（用户预测模型行为的精确度）。
接着，作者以LIME为例，阐述了线性模型存在的问题。

如上图，LIME分别对两句话的情感判断进行分析，第一句中“not"对于原始模型给出“positive"的判断起正向贡献，而第二句not则是负向贡献，LIME对这两句的分析都是准确的，但是用户无法根据这些分析预测模型之后的行为，因为用户无法知道not具体在何时是使模型得到positive的结果。
于是，本文提出新的模型无关的可解释模型，基于if-then的规则，我们称它为Anchors. Anchors给出的解释是模型在局部行为的充分条件，也就是说，若模型满足该条件，则模型一定（大概率）会给出某种分类。
接下来，我们在不同的数据集（表格，文本，图片等）及不同的模型（情感分类，词性分类，文本生成）上做了实验来验证Anchors, 并进行了user study来说明Anchors对用户理解模型行为的贡献。

Anchors as High-Precision Explanations Anchors在各个数据集以及模型上的解释示例

定义原始模型为f: X-