Model Agnostic Supervised Local Explanations 论文阅读笔记

Model Agnostic Supervised Local Explanations

会议：NIPS
时间：2018年
这篇文章感觉比较难懂，几乎把整篇文章都翻译了一遍，同时穿插自己的理解，加起来得有1万多字 T_T

本文认为，目前常见的可解释性系统可以分为三种类型：基于样本的example-based，局部local和全局global解释。目前，模型的可解释性最主要的挑战是如何设计一个能够捕捉到上述每种解释类型的各个方面的解释系统，以便对模型有更透彻的理解。为解决上述问题，本文提出一个基于局部线性建模技术（local linear modeling techniques）和随机森林的（以上两种方法均为监督类型）模型MAPLE。

与现有可解释模型相比，MAPLE作为一个解释模型本身具有极高的预测准确率，能够提供faithful self explanations，因此能避免LIME中提到的准确率和可解释性之间的权衡（可以理解为用决策树创建了一个效果与待预测模型相同的模型，后续的工作对这个决策树进行）。其次，MAPLE具有两种不同的解释方式，一种是基于样本的解释，另一种是局部解释。同时，它还能够识别出数据中的全局模式，这使得它能够更好地理解数据的整体特征。由于MAPLE可以同时考虑全局和局部信息，因此它能够发现局部解释的局限性。

我理解的整体流程图如下：

构建MAPLE：

生成解释结果：

1. Introduction

目前，可解释性大致可分为以下三种类型：

• Example-based. ​对基于单个样本的预测而言，自然会提出这样的疑问：***训练集中哪些点最接近测试点或对预测有影响？***基于最近邻方法和基于影响函数的方法是Example-based的最典型的方法[1,2,3]。
• Local. ​或者，我们可能对单个样本的预测提出另一个问题：***如果输入数据稍有改变，模型的预测结果会有什么变化？***局部解释通常直接来源于一个模型（比如sparse linear models）或来自一个局部模型，该模型能很好地逼近特定点附近的预测模型[1,4]。
• Global. ​为了理解一个模型整体的行为，我们可能会提出这样的疑问：***模型行为的基本模式是什么？***全局解释通常采用一系列规则（Rule）的形式[5,6]。

通常，Example-based的方法与Local和Global的方法存在明显不同。Example-based的方法依赖于具体的样本数据点，而Local和Global的方法更依赖特征的信息。其次，局部解释和全局解释本身所捕捉到的模型特征是截然不同的，我们看到图1（toy dataset指小规模的数据集）：

通常来说，局部解释更适合对光滑连续效应的数据进行建模（如图(a)中数据分布）。对于不连续效应（如图©）或在小范围内非常强烈的效应（如图(b)）局部解释可能无法很好地捕捉到这些特征的模式，或者可能会产生不正常的解释结果。我们称呼这种效应为全局模式（global pattern），因为其很难用局部解释来建模或检测。对于上图，我的理解是横坐标表示特征值，纵坐标表示该特征值对应的结果。也就是说（a）图中不同特征值与结果呈现线性分布，而（b）（c）图中当特征值取在一定范围内时，取得的结果差异较大。

反过来说，全局解释更适合这种全局模型，因为这种不连续性创造了自然的“规则”。但对于连续效应，全局解释效果较差，因为全局解释规则需要引入特征的任意离散化或分箱，这可能会导致解释的不准确性。因此，在选择解释方法时需要考虑数据特点和需求，以便适合不同类型的模式和效应。然而，现有大部分真实数据集同时包含连续和不连续效应，因此设计能同时捕捉这两类效应的解释系统至关重要。

*下面进行个简单的讨论解释下上面：
连续效应更适合局部解释是因为局部解释方法通常在小范围内（例如单个数据点附近）建立一个简化的模型来近似原始模型的行为。连续效应通常是在相对平滑的数据区域内发生变化，而局部解释可以通过在小范围内近似连续函数来捕捉这种平滑性。考虑一个连续变量的情况，如人的年龄与收入之间的关系。假设数据显示随着年龄的增加，收入逐渐增加（一个平滑的趋势）。在局部解释中，当解释特定年龄的预测时，我们可以构建一个简单的线性模型来近似这种关系。在局部解释的范围内，这种线性模型可以相对准确地解释模型的预测行为。
另一方面，全局解释方法通常试图捕捉整个数据集的模型行为，而不仅仅是局部。因此，对于具有较大不连续性或非线性特征的数据，全局解释可能更适合。对于具有急剧变化或跃迁的情况，局部解释可能无法准确捕获这些变化，因为它在小范围内建立的简化模型可能无法反映整个数据集的变化。
综上所述，连续效应更适合局部解释，因为局部解释方法更容易近似平滑的连续函数，并在小范围内提供相对准确的解释。而全局解释更适合处理在整个数据集中发生的较大不连续性和非线性特征。

基于上述想法，本文提出一个全新的模型MAPLE，一个结合了局部线性模型和决策树集合思想的supervised neighborhood方法。MAPLE的具体思想如下：对于一个指定的预测，MAPLE算法通过对训练数据点分配权重，形成了一个基于这些权重的概率分布，该分布在输入空间上描述了局部训练数据的分布情况。这允许MAPLE在解释预测时考虑了不同数据点的影响程度，并基于这些权重构建了一个用于解释的局部分布，以更好地捕捉模型在特定预测中的行为。

本文主要贡献如下：

• 本算法有效解决模型精确度和可解释性的权衡问题，因为本算法本身具有极高的预测准确率且具有可解释性。
• 虽然它不能提供全局解释，但它能通过利用局部训练分布来检测全局模式，从而区别于其他局部解释方法。因此，它可以在全局模式存在的情况下诊断出其局部解释的局限性。
• MAPLE算法通过局部训练分布，能够在需要从少量样本解释中选择解释时，做出合理的决策，从而弥补了现有局部解释系统的不足之处。
• MAPLE算法不仅在模型的自我解释方面表现出色，还可以在黑盒模型解释方面发挥作用。通过将其训练在黑盒预测模型的输出上，（而不是真实标签上），可以有效地作为黑盒解释器。研究结果显示，MAPLE算法生成的解释相对于常用的LIME算法，更加准确和可靠。

2. Background and Related Work

该部分主要从可解释性Interpretability和随机森林两个方面进行介绍。

2.1 Interpretability

下面将对第一章中提出的几种解释进行详细说明

2.1.1 Local explanation

根据[4,7]的想法，我们对$x$定义一个局部解释，并定义$ex{p}_x()$为一个可解释的函数（模型），使其在$x$的邻居$x^{\prime }$周围，与$pred()$具有很好的近似效果，其中$pred()$为被解释的预测模型。然而，使用上述方式对模型进行解释，存在两个问题：

1. 如何建模的精确性或检测全局模式。通常基于监督的局部可解释方法无法检测全局模式，而基于无监督的方法精准度不够高。
2. 在一个样本上生成的解释是否能用于其他新的样本上。

与本方法最相近的方法就是LIME。在此文中，为了提供全局的解释，此方法提出SP-LIME，该模型通过寻找一组点来总结模型，这些点的解释（由 LIME 生成）在所选特征及其对这些特征的依赖性方面各不相同。然而，这并没有解决局部解释在全局模式上的问题，因为所选择的个别解释都不会意识到这些全局模式的存在，只在局部部分进行拟合。

从根本上说，选择一个有效的局部解释是一个关于因果关系的问题（causal question）。通常来说，回答这个问题非常困难，因为大部分模型都不是基于因果关系建立的。然而，局部解释并不试图在数据中寻找因果结构，而是在模型的输出中找到因果关系。这样的问题是可行的，因为我们可以自由地操纵输入，然后观察模型输出是如何随之变化的。因此，尽管确定因果关系可能很难，但是通过观察模型的响应变化，我们能够相对容易地找到局部解释。但大多数解释系统的评估并不符合上述目标，而是使用一个标准的度量（希望对于样本x的输入，预测模型和解释模型尽可能相同）：${\mathbb{E}}_x[loss(ex{p}_x(x),pred(x))]$。为解决上述问题，我们定义了一个因果局部解释度量公式（causal local explanation metric）：

$${\mathbb{E}}_{x,x^{\prime }\sim p_x}[loss(ex{p}_x(x^{\prime }),pred(x^{\prime }))]$$

该度量公式是基于从分布$p_x$中对$x^{\prime }$进行采样，而这个分布是以$x$为中心的（比如LIME）。它的目的是鼓励在$x$处生成的解释能够准确地预测模型在$x^{\prime }$处的输出值。这种度量方式通过比较解释在$x$和$x^{\prime }$两个点的预测效果，来评估解释在不同位置的质量，以确保解释在整个输入空间内都具有准确性和可信度。然而，在标准度量上表现较好并不能证明在因果度量上效果同样好。以下利用局部线性解释举了个例子，假设其公式如下式所示：$ex{p}_x(x^{\prime })=0^T{x}^{\prime }+pred(x)$。虽然其在标准评估指标上表现完美，但在因果指标上的表现却可能差得离谱，根据上式可以看到，影响模型结果的特征都被合并到模型的偏置项中，而没有被单独考虑（即以$W$权重的形式存在）。这种情况下，$W$为0向量，无法反映特征的权重，因此特征的影响没有被明确地表示出来，导致解释无法揭示模型为何做出特定预测。实际上，我们想要的是能够解释模型预测的原因，即模型为何作出特定的判断，因此，我们需要一种度量标准，能够识别出这种情况，并不选择这种缺乏解释能力的解释，这样，我们可以更好地理解模型的预测结果背后的原因。

2.1.2 Global explanation

基于[5,6],我们将全局解释（global explanation）定义为一组规则（Rules），这些规则通常对所有输入空间或一个定义明确的子集的$pred()$都成立。目前，使用全局解释主要有以下两个问题：（1）如何充分覆盖输入空间（2）正确处理数据，使规则具有意义。Anchors[8] 用一组 "if-then"规则来近似模型，是一种提供全局解释的方法，其主要优点是容易理解，且很容易将规则应用于指定样本。相比之下，虽然MAPLE并不直接提供全局解释，但我们在第 4.1 节中展示了如何使用它来检测全局模式，即全局解释最能代表的模式。

2.1.3 Example-based explanation

基于[1,3,7]，我们定义基于样例的解释example-based explanation为：一种根据训练数据样本对预测模型或单个预测影响程度分配权重的函数，最常见的example-based explanation的形式是影响函数（influence functions）。影响函数研究的是，如果对训练点进行无限加权，模型或预测会发生怎样的变化，但需要模型具有可微性和凸性才能起作用。然而，最近的研究表明这些假设可以放宽，影响函数可以用于理解模型行为、模型调试、检测数据集错误以及创建在视觉上难以区分的对抗性训练样本。这意味着影响函数的应用范围不仅限于先前的假设条件，还可以用于更广泛的任务，如对模型行为的理解、调试和增强模型的鲁棒性。生成基于示例的解释方法的更具体策略包括Case Based Reasoning、K Nearest Neighbors和SP-LIME。值得注意的是，MAPLE通过为特定测试点/预测的训练点分配权重，自然而然地提供了影响函数。

2.2 Random Forests: Feature Selection and Local Models

由于其高精准度和鲁棒性，随机森林算法在机器学习任务中得到广泛应用。但因为其往往是由许多结构复杂的决策树组成的，因此其往往被认为是不可解释的算法。但它们可以衡量全局变量的重要性，也可以被看作是进行有监督邻域选择的一种方法。因此在本文中，我们使用了这两个方面。

基于排列的重要性度量最初在[10]中提出，通过考虑在预测变量随机排列前后随机森林的性能来确定特征的重要性。另一个流行的变种在[11]中提出，它通过对树中的每个节点进行杂质减少的求和，其中在该变量上进行了分裂，同时调整节点中的数据点数量，然后在整个随机森林中进行平均。DStump[12]通过仅考虑树的根节点上的分裂进一步简化了这个度量。本文使用DStump作为MAPLE的一部分进行全局特征选择。

局部方法不常用于大规模问题的原因之一是，虽然它们的学习率是最小最优的，但当并非所有特征都参与响应时，这种学习率就显得保守了，这一点在[13]中得到了经验证明。因此，本文更倾向于使用监督局部方法（supervised local method）。

局部方法在大规模问题上不常被应用的一个原因是，尽管它们的学习率是最小最大优化的，但当并非所有特征都涉及到响应时，这种速率是保守的，如在[13]的实验证明。因此，我们有兴趣使用一种有监督的局部方法。随机森林有两种主要解释：首先，作为一种自适应方法来寻找潜在的最近邻[14]；其次，作为一种核方法[15]。最近，[13]引入了SILO，它明确地使用随机森林来定义局部线性建模的实例权重。实验证明，这降低了随机森林的偏差，增加了其方差，在高维设置下可能存在问题。

3. MAPLE

本文提出的MAPLE（Model Agnostic SuPervised Local Explanations）结合了SILO算法使用随机森林有监督地为局部线性建模（local linear modeling）选取邻居样本和DStump算法特征选择的思想。对于一个给定的样本，SILO通过为每个训练点分配权重来定义局部邻域，权重的依据是该训练点与随机森林中各棵树的给定点出现在同一叶节点的频率。而DStump 根据一个特征在随机森林树根处被分割时降低标签不纯度的程度来定义该特征的重要性。下文将对这两个方法进行介绍。

在特定的条件下，SILO具有一致性，使用SILO方法进行估计可以保证估计结果会趋近于真实的函数。这里的一致性表示当样本数量趋近于无限大时，估计值会接近真实值，这是估计方法的一个重要性质。此外，在一般加法模型的假设下，DStump 能够在高维环境中识别活跃特征。因此，本文提出将二者进行结合。

首先先进行一些定义。假设$x\in {\mathbb{R}}^{p+1}$为特征向量，假定$[x{]}_0=1$为一个常数项，这里$[x{]}_0$表示向量的第0维元素。索引 j ∈ { 0 , . . . , p } j \in \{0, ... , p\} j∈{0,...,p}表示向量中指定维度的特征。使 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​表示训练集，索引$i$为指定向量（元素）。$X\in {\mathbb{R}}^{n\times (p+1)}$为训练集的矩阵，其中$[X{]}_{i,j}=[x_i{]}_j$。最后， { T k } k = 1 K \{T_k\}^K_{k=1} {Tk​}k=1K​表示随机森林中树木的集合，$k$为树的索引。

3.1 SILO

首先，定义SILO计算训练样本权重（即局部训练分布）和进行预测的过程。这里定义$lea{f}_k(x)$表示在决策树$T_k$上，输入数据$x$所经过的条件判定后最终落在的叶子节点的索引。换句话说，它表示了在给定输入$x$时，决策树$T_k$的最终判定结果。每个叶子节点都对应着一个特定的决策或输出。对于第$k$个树的连接公式（connection funtion）如下：

c k ( x , x ′ ) = 1 { l e a f k ( x ) = l e a f k ( x ′ ) } c_k(x,x')=\mathbb{1}\{leaf_k(x)=leaf_k(x')\} ck​(x,x′)=1{leafk​(x)=leafk​(x′)}

其物理意义为：当$x$和$x^{\prime }$属于相同叶节点（类别）时为1，否则为0。而训练数据中与$x$处于相同叶子节点的样本数为：

$$nu{m}_k(x)=\sum _{i=1}^n{c}_k(x_i,x)$$

最后，第$i$个训练样本对于点$x$的随机森林权重为：

$$w(x_i,x)=\frac{1}{K}\sum _{k=1}^K\frac{c_k(x_i,x)}{nu{m}_k(x)}$$

其物理意义为$x_i$对$x$的权重，当两样本不处于同一叶子节点时取值直接为0。而对于随机森林，模型预测可以写为以下公式：

$${\hat{f}}_{RF}(x)=\frac{1}{K}\sum _{k=1}^K\frac{{\sum }_{i=1}^n{c}_k(x_i,x)y_i}{nu{m}_k(x)}$$

这里其实我一直不明白怎么计算的，我猜测是$y_i$为一个one-hot向量，当$x_i$和$x$属于相同类别时相加，最后把$K$个树的结果相加后取向量中的最大值。

对于SILO，预测是通过评估 { x i , w ( x i , x ) , y i } \{x_i,w(x_i,x),y_i\} {xi​,w(xi​,x),yi​}在$x$处定义的**局部加权线性回归（weighted linear regression）**问题的解来给出的（这里给出了闭式解）。假设$W_x\in {\mathbb{R}}^{n\times n}$为对角矩阵，其中$[W_x{]}_{i,i}=w(x_i,x)$。SILO的预测结果为：

$${\hat{f}}_{SILO}(x)={\hat{\beta }}_x^{T}x\text{where }{\hat{\beta }}_x=(X^T{W}_{x}X{)}^{-1}{X}^T{W}_{x}y$$

3.2 DStump

接下来，将定义DStump选取特征的过程。首先设 s p l i t k ∈ { 1 , . . . , p } split_k \in \{1,...,p\} splitk​∈{1,...,p}为第$k$个树的根节点上分裂的特征索引，并假设该分裂后，标签的impurity度下降了$r_k$（这里我上网查越后发现，大多数impurity指的是gini系数）。对于特征$j$的分数，DStump计算公式如下：

s j = ∑ k = 1 K I { s p l i t k = j } r k s_j=\sum_{k=1}^K\mathbb{I}\{split_k=j\}r_k sj​=k=1∑K​I{splitk​=j}rk​

即当分裂的特征为j时，计算其impurity度下降的和。之后选择$d$个分数最高的特征构建子集 A d ⊂ { 1 , … , p } A_{d}\subset\{1,\ldots,p\} Ad​⊂{1,…,p}。

3.3 MAPLE

MAPLE算法继承了SILO的局部训练分布（local training distribution）和根据DStump选择的$d$个最好的特征，以解决加权线性回归问题$\{[x_i{]}_{A_d},w(x_i,x),y_i\}$。设$Z_d=[X{]}_{:,A_d}\in {\mathbb{R}}^{n\times (d+1)}$，$z_d=[x{]}_{A_d}\in {\mathbb{R}}^{d+1}$，之后MAPLE的预测公式如下：

$${\hat{f}}_{MAPLE}(x)={\hat{\beta }}_{x,d}^T{z}_d\mathrm{where}{\hat{\beta }}_{x,d}=(Z_d^T{W}_x{Z}_d{)}^{-1}{Z}_d^T{W}_{x}y$$

$d$​的选择：**本文通过贪婪的思想决定$d$的数量。首先根据分数大小对$s_j$进行排序，之后利用留存下来的验证集，不断加入新的特征进行验证，最后取验证集结果最大的$d$维。

此外，还可以使用Gradient Boosted Regression Trees与MAPLE整合，用于生成局部训练分布和特征分数（特征选择）。

4. MAPLE as an Explanation System

本章则是描述如何使用MAPLE生成解释。无论是将MAPLE用作预测模型，还是仅用作黑盒解释器，使用MAPLE解释预测的一般过程基本相同；唯一不同的是，在第一种情况下，我们直接在响应变量（ground truth）上拟合MAPLE，而在第二种情况下，我们在预测模型的预测响应上拟合MAPLE。

而MAPLE的局部训练分布对可解释性来说至关重要，这使它能够解决局部解释的两个核心问题：（1）诊断其在全球模式下的局限性（2）在局限于现有示范解释集的情况下，为新的测试点选择合适的解释。下面将对这两个问题进行讨论。

4.1 Generating Explanations and Detecting Global Patterns

当MAPLE进行局部解释或预测时，其通过局部线性模型，其中的系数决定了每个特征的估计局部效应。如果一个系数是非零的，我们可以根据系数的符号和大小来解释相应特征的影响。然而，当一个系数为0时，可能存在以下两种解释：（1）该特征并不包含于全局模式（是无用的），因此在局部中也不重要。（2）该特征包含全局模式，但只是在此局部中不重要。因此，我们的主要目标是诊断局部解释的有效性，以确定系数为零的特征是否包含于全局模式。我们将总结如何利用本地训练分布来实现这一点（见第 5.4 节的补充讨论）。

特别地，我们为每个特征提出两个诊断。首先（也是较简单的）一种诊断方法是使用给定测试点的局部训练分布，创建一个箱形图来可视化每个特征的分布情况。如果箱线图明显偏斜（即不以测试点为中心），那么该特征很可能包含一个全局模式，并且测试点靠近这个全局模式。通常在箱型图中，如果一个特征的箱型图明显的不对称，就意味着该特征在整个数据集中存在某种趋势或模式。这个趋势或模式可能会影响到测试点附近的预测结果。如果是对称的，比如图1中线性函数，那么测试点周围分布的特征也应该是均匀的。

如果箱线图没有明显的偏斜，那么就使用第二种方法，在相关特征（需要诊断的特征）的范围内进行网格搜索。“网格搜索”是一种系统地尝试不同参数或数值的方法，用来寻找最佳的设置。在这种情况下，可能是通过在特征的取值范围内尝试不同的值，来观察预测结果的变化。这有助于理解特征的影响和重要性，以及在不同取值下预测结果的变化情况。对于网格上的每个值，我们可以以某种合理的方式对其余特征进行采样（例如，通过找到具有类似特征值的几个训练数据点，假设特征之间独立并从经验分布中采样，或通过马尔可夫链蒙特卡洛方法进行采样），然后为该网格上的局部训练分布创建一个箱型图，此类图的示例见图2。

这部分不太好理解，我举一个例子：

假设此时我们在解释一个汽车分类模型，其中一个待研究的特征为发动机排量，我们发现箱型图没有呈现明显的偏斜，因此需要执行网格搜索。首先需要选择不同的排量，并且对于每个特定的排量值，以某种合理的方式抽样与其特征相近的训练样本该特征的取值。例如，分别取不同发动机排量如1，2，3，4升，分别在训练集中寻找与其具有类似排量的汽车，然后对它们的特征进行抽样并构建箱型图。如下图横坐标就是指定特征不同的特征值，纵坐标就是训练集中对应的特征值。

如果在网格搜索期间，这些箱型图呈现出相似的边界，并且这些边界在排量值变化时突然变化，这可能意味着该特征在整个数据集中存在全局模式，如上图（b）和（c）。相反，如果在网格搜索期间，这些箱线图的边界在排量值变化时变化平滑，表现出不突然的变化，那么该特征的影响可能没有明显的全局模式，如上图（a）。

4.2 Picking an Exemplar Explanation

通常，我们希望能根据现有的解释构建一组少量具有代表性的范例（exemplar），使其为新加入的样本数据提供解释。目前，如何为一个新的测试点选择合适的范例，对现有的局部解释系统来说是一个挑战。为解决此问题，本文提出：如果一个测试点在示例解释的局部训练分布下具有较高的概率，那么说明这个示例解释在某种程度上适用于该测试点（这里我认为就是带入第三章$f_{MAPLE}$的公式，计算概率）。这种方法帮助我们判断示例解释是否可以泛化到新的测试数据，通过比较测试点在解释的训练分布下的概率，来决定是否适用这个解释。

但无法保证MAPLE的局部解释能够覆盖整个输入空间。如果测试点位于没有被示例解释覆盖到的区域，那么在现有的示例解释下，很难找到一个合适的解释。这是因为示例解释是根据已有的训练数据来构建的，如果测试点的特征在训练数据中没有足够的类似样本，那么示例解释的分布中将缺少与该测试点相匹配的区域。因此，我们可以根据测试点在示例解释分布中的低概率来判断不应该应用任何示例解释，因为这些解释无法有效地解释测试点。

5. Experimental Results

实验部分主要证明几个关键点：（1）MAPLE至少与随机森林、GBRT和SILO效果近乎相同。（2）MAPLE提供了忠实的自我解释，也就是说，在某个特定点x处，它的局部线性模型能够很好地解释该点处的预测结果。（3）与LIME相比，MAPLE对于预测黑箱模型的解释更准确。（4）局部训练分布可以被用于检测预测模型中的全局模式。

5.1 Accuracy on UCI datasets

表1展示了不同方法的Root mean squared errors均方根误差。

$$RMSE=\sqrt{\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2}$$

表4展示了随机森林和GBRT的特征选择的数量。


总的来说，MAPLE与SILO算法的结果几乎相同，甚至更优。

5.2 Faithful Self-Explanations

接下来，我们将展示MAPLE用于做出预测的局部线性模型同时也可以作为一个有效的局部解释，这里$pred()$模型为MAPLE预测模型。这里我们使用第一个公式定义的评价指标（${\mathbb{E}}_{x,x^{\prime }\sim p_x}[loss(ex{p}_x(x^{\prime }),pred(x^{\prime }))]$），定义$p_x$为$N(x,\sigma I)$，使用平方误差$l2$衡量，为每个来自测试集中的样本$x$绘制五个测试样本$x^{\prime }$。此处$\sigma$为0.1。实验结果如下所示：

结果表明，MAPLE模型有更好的局部解释能力。

5.3 MAPLE as a Black-box Explainer

与5.2不同，此段将对一个完全黑盒的模型进行衡量。这里预测模型使用Support Vector Regression（SVR），结果如下：

5.4 Using Influential Training Points

为了证明局部训练分布可以有效识别模型的全局模式，我们在第一章，图1中的数据集进行实验。构建数据集方法如下：每个数据集包含200个样本，每个样本的特征由从$[0,1{]}^5$中随机均匀取出的数据组成。这些样本通过线性函数（linear）、移位反向对数（shifted inverse logistic，SIL）函数或阶跃函数（step function）处理，但只作用于特征向量的第一个维度（其余4个维度为噪声维度），然后加入一个正态分布的噪声，其中$\sigma$= 0.1，这里我们将第一个特征称为“活动active”特征。

下面是实验部分。我们根据这些数据构建了一个随机森林，并根据随机森林的预测响应（预测结果）构建了一个MAPLE模型。之后，我们对活动特征进行网格搜索（即$[x{]}_0=0,0.1,...,1.0$），并从$[0,1]$中均匀随机地对其余特征进行采样（模拟从数据分布中对其余特征进行采样）。对于一个给定的采样点$x^{\prime }$，我们使用MAPLE的局部训练分布来识别出 20 个最有影响力的训练点，并绘制这些影响点的活跃特征的分布的箱线图。为了使结果平滑，我们对网格搜索中的每个点重复此过程10次，分布图如上图2所示。

Interpreting these Distributions:

当随机森林用于拟合一个连续函数时，它会将输入空间划分成不断细分的区域。假设我们有一个连续的函数，它在不同的输入值下变化不是太迅速，那么每棵树会将输入空间的划分位置分散开来，而这些位置在不同的树之间相对独立。因此，对于某个预测点x，影响该预测的关键训练数据点往往会集中在x附近，并且随着x的变化而平滑地变化。这就像是一种局部性质，意味着在相近的输入点上，模型的行为变化相对较缓，而这种变化在不同的树之间是相对一致的。这在图2a中得到了证明，除了在分布边界附近的点外。

当我们在预测点x处观察函数的变化趋势，如果这个函数在该点的斜率较大，说明函数在这个地方变化很快。这意味着为了更准确地捕捉函数在这个点的行为，随机森林中的每棵树会将周围的空间细分得更精细。因此，影响预测点的重要训练数据点的分布会更集中，更接近于该点。这种情况可以通过观察图2a和图2b的比较来理解。在图2a中，因为函数变化较为平缓，所以分布的方差相对较平均。而在图2b中，函数在变化较陡峭的地方，由于斜率变化快，所以影响点的分布会更加集中，方差更小。同时，如果某个特征对函数的影响较小，那么不管它的值如何变化，影响点的分布都会类似于原始数据的分布，因为这个特征在函数中没有太大的作用。这种情况可能在图中没有展示出来，但在实际实验中有类似的情况。

当我们拟合一个不连续的函数时，每棵树很可能在不连续点附近分裂。这导致了对于预测点x的影响较大的训练数据点可能并不会集中在x的附近，特别是当x靠近不连续点时。而且，当x越过不连续点时，这些影响点会突然发生变化。这种情况可以通过观察图2c来理解，其中我们清楚地看到了阶跃函数的变化过渡，以及这些区间并不集中在x附近。此外，在图2b中，我们可以看到函数有两个平坦区域，并且在这两个平坦区域之间有一个陡峭而短暂的过渡，这可以通过注意到有两个主要的影响点范围来理解，其中一个中间范围位于x0 = 0.5。

综上所述，通过观察这些影响点的分布情况，我们可以了解函数的不同特性，包括连续性和不连续性，以及特征在函数中的作用方式。

Reference

[1]. David Baehrens, Timon Schroeter, Stefan Harmeling, Motoaki Kawanabe, Katja Hansen, and Klaus-Robert MÞller. How to explain individual classification decisions. Journal of Machine Learning Research, 11(Jun):1803–1831, 2010.

[2]. Jacob Bien and Robert Tibshirani. Prototype selection for interpretable classification. The Annals of Applied Statistics, pages 2403–2424, 2011.

[3]. Pang Wei Koh and Percy Liang. Understanding black-box predictions via influence functions. arXiv preprint arXiv:1703.04730, 2017.

[4]. Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. Why should i trust you?: Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 1135–1144. ACM, 2016.

[5]. Himabindu Lakkaraju, Stephen H Bach, and Jure Leskovec. Interpretable decision sets: A joint framework for description and prediction. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 1675–1684. ACM, 2016.

[6]. Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. Anchors: High-precision modelagnostic explanations. AAAI, 2018.

[7]. Zachary C Lipton. The mythos of model interpretability. arXiv preprint arXiv:1606.03490, 2016.

[8]. Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. Anchors: High-precision modelagnostic explanations. AAAI, 2018.

[9]. R Dennis Cook and Sanford Weisberg. Characterizations of an empirical influence function for detecting influential cases in regression. Technometrics, 22(4):495–508, 1980.

[10]. Leo Breiman. Random forests. Machine learning, 45(1):5–32, 2001.

[11]. Jerome H Friedman. Greedy function approximation: a gradient boosting machine. Annals of statistics, pages 1189–1232, 2001.

[12]. Jalil Kazemitabar, Arash Amini, Adam Bloniarz, and Ameet S Talwalkar. Variable importance using decision trees. In Advances in Neural Information Processing Systems, pages 425–434, 2017.

[13]. Adam Bloniarz, Ameet Talwalkar, Bin Yu, and Christopher Wu. Supervised neighborhoods for distributed nonparametric regression. In Artificial Intelligence and Statistics, pages 1450–1459, 2016.

[14]. Yi Lin and Yongho Jeon. Random forests and adaptive nearest neighbors. Journal of the American Statistical Association, 101(474):578–590, 2006.

[15]. Erwan Scornet. Random forests and kernel methods. IEEE Transactions on Information Theory, 62(3):1485–1500, 2016.

[16]. https://mp.weixin.qq.com/s?__biz=MzA3NzIxNDQ3MQ==&mid=2650317938&idx=3&sn=541e819f8043c281b068564bc43f6e96&chksm=8759621ab02eeb0c055c384dcf4e1016be4eaf7f92877c9a8cef7243d3897daee0dfa3c26704&scene=27 （箱图）

[17]. https://blog.csdn.net/junbaba_/article/details/115552547 （网格搜索）