Explainable Artificial Intelligence Approaches: A Survey

Explainable Artificial Intelligence Approaches: A Survey

现有的一些工具：LIME, DeepVis Toolbox, TreeInterpreter, Keras-vis, Microsoft InterpretML, MindsDB, SHAP, Tensorboard WhatIf, Tensorflow’s Lucid, Tensorflow’s Cleverhans

解释方法分为三类：Intrinsically Interpretable Methods, Model Agnostic Methods, and Example-Based Explanations. 模型固有的可解释方法，模型无关的方法和基于示例的解释

Intrinsically Interpretable Methods

线性回归，预测目标由输入要素的加权总和组成。因此，当特征数较少时，线性方程的权重或系数可以用作解释预测的媒介。但是，在存在多个相关特征的情况下，由于预测中的各个影响不再与总体预测相加，因此无法确定明显的特征影响。（多重共线性问题无法确定特征贡献）

Logistic回归的解释不同于线性回归，因为它给出的概率在0到1之间，其中权重可能无法准确地表示线性关系与预测的概率。但是，权重提供了影响方向的指示（负的或正的）和类别之间的影响因素，尽管它并不能加总预测。

决策树即使输入和输出之间的关系是非线性的，即使要素相互交互（即要素之间的相关性），它也可以工作。在决策树中，从根节点（即，起始节点）（例如，图1中的信用评分）到叶节点（例如，默认值）的路径说明了决策（叶节点）是如何发生的。通常，树的上层节点的重要性高于下层节点。而且，一棵树的级别数（即高度）越少，该树具有的可解释性级别就越高。另外，决策树中节点的截止点提供了反事实信息。但是，基于树的解释无法表达输入要素和输出之间的线性关系。它也缺乏光滑度。输入的微小变化会对预测的输出产生很大的影响。同样，同一问题可以有多个不同的树。通常，树的节点或深度越多，解释树就越具有挑战性。

决策规则（简单的IF-THEN-ELSE条件）也是一种固有的解释模型。尽管IF-THEN规则易于解释，但它主要限于分类问题（即不支持回归问题），并且不足以描述线性关系。另外，RuleFit算法在学习稀疏线性模型时可以在某种程度上具有固有的解释，该模型可以以决策规则的形式检测交互作用。其他可解释的模型包括线性模型的扩展，例如广义线性模型（GLM）和广义加性模型（GAM）。它们有助于处理一些线性模型的假设（例如，目标结果y和给定特征遵循高斯分布；特征之间没有相互作用）。但是，这些扩展使模型更加复杂（即增加了交互），并且难以解释。此外，还有一个基于贝叶斯定理的朴素贝叶斯分类器，其中每个特征的类概率是独立计算的（假设很强的特征独立性），以及K最近邻，它使用数据点的最近邻进行预测，也属于本质上可以解释的模型。

Model-Agnostic Methods

基于特征归因或者模型简化

与模型无关的方法将解释与机器学习模型分开，从而使解释方法与各种模型兼容。这种分离具有一些明显的优势，例如（1）解释方法可以用于多个ML模型；（2）为特定模型提供不同形式的可解释性（例如，特征重要性的可视化，线性公式）；（3）允许灵活的表示方式-文本分类器使用抽象词嵌入进行分类，但使用实际词进行解释。一些与模型无关的解释方法包括部分依赖图（PDP），个体条件期望（ICE），累积局部效应（ALE）图，特征交互，特征重要性，全局替代，局部替代（LIME）和Shapley值（SHAP）。相关推送。

CAM，Grad-CAM, QII, MES (机器学习反事实解释论文综述)

Example-Based Explanations

基于示例的解释方法使用数据集中的特定实例以模型不可知的方式解释模型的行为和数据的分布。可以表示为“X与Y相似，Y引起Z，因此预测说X会引起Z”

基于示例的方法试图在被解释者数据点附近找到数据点。它们要么以与被解释者数据点具有相同预测的数据点的形式提供数据解释，要么提供其预测与被解释者数据点不同的数据点。请注意，后一种数据点仍与被解释者数据点接近，被称为“反事实解释”。(机器学习反事实解释论文综述)

反事实

反事实方法指示输入侧的所需变化，其将在预测/输出中具有显著变化(例如，反转预测)。反事实解释可以解释个别预测。例如，它可以提供描述因果情况的解释，如“如果甲没有发生，乙就不会发生”。尽管反事实解释对人类友好，但它受到“罗生门效应”的影响，每个实例级预测都有多个真实的解释(反事实)，挑战在于如何选择最佳的一个。这些反事实的方法不需要访问数据或模型，并且可以在一个完全不使用机器学习的系统中工作。此外，这种方法不适用于具有许多值的分类变量。例如，如果客户5的信用评分(来自表3)可以从748增加到749(类似于客户6的信用评分)，假设其他特征值保持不变，客户将不会拖欠付款。简而言之，可以有多种不同的方法来调整特征值，以使客户从非默认状态转换到默认状态，反之亦然。

与其他几种可解释性技术不同，反事实解释并没有明确回答决策的“为什么”部分。相反，他们提供建议以实现所需的结果。反事实的解释也适用于黑匣子模型（只能访问模型的预测函数），因此对模型的复杂性没有限制，也不需要披露模型。他们也不一定会近似基础模型，从而产生准确的反馈。(机器学习反事实解释论文综述)

对抗性

对抗性技术能够使用反事实示例来翻转决策，以欺骗模型。对抗性示例可能有助于发现隐藏的漏洞并改善模型。

原型

原型由一组非常好地表示数据的选定实例组成。（代表性强的实例）

有影响力的实例

影响实例是训练集中对模型的预测和参数确定有影响的数据点。虽然这有助于调试模型和更好地理解模型的行为，但是确定正确的分界点来分离有影响的或无影响的实例是具有挑战性的。（有点类似于支持向量的反义）

K近邻模型

k-近邻模型的预测可以用k-近邻数据点(预测时取平均值的近邻)来解释。包含相似实例的单个集群的可视化提供了为什么实例是特定组或集群的成员的解释。

对比