小哲的博客

可解释的人工智能，也称为模型可解释性，是指以人类观察者可以理解的格式阐明复杂、不透明的机器学习模型做出的预测背后的原因的技术（Molnar，2019）。解释预测的能力有助于建立对模型决策过程的信任，因此是强大的机器学习系统不可或缺的一部分（Bhatt 等人，2020；Klaise 等人，2020）。解释所提供的所需见解在很大程度上取决于解释的使用者，从调试模型的数据科学家到审核模型的监管机构。因此，需要多种方法来满足目标受众的需求（ICO，2019；

torch_geometric.explain是PyTorch Geometric库中的一个模块，用于解释和可视化图神经网络（GNN）模型的预测结果。它提供了一些方法来解释模型的预测结果、边权重和节点重要性。主要内容有：Philoshopy（哲学思想）、Explainer（解释器）、Explanations（解释）、Explainer Algorithm（解释器算法）、Explanation Metrics(解释度量)

在本博客文章中，我们将逐步介绍可解释性模块，详细说明框架的每个组件如何工作以及其作用。随后，我们将介绍各种解释评估方法和合成基准数据集，这些方法与数据集相辅相成，确保您为当前任务生成最佳的解释结果。接下来，我们将介绍一些可立即使用的可视化方法。最后，我们将详细介绍在PyG中实现自己的解释方法所需的步骤，并强调异构图和链接预测解释等高级用例的工作。

深度学习模型的可解释性有助于增加对模型预测的信任， 提高模型对与公平、隐私和其他安全挑战相关的关键决策应用程序的透明度，并且可以让我们了解网络特征，以便在将模型部署到现实世界之前识别和纠正模型所犯错误的系统模式。图在现实世界中无处不在，代表社交网络、引用网络、化学分子、金融数据等。图神经网络 (GNN) 是一个强大的框架，用于对图相关数据进行机器学习，例如节点分类、图分类、和链接预测。

随着人工智能的发展，为了解决具有挑战性的问题，人们建立一个AI模型，输入数据，然后再输出结果。这样的AI模型越来越复杂、越来越不透明，就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。因此我们需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。可解释性旨在帮助人们理解：AI模型是如何学习的？在训练过程中它学到了什么？为什么这个AI模型针对一个特定输入会做出如此决策？以及这个决策是否可靠？

简单的说，可解释性就是把人工智能从黑盒变成了白盒。随着机器学习和人工智能技术在各个领域中的迅速发展和应用，向用户解释算法输出的结果变得至关重要。人工智能的可解释性是指人能够理解人工智能模型在其决策过程中所做出的选择，包括做出决策的原因，方法，以及决策的内容。可解释性人工智能的目标是使人能够理解人工智能模型决策的过程，从而更好的对模型进行使用以及改进，并且增加用户的信任度，扩展人工智能技术的应用场景。

**SHAP是Python开发的一个“模型解释”包，可以解释任何机器学习模型的输出**。其名称来源于**SHapley Additive exPlanation**，在合作博弈论的启发下SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”。对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。

解释基于XGBoost对泰坦尼克号数据集的预测过程和结果

解释基于Scikit-learn进行文本分类的pipeline及结果

尽管`eli5`支持许多分类器和预处理方法，但它不能支持所有分类器和预处理方法。如果eli5不直接支持某个Python库，或者文本处理流水线对 eli5来说太复杂，eli5仍然可以帮助——它提供了LIME (Ribeiro 等，2016)算法的实现，该算法允许解释任意分类器（包括文本分类器）的预测。当很难在模型系数和文本特征之间建立精确的映射关系时(例如，如果涉及到降维) ，`eli5.lime`也可以提供帮助。

当训练得到一个模型之后，除了对模型的预测感兴趣之外，我们往往还想知道模型中哪些特征更重要，哪些特征对对预测结果的影响最大。

在这项工作中，作者提出了 LIME，这是一种新颖的解释技术，通过在预测局部学习可解释模型，以可解释和忠实的方式解释任何分类器的预测。 作者还提出了一种通过以非冗余方式呈现具有代表性的个体预测及其解释来解释模型的方法，将任务构建为子模块优化问题。

`Explainable ML`要求模型不但要给出结果，还要对结果背后的原因做出解释。这种解释可以分为`Local Explanation`、`Global Explanation`、用另一种Explainable的模型来Explanation等方法。