【IR】Counterfactual Explainer on Graphs

ca1m4n

于 2024-08-15 15:03:26 发布

阅读量422

点赞数 7

分类专栏： ReadingTime Graph 文章标签： graph

本文链接：https://blog.csdn.net/bocaiaichila/article/details/141218449

版权

ReadingTime 同时被 2 个专栏收录

19 篇文章 0 订阅

订阅专栏

Graph

6 篇文章 0 订阅

订阅专栏

图神经网络的反事实解释：最新文章略读

Survey $^{[5]}$
CFAD $^{[1]}$
CAF $^{[3]}$
GCFExplainer $^{[2]}$
CFE $^{[4]}$
RCExplainer $^{[6]}$
CF-GNNExplainer $^{[7]}$
Ref

Survey $^{[5]}$

在这里插入图片描述
++++++

NeurIPS 2020 Workshop

在这里插入图片描述
图1：数据点（以蓝色显示）的两条可能路径，最初被分类为否定类，跨越决策边界。两条路径的终点（以红色和绿色显示）都是原始点的有效反事实。请注意，红色路径是最短的，而绿色路径与训练数据的流形紧密相连，但更长。【推荐绿色路径】

CFAD $^{[1]}$

在这里插入图片描述

motivation：在异常检测中提供因果关系可以帮助我们学习通用和鲁棒的模型；

操纵生成模型对真实的子图进行干预来生成反事实子图，并将其应用于异常检测模型的训练；

学习因果关系，消除虚假相关性，提高了异常检测性能。
在这里插入图片描述

在这里插入图片描述

CAF $^{[3]}$

Code

Keywords: Graph neural networks; Counterfactual fairness; Causal learning

图神经网络在图的表示学习中表现出了很强的能力，可以方便地完成各种任务。最近的研究表明，尽管GNN在建模图方面表现出色，但其倾向于继承和放大训练数据的偏差，这引起了人们对GNN在高风险场景中的应用的担忧。因此，已经为公平感知GNN进行了许多努力。然而，现有的公平GNN大多采用统计公平性的概念来学习公平的节点表示，这在统计异常情况下可能无法缓解偏差。在因果理论的推动下，有几种尝试利用图的反事实公平性来减轻不公平性的根本原因。然而这些模型都存在由扰动或生成所产生的非真实反事实。本文从因果关系的角度研究了公平图学习问题。在因果分析的指导下，提出了一种新的CAF框架，该框架能够从训练数据中选择反事实，以避免不真实的反事实，并采用所选的反事实学习公平的节点表示，用于节点分类任务。模拟和真实数据集实验表明了算法的有效性。

在这里插入图片描述

GCFExplainer $^{[2]}$

Code

图神经网络（GNN）在计算生物学、自然语言处理和计算机安全等多个领域都有应用。由于GNN是黑盒机器学习模型，因此越来越需要对GNN预测进行解释。解决这一问题的方法之一是反事实推理，其目标是通过对输入图进行最小的更改来改变GNN预测。现有的GNN反事实解释方法仅限于特定实例的局部推理。这种方法有两大局限，一是无法提供全局求助策略，二是过多的信息使人类的认知能力不堪重负。在这项工作中，我们通过全局反事实推理来研究 GNN 的全局可解释性。具体来说，我们希望找到一小部分具有代表性的反事实图，以解释所有输入图。为了实现这一目标，我们提出了 GCFExplainer，这是一种新颖的算法，由顶点强制随机行走驱动，在图的编辑图上进行贪婪总结。在真实图数据集上进行的大量实验表明，GCFExplainer 的全局解释提供了对模型行为的重要高层次见解，与最先进的局部反事实解释器相比，其求助覆盖率提高了 46.9%，求助成本降低了 9.5%。

Novel formulation：我们提出了用于图分类的 GNN 全局反事实推理/解释这一新颖问题。与只生成特定实例的反事实推理的现有著作相比，我们提供了对模型全局行为的解释。
Algorithm design：虽然这个问题很难解决，但我们提出了GCFExplainer，它将指数搜索空间组织为编辑图。然后，我们在其上执行Vertex-Reinforced随机行走，生成各种具有代表性的反事实候选方案，并将其贪婪地归纳为全局解释。
Experiments：我们在真实世界的数据集上进行了大量实验，以验证所提方法的有效性。结果表明，GCFExplainer 不仅对模型行为提供了重要的high-level见解，而且在各种求助质量指标上优于与反事实推理相关的最先进基线。

在这里插入图片描述

CFE $^{[4]}$

图神经网络的博弈论反事实解释

图神经网络（GNN）一直是复杂网络中节点分类任务的有力工具。然而，对于用户来说，它们的决策过程仍然是一个黑箱，这使得理解其预测背后的推理具有挑战性。反事实解释（CFE）有望提高机器学习模型的可解释性。之前为 GNNS 计算 CFE 的方法通常是基于学习的方法，需要训练额外的图。在本文中，我们提出了一种基于半值的非学习方法，用于生成节点分类任务的 CFE，无需任何额外的训练。我们的研究结果表明，与计算 Shapley 值等其他流行方法相比，计算 Banzhaf 值在识别反事实解释时需要更低的样本复杂度。我们的经验证据表明，与 Shapley 值相比，计算 Banzhaf 值的速度最多可提高四倍。我们还设计了一种计算 Banzhaf 值的阈值法，并展示了其在噪声环境下的鲁棒性理论和实证结果，使其优于 Shapley 值。此外，在三个流行的图数据集中，我们证明了阈值化的 Banzhaf 值在不影响解释质量（即保真度）的情况下提高了效率。

RCExplainer $^{[6]}$

Code

摘要：图形神经网络（GNN）在高风险应用中的大规模部署，强烈要求对噪声具有鲁棒性并与人类直觉高度一致的解释。现有的大多数方法都是通过识别输入图中与预测具有较强相关性的子图来生成解释。这些解释对噪声不具有鲁棒性，因为独立优化单个输入的相关性很容易过度拟合噪声。此外，它们也不是反事实的，因为从输入图中移除已识别的子图并不一定会改变预测结果。在本文中，我们提出了一种新方法，通过明确模拟 GNN 在相似输入图上的共同决策逻辑，生成稳健的反事实解释。我们的解释对噪声具有天然的鲁棒性，因为它们是从 GNN 的共同决策边界中产生的，而 GNN 的共同决策边界控制着许多类似输入图的预测。这些解释也是反事实的，因为从输入图中移除解释所确定的边缘集会显著改变预测结果。在许多公共数据集上进行的详尽实验证明了我们的方法的卓越性能。

首先，我们用一组决策区域对 GNN 的决策逻辑进行建模，其中每个决策区域都是由 GNN 的一组线性决策边界引起的。我们提出了一种无监督方法来为每个类别寻找决策区域，从而使每个决策区域都能对预测为同一类别的多个图样本进行预测。决策区域的线性决策边界捕捉了决策区域内所有图实例的共同决策逻辑，因此不会轻易过度拟合单个图实例的噪声。通过探索线性边界中编码的共同决策逻辑，我们就能得出对噪声具有内在鲁棒性的反事实解释。
其次，基于决策区域的线性边界，我们提出了一种新颖的损失函数，用于训练神经网络，以产生作为输入图的一小部分边的稳健反事实解释。该损失函数旨在直接优化边缘子集的可解释性和反事实属性，从而实现以下目标 1) 由边缘诱导的子图位于决策区域内，因此预测结果与输入图一致；以及 2) 从输入图中删除边缘子集会产生位于决策区域外的剩余子图，因此剩余子图的预测结果会发生显著变化。
最后，通过实验研究，将本文方法与现有方法在保真度、鲁棒性、准确性和效率等方面进行了比较。仿真结果验证了所提方法的优异性能。

技术总结：
问题定义：定义了鲁棒反事实解释问题，即在给定GNN模型预测的图 $G$ 中识别一个小的边缘子集 $S$ ，移除 $S$ 后能最大程度地降低原始预测的置信度，并且 $S$ 在图 $G$ 的边缘和节点受到随机噪声干扰时保持稳定。

决策区域建模：通过GNN的最后一层卷积层的输出空间中的特征来提取决策区域，这些决策区域由GNN的线性决策边界（LDBs）引导。

决策区域提取：提出了一种无监督方法来为每个类别找到决策区域，使得每个决策区域管理多个预测为同一类别的图样本的预测。

解释生成：基于决策区域的线性边界，提出了一种新颖的损失函数来训练神经网络，以产生鲁棒的反事实解释。

损失函数设计：设计了损失函数来直接优化边缘子集的可解释性和反事实属性，确保子图与输入图的预测一致，并且从输入图中删除这些边缘后，剩余子图的预测显著变化。

效率：该方法在生成解释时具有高效率，时间复杂度为O(|E|)，其中|E|是输入图的边总数。

实验与评估：
数据集：使用了包括合成数据集和真实世界数据集在内的多个数据集进行实验评估。
任务类型：评估了图分类任务和节点分类任务。
性能指标：使用保真度（fidelity）、鲁棒性（robustness）、准确性（accuracy）和效率（efficiency）作为评价指标。
结果：实验结果表明，该方法在所有指标上均优于现有方法。

在这里插入图片描述

CF-GNNExplainer $^{[7]}$

CF-GNNExplainer通过迭代删除原始邻接矩阵中的边缘，使用基于矩阵稀疏化技术的方法，并跟踪导致预测变化的扰动，返回相对于边缘数量最小的扰动。

CF-GNNExplainer通过最小化一个损失函数来生成扰动矩阵P，该损失函数结合了预测损失和距离损失。

Ref

[1] TKDE’23, Counterfactual Graph Learning for Anomaly Detection on Attributed Networks (https://ieeexplore.ieee.org/abstract/document/10056298)
[2] WSDM’23, Global Counterfactual Explainer for Graph Neural Networks (https://dl.acm.org/doi/abs/10.1145/3539597.3570376)
[3] CIKM’23, Towards Fair Graph Neural Networks via Graph Counterfactual (https://dl.acm.org/doi/abs/10.1145/3583780.3615092)
[4] WWW’24, Game-theoretic Counterfactual Explanation for Graph Neural Networks (https://dl.acm.org/doi/abs/10.1145/3589334.3645419)
[5] arXiv2024.7, Counterfactual Learning on Graphs: A Survey (https://arxiv.org/abs/2304.01391)
[6] NeurIPS’21, Robust Counterfactual Explanations on Graph Neural Networks
[7] AISTATS’22, CF-GNNExplainer: Counterfactual Explanations for Graph Neural Networks