Reinforced Causal Explainer for Graph Neural Networks 图神经网络的增强因果解释器

Abstract

可解释性对于探索图神经网络（GNN）至关重要，回答诸如“为什么GNN模型做出某种预测？"之类的问题。特征属性是一种在输入图中突出显示解释性子图的流行技术，它似乎可以引导GNN模型做出预测。已经提出了各种归因方法来利用类梯度或注意力得分作为边缘的归因，然后选择具有最高归因得分的显著边缘作为解释。然而，大多数的工作都做了一个站不住脚的假设–选择的边是线性独立的–从而使得边之间的依赖性在很大程度上没有被探索，特别是它们的联盟效应。我们证明了这个假设的明显缺点–使解释子图不忠实和冗长。为了解决这一挑战，我们提出了一个强化学习代理，强化因果解释器（RC解释器）。它将解释任务框定为一个连续的决策过程–通过添加一个突出的边来连接先前选择的子图，从而连续地构建一个解释子图。从技术上讲，它的策略网络预测了边缘添加的行为，并获得了量化该行为对预测的因果影响的奖励。这种奖励解释了新加入的边和先前加入的边之间的依赖性，从而反映了它们是否合作并形成联盟以寻求更好的解释。该算法通过策略梯度进行训练，优化边缘序列的回报流。因此，RC-Explainer能够生成忠实而简洁的解释，并且对看不见的图具有更好的泛化能力。在三个图分类数据集上解释不同的GNN时，RC-Explainer实现了比当前最先进方法更好或相当的性能。两个定量指标：预测准确性、对比度，并安全地通过健全性检查和视觉检查。

1.INTRODUCTION

图神经网络（GNNs）[1]，[2]在各种任务中表现出令人印象深刻的性能，其中数据是图形结构的。他们的成功主要来自于强大的表征学习，它以端到端的方式结合了图结构。除了性能，可解释性成为GNN实际影响的核心，特别是在公平性、安全性和鲁棒性的现实应用中[3]，[4]，[5]。为了回答诸如“为什么GNN模型做出了某种预测？”我们关注于事后[6]、局部[7]、模型不可知[8]的可解释性-即，将目标GNN模型视为黑盒（即，事后），这是适用于到任何GNN（即，模型不可知）。为此，一种流行的范式是特征归因和选择[9]、[10]、[11]、[12]。通常，给定输入图，它将模型的结果预测分配给输入特征（即，边），然后选择显著子结构（即，边的子集）作为解释性子图。这种解释性子图有望提供对模型工作的深入了解。为了实现高质量的特征归因，揭示GNN模型中输入特征和结果预测之间的关系是至关重要的。大多数现有的解释者通过（1）类梯度信号w.r.t.边[13]、[14]、[15]，其通过将模型结果反向传播到图结构而获得;（2）边缘[16]、[17]、[18]的掩码或注意力分数，其从掩码函数或注意力网络导出以经由分数（掩码或注意力）图来近似目标预测;或者（3）扰动边[4]、[19]、[20]上的预测变化，其通过扰动图结构来获取，诸如将子图排除在外并审计结果变化[19]或计算Shapley值[4]。随后，具有顶部属性的边的子集构成对模型的决策最有影响的解释性子图。
尽管如此，我们认为这些解释者倾向于产生次优解释，因为两个关键因素在很大程度上仍未被探索：

• 边缘的因果效应。这是至关重要的，以指定的边缘，是似是而非的因果关系的模型结果，而不是与结果无关或虚假相关的边缘[21]，[22]。然而，由于使用梯度和注意力类得分的解释者通常从联想的角度来处理输入-结果关系，他们很难区分边缘的因果和非因果效应。以图1为运行示例，其中SA [13]和GNNExplainer [16]解释了GIN模型[23]预测分子图具有致突变性的原因。由于氮碳键（N-C）常与硝基（NO2）相连，故与诱变性假性相关，SA将其排在首位。然而，仅将这种伪边缘馈送到模型中几乎不能恢复目标预测，因此不忠实地反映模型的决策。
  图1.一个解释分子图致突变性分类的真实的例子。(a-c)分别显示SA、GNNExplainer和RCExplainer的解释，其中重要边缘用红色突出显示，并列出前3个边缘。最佳彩色观看。

• 边之间的从属关系。大多数解释器在探测边属性和构造解释子图时忽略了边依赖关系。一个关键原因是它们独立地绘制边的属性[19]、[24]、[25]。事实上，边通常相互协作，并与其他边协作以逼近决策边界。这种高度依赖的边缘形成了一个联盟，可以在模型中建立一个原型来做出决定。考虑到SA的解释，与单个的N-C键相比，它与碳-碳的结合（C=C）键没有带来关于模型预测的独特信息，因为仅实现了预测准确性的边际改进。（N=O）键形成硝基（NO2），这是一个典型的联盟，负责致突变性[3]，并追求更高的预测比个人的影响。显然，NO2中的N=O键应该是更好的事后解释。

  在这项工作中，我们探讨了边缘的因果效应和依赖性，以产生忠实于模型的决策过程和人类认知一致的解释。的确，这是具有挑战性的，但可以在我们引入配备因果关系的筛选策略[26]后解决[27]。具体来说，筛选策略将解释任务框定为顺序添加边–也就是说，它从作为解释子图的空集开始，并逐渐向子图中添加边，一个时间步长一条边。在筛选过程中，因果关系为我们提供了一种评估先前添加的边与正在选择的候选边之间的依赖关系的方式，回答了“如果我们将此边添加到GNN的输入中，预测会发生什么？”问题。其基础是在给定先前选择的情况下，将边缘候选作为其个体因果效应（ICE）[27]、[28]进行因果归因。形式上，它比较了治疗中的模型结局（即，GNN将边和先前选择的联合作为输入）和控制（即，GNN仅分配先前选择的任务）。正因果归因表明边缘联盟提供了与预测强相关的唯一信息;否则，该边是冗余的或不相关的。
  为此，我们提出了一种强化学习（RL）Agent–强化因果解释器（RC-Explainer）来实现因果筛选策略。洞察力在于具有随机策略的RL代理可以在给定学习策略的不确定性信息的情况下自动地确定在哪里搜索，所述学习策略的不确定性信息可以通过回报信号流迅速地更新。从技术上讲，RC-Explainer使用一个简单的神经网络作为策略网络来学习边缘候选被选择的概率，然后在每一步选择一个潜在的边缘作为动作。这样的边序列形成策略，并获得由每个合成边和子图的因果属性组成的奖励。因此，我们可以展示解释的边缘的依赖性，并突出边缘联盟的影响。我们借助政策梯度来优化政策网络。通过对GNN的全局理解，我们的RCExplainer能够为每个图实例提供模型级解释，并推广到看不见的图。三个数据集上的实验表明，我们的解释，这是更一致的，简洁，和忠实的预测与现有的方法相比，有效性。
  这项工作的贡献总结如下：

• 我们强调边的因果效应和依赖关系的重要性，以揭示边的属性，并建立解释子图，从而忠实和简洁地解释GNN的预测。

• 我们将解释框架化为一个顺序决策过程，并开发了一个RL代理RC-Explainer，来对边依赖进行因果分析。

• 我们在三个数据集上进行了广泛的实验，显示了我们的RC解释器w.r. t的有效性。预测准确性、对比度、健全性检查和目视检查。

2 相关工作

在解释者的文献中，有许多接近解释的二分法-在事后和内在之间[6]，[29]，[30]（即，目标模型由附加的解释器方法事后解释或固有地可解释），局部和全局之间[7]（即，解释者单独地或整体地提供对数据实例的解释），在模型不可知和模型特定之间[8]（即，解释器在模型类型之间是可比较的，或者是为特定模型定制的）。在这项工作中，我们专注于事后，本地和模型不可知的可解释性。

2.1 非图神经网络的可解释性

作为一种流行的技术，特征属性[9]，[10]，[11]，[12]已经显示出为神经网络，特别是卷积神经网络（CNN）生成事后解释的巨大潜力。一般来说，现有的归因方法大致分为三类：

• 一条研究线[8]，[9]，[10]，[31]，[32]通过反向传播将模型结果分解为输入特征，使得类似梯度的信号被视为输入特征的重要性。例如，梯度[31]使用纯梯度w.r.t.输入特征。Grad-CAM [9]还利用逐层上下文来改善梯度。
• 另一条研究线[33]，[34]引入了可训练的注意力或掩蔽网络，并在输入特征上生成注意力分数。网络被训练为通过注意或掩蔽特征来近似模型的决策边界。例如，L2X [33]学习生成特征掩码，目的是最大化掩码特征和目标预测之间的互信息。
• 一些作品[7]，[20]执行输入扰动并监视模型行为的变化（例如，预测，损失），从而揭示输入-输出关系。其基本思想是，如果基本特征被遮挡，则模型结果极有可能显著改变。例如，CXPlain [20]通过遮挡来学习特征的边际效应。

2.2 图神经网络的可解释性

与神经网络的广泛研究相比，广义神经网络的可解释性研究较少，仍然是一个具有挑战性的开放问题。受为CNN设计的方法的启发，最近的作品通过以下方式解释了GNNs：

• 类梯度信号w.r.t.图结构[13]，[14]，[15]：例如，SA [13]采用GNN的损失w.r.t.邻接矩阵作为边得分，而Grad-CAM [14]在GNN上扩展。
• 结构特征的面具或注意力得分[16]，[17]，[18]：其基本思想是最大化分数（注意）图和目标预测之间的互信息。例如，GNNExplainer [16]独立地为每个图定制邻接矩阵上的掩码。后来，PGExplainer [17]训练神经网络来为多个图形共同生成掩码。最近，Refine [18]首先在类图上预训练注意力网络，以锁定全局解释视图，然后微调单个图的局部解释。
• 结构扰动的预测变化[4]、[19]、[20]、[35]：为了获得节点属性，PGMExplainer [19]对节点应用随机扰动，并根据扰动预测数据学习贝叶斯网络以识别重要节点。最近，SubgraphX [4]使用蒙特卡罗树搜索算法来探索不同的子图，并使用Shapley值来衡量每个子图的重要性。

请注意，XGNN [3]专注于模型级解释，而不是对单个预测的局部解释。此外，它未能保持个别图的局部保真度，因为它的解释可能不是输入图中存在的子结构。相比之下，我们的RC-Explainer用GNN模型的全局视图解释每个图，这可以保持局部保真度。正如之前的工作[19]所建议的那样，这些工作中的大多数假设特征是独立的，但忽略了它们的依赖性，特别是联盟效应。我们的工作与他们不同-我们重新制定的解释一代作为一个顺序的决策过程，占边关系和因果关系的影响，在每一步，走向更忠实和简洁的解释。

3 准备工作

我们首先总结了GNNs的背景，然后描述了生成本地事后解释的任务。

3.1 GNN的背景

假设将图形结构化数据实例表示为G1/2/2/Eg，其中一个边e1/2/;u2 E涉及两个节点v和u2 V，以突出结构特征（即，边缘及其端点的存在）。通常，每个节点V被分配有d维特征Xv 2 Rd。
已经提出了各种GNN [1]，[2]，[36]，[37]，以将这些结构特征以端到端的方式纳入表示学习中，以便促进下游预测任务。遵循监督学习范例，我们可以将GNN模型f系统化为两个模块f2的组合f1，其中f1是生成表示的编码器，f2是输出预测的预测器。显然，编码器中的表示学习是GNN的核心，通常涉及两个关键组件：

• 表示聚合，从相邻节点中提取向量化信息，递归更新自我节点的表示
  
  其中，是从v的邻居传播的信息的聚合;zð 0 v用xv初始化，并且zðlv是v在l层之后的表示;联系我们？和更新分别表示聚合和更新函数。

• 表示读出，其最终确定用于预测任务的节点v或图G的表示
  其中Zv用于节点级任务（例如，节点分类，链路预测），而zG用于图级任务（例如，图分类、图回归、图匹配）;EDGE-READOUTð？和GRAPH-READOUTð分别表示节点和图形的读出函数。

在获得了强大的表示之后，预测器执行预测，例如在两个节点表示上使用内积来进行链路预测，或者在单个节点表示上使用神经网络来执行节点分类
不失一般性，我们认为在这项工作中的图分类问题。令f：G！f1; …Cg是训练的GNN模型，其将图实例G2 G分类为C类

• 

其中是被解释的预测类别，其被分配有最大概率;f由u参数化，包括编码器和预测器的参数。

3.2 任务描述

GNN的可解释性旨在回答诸如“给定感兴趣的图实例G，是什么决定了GNN模型f以产生某个输出^yc？”的问题。提供局部、事后和模型不可知解释的一种流行技术是特征属性[9]，[10]，[11]，[12]，它将预测分解为输入特征。因此，图的每个输入特征与归因分数相关联，以指示其对预测的贡献程度。
形式上，解释者的任务是导出前K条重要边，构造一个忠实的解释子图GK ¼fe1; …;e公斤G，则GK提供了支持f的预测^yc的证据。其中，ek是排名在第k位置的边。在这项工作中，我们遵循先前的研究[14]，[16]，[17]，并主要关注结构特征（即，边及其端点的存在），留下显著内容特征的标识（即，节点特征）在未来的工作中。

4 方法

为了生成一个解释子图，我们首先从因果关系的角度框架整体子图的属性，并强调其局限性。然后，我们提出了边缘序列的属性（称为因果筛选），它通过测量边缘对目标预测的因果影响以及边缘对先前选择的边缘的依赖性来顺序地选择一条边缘。为了有效地实现因果筛选的思想，我们设计了一个强化学习代理–强化因果解释器（Reinforced Causal Explainer，RCExplainer）.

4.1整体子图的因果属性

形式上，我们可以构造解释子图GK通过最大化归因度量A（‘）

• 
  其在K个边的所有可能组合上被优化：测量每个候选子图GK对目标预测的贡献。

为了实现因果解释性，AðGKj^yc∞需要量化GK的因果效应。我们可以直接操纵输入图变量的值，并研究模型预测将如何进行。这样的操作是因果推理中的干预[27]，[38]，这是建立在doð上的。微积分。它切断了变量的所有传入链接，并强制为变量分配某个值，该值不再受其因果父变量的影响。例如，doðG ¼ G？将图变量G的值固定为特定图实例G，即doðG？的缩写。
通过干预，我们在归因函数AdGKj ^yc ∞中制定个体因果效应（ICE）[27]，[38]。特别地，我们将输入图变量G视为我们的控制变量并进行两次干预：doðG ¼ GK和doðG ¼;∞，它们分别指示输入接受处理（即，将GK馈送到GNN中）和控制（即，将无信息参考馈送到GNN中）。ICE是治疗和对照下潜在结局之间的差异：YðdoðGKstiffYðdoð; ∞，其中Y是预测变量。然而，这个差异确实使目标预测y^ c未受影响，因此很容易从G中提取出退化的解释。因此，我们引入一个变量IdG;估计G和Y之间的互信息[39]，[40]，其被定义为

• 

局限性。然而，直接优化等式（5）面临两个障碍：（1）这种优化通常是NPhard [33]，[41]，因为约束jGKj ^K将任务转换为组合优化问题，其中可能的子图的数量fGKGg与边数呈超指数关系;以及（2）它仅整体地展示子图对预测的贡献。然而，突出每个分量边的重要性比仅示出整体子图更优选。

4.2边缘序列的因果筛选

为了解决这些局限性，我们提出了因果筛选策略，以评估因果关系的边缘序列的影响。基本思想是将筛选策略[26]与边缘的因果估计相结合。具体地说，解释子图从空集开始，并且增量地合并显著边，一次一条边。形式上，目标函数为

•