Reinforcement Learning Enhanced Explainer for Graph Neural Networks强化学习增强的图神经网络解释器

摘要

图神经网络（GNN）最近已经成为图上机器学习任务的革命性技术。在GNN中，图结构通常通过消息传递方案与节点表示相结合，这使得解释更具挑战性。给定经训练的GNN模型，GNN解释器旨在识别最有影响力的子图以解释实例的预测（例如，节点或图），其本质上是图上的组合优化问题。现有的作品解决这个问题的连续松弛或基于搜索的启发式。但它们存在一些关键问题，如违反消息传递和手工制作的启发式，导致较差的可解释性。为了解决这些问题，我们提出了一个RL增强的GNN解释器，RG-Explainer，它由三个主要组件组成：起始点选择、迭代图生成和停止准则学习。RG-Explainer可以通过从当前生成的图的边界顺序添加节点来构造连通的解释子图，这与消息传递方案一致。此外，我们设计了一个有效的种子定位器来选择起始点，并学习停止标准，以产生上级的解释。在合成数据集和真实的数据集上的广泛实验表明，RG-Explainer的性能优于最先进的GNN解释器。此外，RG-Explainer可以应用于归纳设置，展示了更好的泛化能力。

1引言

图神经网络（GNNs）通过利用消息传递方案将图结构与节点特征结合起来，在无处不在的图数据上扩展神经网络模型。他们不仅在图上的经典机器学习任务中实现了最先进的性能，例如，节点分类[10，28]，链接预测[38]和图分类[33]，而且在推理任务中，例如，直觉物理学[4]、数学推理[24]和智商测试[3]。与大多数深度学习方法类似，GNN的一个主要限制是缺乏预测结果的可解释性;通常需要事后分析来解释结果。
为了增强GNN的可解释性，一系列工作[34，17，30，37，31]专注于开发GNN解释器。GNN解释器的目标是识别最有影响力的子图结构以解释实例的预测标签（例如，节点或图）。它通常可以表示为一个优化问题，最大化的预测结果和相关的子图的分布之间的互信息在一些大小的约束。
开创性的工作，例如，GNNExplainer [34]和PGExplainer [17]试图用连续松弛来解决优化问题。这些方法优化了边缘的软掩模矩阵，并通过阈值选择重要的节点/边缘。然而，它们不能保证输出子图中的节点和边是连接的。因此，它们的解释性子图不能显式地可视化消息传递路径。此外，他们认为每个边缘的重要性独立，并忽略了选定的节点和边缘之间的相互作用。最近的一些工作，如SubgraphX [37]和因果筛选[31]，设计了搜索标准并使用基于搜索的方法来解决优化问题。由于搜索解释图结构的组合属性，很难设计一个通用的手工搜索标准。这些标准仅限于具体情况，因此不能广泛适用。
为了解决这些问题，我们提出了RG-Explainer，它采用强化学习来解释GNN的预测。我们的框架受到经典组合优化求解器的启发，其中包括三个关键步骤：起始点选择、迭代图生成和停止准则学习。这三个组件一起工作以生成解释性图，该解释性图解释给定节点/图实例的预测标签，如我们接下来详细描述的。
首先，起点选择选择实例中最重要的节点作为种子节点。如果任务是解释特定节点标签的预测，则最重要的节点是指节点本身。为了解释图标签，我们设计了一个种子定位器来学习对图标签影响最大的节点。迭代图生成是该方法的关键模块，它依次生成解释图中的节点。具体来说，我们在每一步基于当前生成的图（状态）从邻居中添加一个有影响力的节点（动作）。它显式地保证生成的图的连通性。生成过程由奖励控制，即，原始预测标签和由生成的图制作的标签之间的互信息。为了确保一个紧凑和有意义的解释图，我们还涉及到奖励的一些约束，如大小损失，半径惩罚和相似性损失。最后，学习停止准则以进一步避免生成非常大的解释图。
此外，我们的方法具有更好的泛化能力，可以应用于转导和归纳设置。与基于搜索的方法不同，我们从数据中自动学习启发式。一个训练有素的RG-Explainer可以推断出在训练阶段不涉及的实例的解释。
我们在合成和真实世界的数据集上进行了广泛的实验，以表明与最先进的GNN解释器相比，所提出的RG解释器可以实现上级的性能。特别是，我们的可视化结果进一步证明了我们的方法更好的可解释性。

2相关工作

图神经网络 图神经网络（GNN）在许多现实世界的应用中，包括推荐系统，化学和生物信息学[8，11，26]，在图结构数据上取得了巨大的成功。今天使用的大多数GNN遵循消息传递方案[8]，它使用不同的聚合函数聚合来自邻居的信息，如GCN [13]和GraphSAGE [10]中的mean/max/LSTMpooling，GIN [33]中的sum-pooling，GAT [28]中的注意力机制，SGC [32]观察到GNN的上级性能主要是由于邻居聚合而不是特征变换和非线性，提出了一种简单快速的GNN模型。APPNP [14]通过解耦特征变换和邻居聚合共享类似的想法。
图形生成 已经存在用于图形生成的各种方法。RVAE [20]是一种基于变分自动编码器（VAE）的方法，具有正则化器以确保语义有效性。基于规范化流的方法包括GraphNVP [21]，GraphAF [27]和GraphDF [18]利用可逆神经网络来定义潜在变量和数据点之间的映射。基于生成对抗网络（GANs）[9]的方法，如MolGAN [7]和GCPN [35]，涉及一个生成器和一个鉴别器，其中生成器经过对抗训练以欺骗鉴别器。
从图的生成过程来看，可以分为一次生成和迭代生成。RVAE和MolGAN直接生成邻接矩阵，而GraphAF，GraphDF和GCPN通过顺序添加新节点和边来生成图形。虽然我们提出的RG-Explainer是一种迭代生成方法，但RG-Explainer与图生成方法的不同之处在于，上述方法从空中生成图，而RG-Explainer需要动态选择合适的子图来解释预测。
基于RL的图组合优化。随着深度强化学习在游戏中的成功[22]，研究人员试图将RL技术用于图组合优化问题[6，19，39，25]。具体来说，S2 V-DQN [6]使用深度Q学习和图嵌入来学习最小顶点覆盖，最大割和旅行商问题的有效算法。在[19]中提出了一种图指针网络来有效地解决TSP。此外，Seal [39]学习启发式方法来检测具有策略梯度的图中的社区。请注意，解释GNN也是一个组合优化问题。因此，在本文中，我们提出了一个基于RL的框架，有三个专门的步骤来生成解释。
图神经网络中的事后分析。通过将现有的图像/文本解释技术扩展到图，提出了一些基于梯度的方法[23，1]来研究图中节点和边的重要性。然而，它们的性能已被证明是次优的[34]，因为它们不能包含图的特殊属性。
GNNExplainer [34]是第一个提出来解释训练的GNN的具体方法。它定义的问题作为一个优化任务，最大限度地提高预测的标签和可能的子图的分布在一定的约束下的互信息。在问题设置之后，PGExplainer [17]利用经过训练的GNN生成的表示，并采用深度神经网络来学习关键节点/边。这些方法都利用连续松弛的边缘，并添加大小和熵的限制，使解释小，稀疏。具体来说，他们优化软掩模矩阵的边缘，并选择关键节点/边缘的阈值。然而，它们独立地计算每条边的重要性，这可能导致具有信息冗余的断开的解释图。我们的模型顺序添加重要节点从邻居的当前生成的图，它考虑了信息已经涉及到当前图，并确保连通性。
SubgraphX [37]使用Monte Carlo树搜索和Shapley值作为评分函数来找到最佳连接子图作为GNN的解释。因果筛选[31]是另一种基于搜索的方法，但它使用贪婪搜索和因果关系度量来生成解释。与基于搜索的方法不同，启发式通常是手工制作的，我们的方法使用RL从数据中学习启发式，这可以广泛适用。此外，我们的基于学习的方法可以通过一小部分实例进行训练，并且比基于搜索的方法更快地推断出许多其他类似的未见过实例的解释。
与实例级解释不同，还存在模型级解释，以研究预测的一般模式。例如，XGNN [36]利用图形生成器在模型级解释GNN。特别地，实例级解释器解释特定给定实例的预测，而模型级解释器是独立于输入的并且不太精确。