On Explainability of Graph Neural Networks via Subgraph Explorations 要点提炼

 

 

1.摘要

我们考虑解释图神经网络的预测的问题，该问题被认为是黑盒。现有的方法总是侧重于解释图的节点或边的重要性，而忽略了图的子结构，但是它更直观，更容易被人理解。于是本文做了以下工作：
1）提出SubgraphX模型去解释GNN在识别重要子图的作用。具体来说是给定训练好的GNN模型和输入图数据，结合蒙特卡罗树搜索法（Monte Carlo tree search），利用SubgraphX模型去解释GNN的预测性
2）为了使树搜索算法更加有效，使用Shapley值作为子图重要性的度量，该值还可以捕获不同子图之间的相互作用。
3）为了加快计算速度，我们提出了计算图形数据Shapley值的有效逼近方案。
我们认为子图级解释更直观和有用，因为子图可以是复杂图的简单构建块，并且与图的功能高度相关

2.相关工作

GCN,GAT,GIN等图神经网络的主要原理通常是遵循一种信息聚合方案，即通过聚合和组合目标节点的邻近节点的特征来获得目标节点的特征。
目前的解释方法包括：
1）基于梯度/特征的方法：这类方法通常将现有的图像解释技术扩展到图域。虽然这些方法简单有效，但它们不能结合图数据的特殊属性。
2）分解法：通过将原始模型预测分解成若干项并将这些项与图节点或边联系起来来解释gnn。这些方法通常遵循反向传播的方式逐层分解预测，直到输入层。
3）替代法：对原始预测的解释
4）基于扰动的方法：它通过干扰不同的输入特征来监控预测中的变化，并识别出对预测影响最大的特征，其中识别方法可以利用优化后的mask可以识别重要的边缘和特征。
5）基于生成的方法

mask（掩码、掩膜）是深度学习中的常见操作。简单而言，其相当于在原始张量上盖上一层掩膜，从而屏蔽或选择一些特定元素，因此常用于构建张量的过滤器

3.SubgraphX模型

研究图的子结构是逆向工程和理解gnn的潜在机制的关键一步。此外，子图更加直观和易于理解，同时，由于GNN非常复杂，节点/边的重要性不能直接转化为子图的重要性。此外，这些方法忽略了不同节点和边之间的相互作用，其中可能包含重要信息。因此，在这项工作中，我们提出了一种新的方法 SubgraphX,此外，通过结合Shapley值，我们的方法可以在提供解释时捕获不同图结构之间的相互作用时。
将f(.)看作图分类模型，输入图G，得到分类结果y，解释的目标是找到对于y最重要的子图。由于不连通节点很难理解，我们只考虑连通子图，以使解释更便于理解。连接子图的集合G被定义为，对输入图G的预测y的解释可以定义为：
 

 其中Score(·，·，·)是一个评分函数，用于评估给定训练的GNN和输入图的子图的重要性。我们用Nmin作为子图大小的上界，使所得到的解释足够简捷。获得G *的一个简单方法是列举所有可能的Gi，并选择最重要的一个作为解释。然而，当图是复杂的和大规模的时候，这种暴力搜寻方法是难以处理的。因此，在这项工作中，我们提出合并搜索算法（ incorporate search algorithms）来有效地探索子图。具体来说，我们建议采用蒙特卡洛树搜索(MCTS) 作为搜索算法。此外，由于GNN中的信息聚合过程可以理解为不同图结构之间的相互作用，我们提出使用Shapley值作为评分函数，通过考虑这种相互作用来衡量不同子图的重要性。我们在图1中说明了我们提出的SubgraphX,其中得分最高的子图作为对输入图G的预测y的解释。值得关注的是，我们提出的SubgraphX可以很容易地扩展以使用其他搜索算法和评分函数

图1 我们提出的SubgraphX的插图。底部显示了搜索树中从根到叶的一条选定路径，它对应于MCTS的一次迭代。对于每个节点，其子图通过蒙特卡罗抽样计算Shapley值来计算。在这个例子中，我们展示了对中间节点(在红色虚线框中显示)的Shapley值的计算，其中三个被采样来计算边缘贡献。请注意，为简单起见，将忽略未选中的节点。

1. 通过MCTS进行子图探索
建立一个搜索树，其中根与输入图相关联，其它的每个节点对应一个连通子图。我们的搜索树中的每条边表示，与一个子节点相关联的图可以通过从与其父节点相关联的图执行节点剪枝来获得。
搜索树中的节点定义为，其中定义根节点为,搜索树的边表示剪枝行为a，其中每个节点都有多种剪枝方式，这些剪枝方式由数据集或是领域知识所定义，然后通过MCTS算法记录搜索次数和收获值的统计数据来指导搜索，减少搜索空间。
特别地，对于节点和剪枝行为对，假设子图Gj是子图Gi通过剪枝aj获得。于是MCTS算法针对记录了四个变量值，分别是：

• 表示对于节点Ni的剪枝aj的搜索次数
• 是所有访问的收获值
• 表示多次访问的平均收获值。
• 是在Ni选择aj的直接收获值，该值用于衡量子图Gj的重要性，我们提出

在每次迭代中，MCTS选择从根节点N0到叶节点的一条路径。需要注意的是叶节点由子图中的节点数量（如）所决定。形式上，节点Ni的剪枝行为选择准则定义为:
​​​

其中λ是一个超参数，用来控制搜索和采用之间的权衡值。此外，用来表示Ni所有可能剪枝行为的总访问次数。然后子叶节点的子图被用于评估重要性分数，定义为。最后，路径中选中的所有节点和剪枝行为对根据以下公式进行更新：

经过多次迭代搜索，我们从叶子中选择得分最高的子图作为解释。
注意，在早期的迭代中，MCTS倾向于选择访问次数较低的子节点，以便探索不同可能的剪枝操作。在以后的迭代中，MCTS倾向于选择产生更高回报的子节点，即更重要的子图。
在我们的提议SubgraphX中，MCTS奖励和解释选择都高度依赖于评分函数Score(·，·，·)。适当地度量不同子图的重要性是至关重要的。一种可能的解决方案是直接将子图输入训练过的gnn f(·)，并使用预测的分数作为重要分数。但是，它不能捕获不同图结构之间的相互作用，从而影响解释结果。因此，在本研究中，我们建议采用Shapley值作为评价函数
Shapley值是合作博弈论中的一个求解概念，用于将总博弈收益公平分配给不同的博弈参与者。为了将其应用到图模型解释任务中，我们使用GNN预测作为游戏增益，使用不同的图结构作为玩家。
形式上，给定m个节点的输入图G和训练的GNN f(·)，我们研究了k个节点的目标子图Gi的Shapley值。假设图G的所有节点集合为,子图Gi的节点集合为，图G其余节点集合为。
玩家集合定义为，其中考虑子图Gi单独作为一名玩家。最终，玩家Gi的Shaley值为：

其中S是参与者（除去Gi）的可能联合集合。需要注意的是，m(S,Gi)代表了玩家Gi给予联合集合S的边缘贡献。它可以通过合并Gi和不合并Gi的预测差值来计算。得到的Shapley值φ(Gi)考虑了所有不同的联合来捕获交互性。它是唯一满足效率、对称、线性和假公理dummy axiom四个理想公理的解，能保证解释的正确性和公正性。
然而，使用方程式计算Shapley值。因为它列举了所有可能的联合，特别是对于大规模和复杂的图(6)和(7)是耗时的。因此，在本研究中，我们提出加入GNN体系结构信息f(·)来有效地近似Shapley值

3.图启发的高效计算
在图神经网络中，目标节点的新特征是通过从有限的邻近区域聚集信息来获得的。假设在图模型f(·)中有L层GNN，则仅使用L-hop内的邻近节点进行信息聚合。值得注意的是，可以将信息聚合模式视为不同图结构之间的交互。因此，子图Gi主要与L-hop内的邻点相互作用。基于这些观测结果，我们提出仅考虑G的L-hop内邻近节点来计算其Shapley值。
具体地说，假设在子图Gi的L -hop邻域内存在r (r≤m-k)个节点，我们将这些节点记为。那么我们需要考虑的新博弈参与者集合表示为。通过合并, Gi的Shapley值可以定义为：

但是，由于图数据比较复杂，不同节点的邻居数量也不尽相同，所以中仍可能包含大量的参与者，从而影响计算效率。因此，在SubgraphX中，我们进一步修正了蒙特卡罗抽样(Monte-Carlo sampling)来计算φ(Gi)。具体来说，对于抽样步骤i，我们从参与者集合中抽样一个联盟集合Si，并计算其边际贡献，然后将多个采样步骤的平均贡献分数视为φ(Gi)的近似。形式上，可以写成：

其中T是总的抽样步骤数。此外，为了计算边际贡献，我们采用了零填充策略。具体地说，为计算，我们考虑了不属于联盟或子图的节点集合，并将其中的节点特征设为全零。然后我们将新图输入到GNNs f(·)，并使用预测率作为。同理，我们可以通过设置节点集合V \ Si为零特征，并输入gnn来计算（9）式的后项。
值得注意的是，以上零填充策略我们只修改节点特征，而不是从输入图中删除节点（即保留原有的图拓扑结构），因为图对结构变化非常敏感。
最后，我们总结了算法1和算法2中所提出的SubgraphX的计算步骤。注意，在MCTS中，Nmin决定了停止条件，我们可以根据需要从搜索树的内部节点中选择特定大小的子图。

4.SubgraphX用于通用图形任务
我们以图分类模型为例描述了我们提出的SubgraphX。值得注意的是，我们的SubgraphX可以很容易地泛化来解释其他任务上的图模型，比如节点分类和链接预测。

• 对于节点分类模型，解释目标是给定输入图G的单个节点vi的预测。假设GNN模型中有L层，vi的预测仅依赖于其L-hop计算图，记为Gc。相比探究输入图G，SubgraphX将Gc作为搜索树根节点N0的相关图。此外，当计算边缘贡献值时，零填充策略应该包括目标节点vi。
• 对于连接预测任务时，解释目标是单链路(v i ,v j )的预测。然后搜索树的根对应于节点vi和vj的L -hop计算图。同样，零填充策略在修改节点特征时忽略vi和vj。

要注意的是，SubgraphX在解释阶段将GNNs视为黑盒，只需要观察输入和输出。因此，我们提出的SubgraphX可以应用于一般的GNN模型家族，包括但不限于GCNs，GATs等