[NIPS2020] 参数化的 GNN 解释器

今天解读的论文发表于NeurIPS 2020，通过学习一个参数化的解释器对 GNN 的预测行为加以解释，其参数化的学习过程大大优化了解释器的性能和效率，为我们打开 GNN 这个黑箱模型再次有提供了有效的手段。

• 论文标题：Parameterized Explainer for Graph Neural Network

• 论文地址：https://arxiv.org/pdf/2011.04573.pdf

• 代码地址： https://github.com/flyingdoog/PGExplainer

对图神经网络解释性技术感兴趣的可以看看下面的综述：

[万字长文] 图神经网络的解释性综述

0.摘要

图神经网络的解释性问题目前是一个具有挑战的开放性问题。目前的研究聚焦于单独的处理局部的解释（即重要的子图结构和节点特征），进而解释了为什么 GNN 模型会对单个实例（如节点或图）进行预测。因此生成的解释是为每个实例单独设计的，不足以提供对所学 GNN 模型的全局理解，导致其缺乏通用性，阻碍了其在 inductive 环境中的应用。由于其解释是针对单个实例而设计的，因此同时解释一组实例具有挑战性。

本文作者针对这些关键挑战，提出了 GNN 的参数化解释器 PGExplainer。PGExplainer 利用深度神经网络对解释的生成过程进行参数化处理，能够实现同时对多个实例进行解释。与现有工作相比，PGExplainer 具有较好的泛化能力，可以方便地在 inductive 环境中利用。在合成数据集和真实数据集上的实验表明，与领先的 baseline 方法相比，PGExplainer 在图分类上的 AUC  提高了24.7%，达到了很有竞争力的效果。

1. Introduction

由于 GNN 聚合节点特征和图拓扑来做出预测，因此要对 GNN 的预测做出解释就需要揭示重要的子图和/或一组特征。尽管以往有很多解释性方法用于一般的深度神经网络，但它们无法解释图结构，而图结构对 GNN 至关重要。

GNNExplainer 是斯坦福Jure组发表在NeurIPS2019上的GNN解释模型，本文首先分析 PGExplainer 与 GNNExplainer的异同之处：

GNNExplainer

该解释器的输入是训练好的 GNN 及其预测，为给定实例(例如节点或图)提供解释。输出的解释包括一个子图结构和一小部分节点特征，这些特征在 GNN 对目标实例的预测中是至关重要的。首先，GNNExplainer 提供的解释仅限于单个实例，其解释难以推广到其他未解释的节点，因此难以应用于inductive设置。实例级的单独解释不足以提供对训练好的模型的全面理解，GNNExplainer 必须对每个单独的解释进行再训练，实际场景中需要解释大量节点，因此该方法是耗时且不切实际的。此外，GNNExplainer 的解释是为单个实例而开发的，其解释性的 motifs 并不是以端到端的方式学习，因此不是针对整个 GNN 模型的全局视角，它可能会受到次优泛化性能的影响。如何同时在一组实例上解释 GNN 的预测，并将学到的解释模型推广到 inductive 设置中的其他实例，仍然是现阶段值得探索的困难问题。

对GNNExplainer感兴趣的，可以参考下文：

NeurIPS 2019 开源论文 | 万能的GNN解释器

PGExplainer

PGExplainer 是一个通用的解释，适用于任何基于 GNN 的模型（ transductive 和 inductive）。PGExplainer 使用了图数据的生成概率模型，生成模型能够从观察到的图数据中学习简洁的潜在结构。PGExplainer 揭示这些潜在结构并作为GNN模型的解释，这些结构信息对 GNNs 的预测做出了最大贡献，作者将潜在结构建模为边的分布，解释图对其进行采样。为了综合对多个实例的预测进行解释，本文使用深度神经网络参数化 PGExplainer 的解释生成过程。由于神经网络参数是共享的，PGExplainer 以 GNN 模型的全局视角为每个实例提供模型级解释。此外，PGExplainer 具有更好的泛化能力，因为经过训练的 PGExplainer 模型可以在 inductive 设置中对未解释的节点进行推断，而无需对解释模型进行再训练。

2. Model

fig1

PGExplainer 可以为 GNN 的预测提供人类可理解的解释，MUTAG 是一个图分类数据集，它由4337个分子图组成，所有分子结构被分为两类：mutagenic（诱变类） 和 Nonmutagenic（非诱变类），上图是 PGExplainer 解释器的在分子图数据集 MUTAG 数据集上的解释效果，作为一种事后分析方法，通过分析训练后的GNN模型，生成一个 结构作为解释结果，解释了GNN模型通过识别 结构预测 mutagenic 类分子的过程，这样的解释与事实相符[53,9]，即带有NH2或NO2化学基团的碳环为诱变类分子。

2.1 The learning objective

为了解释 GNN 模型的预测，作者将原始输入图 分为两个子图 ，其中 是对 GNN 的预测做出重要贡献的潜在子图，也就是本文预期的具有解释性的图，而 则由 GNN 其余与预测任务无关的边组成。按[53] 提出的方法，PGExplainer 也通过最大化 GNN 的预测和潜在结构 之间的互信息来找到 ：

其中 是以原始图 为输入的 GNN 模型的预测值。互信息量化了当 GNN 模型的输入图仅为 时，预测值为 的概率。背后的直觉来自于传统的基于前向传播的白盒解释方法。例如，如果去掉一条边 极大地改变了 GNN 的预测，那么这条边是重要的，需要包含在解释图 中。否则，它被认为是 与 GNN 模型预测无关的边。由于 只与 GNN 模型有关，而 GNN 模型的参数在解释阶段是固定的，因此本文的优化目标相当于最小化条件熵 。

然而，由于 有 个候选者，难以实现上述目标函数的直接优化。因此作者使用一个松弛方法，即假设解释图是一个 Gilbert 随机图[15]，从原始输入图 中选择边，并且边之间遵循相互条件独立假设。令