万能的图神经网络解释器 GNNExplainer

GNNExplainer: Generating Explanations for Graph Neural Networks

作者信息: 纪厚业,北京邮电大学博士生,主要关注异质图神经网络及其应用.

知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/c_1158788280744173568

个人公众号 图与推荐

本文由斯坦福Jure组发表在NeurIPS2019上. 一作Rex Ying也是著名的GraphSAGE的作者. 代码和数据 https://github.com/RexYing/gnn-model-explainer

Introduction

图神经网络(Graph Neural Network), 作为深度学习领域最热门的方向之一,相关论文在各大顶会层出不穷. 但是,图神经网络的解释性问题没有得到较多的关注.图神经网络的解释性是非常有必要的:(1) 提升了GNN的可信程度. (2) 在一些注重公平性,隐私性和安全性的决策应用,可以提升决策的透明度. (3)可以更好的理解图本身的特性.

虽然一些基于Attention机制的模型(如Graph Attention Network)可以一定程度上对GNN进行解释. 但是,作者认为它们有两个问题: (1)GAT可以学习节点之间关系的权重,但是其只能实现对结构的进行解释而无法通过特征的角度进行解释. (2) 节点的1-hop邻居和2-hop邻居可能有重叠,GAT会学习到同一对节点之间的不同权重.这时候到底该用那个无法抉择.

因此, 本文提出了GNNExplainer可以从网络结构和节点属性的角度来对任意图神经网络和任意图挖掘任务生成解释. GNNExplainer旨在探寻与预测结果最相关的子图结构来实现对结果的解释,其中Graph Mask和Feature Mask可以分别对实现对结构和特征的筛选.

上图给了一个如何对GNN预测的节点分类(Basketball和Sailing)的结果进行解释.针对节点$v_i$及其label篮球,其邻居中很多人都喜欢球类也有一些喜欢非球类, GNNExplainer可以自动的找到邻居中都喜欢球类的这些人. 同样的,针对节点$v_j$,GNNExplainer也可以发现其好友中同样喜欢水上/沙滩类运动的好友.

Model

作者首先归纳了GNN的三个步骤: (1)MSG, 构建节点之间需要传递的消息. (2)AGG,收集节点相关的消息. (3)UPDATE, 更新节点表示. 下图解释了GNNExplainer要做的事情: 自动发现重要的消息和特征.

Explanation via Structural Information

假定被选择的与模型预测结果$Y$最相关的的结构和特征分别为$G_s$和$X_s$, 那么其重要性可以用互信息$MI$来衡量:
$$\underset{G_S}{\max }MI\left(Y,\left(G_S,X_S\right)\right)=H(Y)-H\left(Y|G=G_S,X=X_S\right)$$
上式中的, $H(Y)$是常数,因为GNNExplainer是在训练好的GNN上模型上进行解释.上式等价于最小化条件熵$H\left(Y|G=G_S,X=X_S\right)$:
H