Geom-GCN: Geometric Graph Convolutional Networks

作者: 纪厚业,北京邮电大学博士生,主要关注异质图神经网络及其应用.

Geom-GCN: Geometric Graph Convolutional Networks

知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/c_1158788280744173568

个人公众号 图与推荐

Introduction

图神经网络（Graph Neural Network）已经成为深度学习领域最热门的方向之一。作为经典的Message-passing模型，图神经网络通常包含两步：从邻居节点收集消息message，然后利用神经网络来更新节点表示。但是Message-passing模型有两个基础性的问题：

• 丢失了节点与其邻居间的结构信息。

  • 主要指拓扑模式相关的信息。

  • GNN的结构捕获能力已经有了相关论文。下图来自19ICLR GIN How Powerful are Graph Neural Networks

    

• 无法捕获节点之间的长距离依赖关系。

  • 大多数MPNNs仅仅聚合k跳内的节点邻居消息来更新节点表示。但是，图上两个节点可能具有相似的结构（社区中心、桥节点），即使他们的距离很远。
  • 可能的解法是将现有的GNN堆叠多层，但是这可能带来过平滑问题。

针对上述问题，本文提出了一种geometric aggregation scheme，其核心思想是：将节点映射为连续空间的一个向量（graph embedding），在隐空间查找邻居并进行聚合。

本文的主要贡献：

• 提出了一种geometric aggregation scheme，其可以同时在真实图结构/隐空间来聚合信息来克服MPNNs两个基础性缺陷。
• 提出了一种基于geometric aggregation scheme的图神经网络Geom-GCN。
• 实验验证了模型的效果。

Model

Geometric aggregation scheme

如下图所示，Geometric aggregation scheme主要包含3个部分：node embedding (panel A1-A3)，structural neighborhood (panel B) 和 bi-level aggregation (panel C)。

A1->A2： 利用graph embedding技术将图上的节点(如节点$v$)映射为隐空间一个向量表示${\mathbf{z}}_v$。

A2->B1：针对某一个节点$v$（参看B2中的红色节点）周围的一个子图，我们可以找到该节点的一些邻居 N ( v ) = ( { N g ( v ) , N s ( v ) } , τ ) \mathcal{N}(v)=\left(\left\{N_{g}(v), N_{s}(v)\right\}, \tau\right) N(v)=({ Ng​(v),Ns​(v)},τ)。

B2：圆形虚线（半径为$\rho$）内的节点代表了红色节点$v$在隐空间的邻居 N s ( v ) = { u ∣ u ∈ V , d ( z u , z v ) < ρ } N_{s}(v)=\left\{u | u \in V, d\left(\boldsymbol{z}_{u}, \boldsymbol{z}_{v}\right)<\rho\right\} Ns​(v)={ u∣u∈V,d(zu​,zv​)<ρ}；圆形虚线外的节点代表了节点在原始图上的真实邻居 N g ( v ) = { u ∣ u ∈ V , ( u , v ) ∈ E } N_{g}(v)=\{u | u \in V,(u, v) \in E\} Ng​(v)={ u∣u∈V,(u,v)∈E}。既然节点已经表示为向量，那么不同节点之间就有相对关系。在B2的3x3网格内，不同节点相对于红色节点有9种相对位置关系$r_1,...,r_9$