ICLR 2020 开源论文 | 隐空间的图神经网络：Geom-GCN

作者丨纪厚业

学校丨北京邮电大学博士生

研究方向丨异质图神经网络及其应用

引言

图神经网络（Graph Neural Network）已经成为深度学习领域最热⻔的方向之一。作为经典的 Message-passing 模型，图神经网络通常包含两步:从邻居节点收集消息 message，然后利用神经网络来更新节点表示。但是 Message-passing 模型有两个基础性的问题：

1. 丢失了节点与其邻居间的结构信息：

• 主要指拓扑模式相关的信息；

• GNN 的结构捕获能力已经有了相关论文，下图来自 19 ICLR GIN How Powerful are Graph Neural Networks。

2. 无法捕获节点之间的⻓距离依赖关系：

• 大多数 MPNNs 仅仅聚合 k 跳内的节点邻居消息来更新节点表示。但是，图上两个节点可能具有相似的结构（社区中心、桥节点），即使他们的距离很远；

• 可能的解法是将现有的 GNN 堆叠多层，但是这可能带来过平滑问题。

针对上述问题，本文提出了一种 geometric aggregation scheme，其核心思想是：将节点映射为连续空间的一个向量（graph embedding），在隐空间查找邻居并进行聚合。 

本文的主要贡献：

• 提出了一种 geometric aggregation scheme，其可以同时在真实图结构/隐空间来聚合信息来克服 MPNNs 两个基础性缺陷；

• 提出了一种基于 geometric aggregation scheme 的图神经网络 Geom-GCN；

• 实验验证了模型的效果。

模型

Geometric Aggregation Scheme 

如下图所示，Geometric aggregation scheme 主要包含 3 个部分：node embedding (panel A1-A3)，structural neighborhood (panel B) 和 bi-level aggregation (panel C)。

A1->A2：利用 graph embedding 技术将图上的节点（如节点 v）映射为隐空间一个向量表示 。 

A2->B1：针对某一个节点 v（参看 B2 中的红色节点）周围的一个子图，我们可以找到该节点的一些邻居