论文《Geom-GCN：Geometric Graph Convolutional Networks》笔记

【Geom-GCN】现有的MPNNs方法具有两个基本弱点：①丢失邻域节点的结构信息；②缺乏捕获非同配性图的长距离依赖的能力。本文从经典神经网络和网络几何学的观察出发，提出了一种新的几何聚合方案，该方案利用图背后的连续空间进行聚合，以克服上述弱点。本文将几何聚合方案应用于图卷积网络，提出Geom-GCN，用于执行图上的归纳学习。Geom-GCN通过节点嵌入、结构邻域和双层聚合三个模块来实现。

本文发表在2020年ICLR会议上，第一作者学校：吉林大学，引用量：1016。

ICLR会议简介：全称International Conference on Learning Representations（国际学习表征会议），深度学习顶会。

查询会议：

• 会伴：https://www.myhuiban.com/

• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://arxiv.org/abs/2002.05287
• 开源代码：https://github.com/alexfanjn/GeomGCN_PyG

 

0、核心内容

背景：传统的信息传递神经网络（MPNNs）已成功应用于多种实际应用中的图表示学习，但存在两个基本弱点：丢失邻域节点的结构信息和缺乏捕获非同配性图中长距离依赖的能力。

问题：现有的MPNNs聚合器在处理图结构数据时，由于其排列不变性的要求，导致无法区分某些非同配图，并且难以捕获图中的长距离依赖。

方法：作者从经典神经网络和网络几何学的观察出发，提出了一种新颖的几何聚合方案，称为Geometric Aggregation Scheme。该方案利用图背后的连续空间进行聚合，以克服上述弱点。

实现：作者将几何聚合方案应用于图卷积网络，提出了一种新的网络——Geom-GCN，用于执行图上的归纳学习。Geom-GCN通过节点嵌入、结构邻域和双层聚合三个模块来实现。

实验：通过在多个开放图数据集上的实验，结果表明Geom-GCN达到了最先进的性能。

贡献：

• 提出了一种新颖的几何聚合方案；
• 实现了Geom-GCN用于图上的归纳学习；
• 通过广泛的比较实验验证了Geom-GCN的性能。

细节：

• 节点嵌入：将图中的节点映射到一个潜在的连续空间中，以保持图的结构和属性。
• 结构邻域：基于图和潜在空间构建结构邻域，该邻域包括图中的邻接节点和潜在空间中的距离中心节点小于预给参数$\rho$的节点。
• 双层聚合：在结构邻域上提出了一种新颖的双层聚合方案，用于更新图神经网络中节点的隐藏特征，同时保证排列不变性。

结论与未来工作：作者提出了通过图嵌入将离散图桥接到连续几何空间的方法，并通过实验验证了其优势。未来的工作将探索选择合适嵌入方法的技术，并考虑输入图和目标应用的需求。

 

1、Geometric Aggregation Scheme

图1：几何聚合方案的说明。

• A1-A2：原始图被映射到一个潜在的连续空间
• B1-B2：B1中所有相邻的节点都位于一个中心节点周围的一个小区域内，以便于可视化；在B2中，图中的邻域包含了图中所有相邻的节点，潜在空间中的邻域包含半径为$\rho$的虚线圆内的节点。关系算子$\tau$由一个彩色的3×3网格表示，其中每个单元对应于与红色目标节点的几何关系。
• C：在结构邻域上的双级聚集。虚线和实心箭头分别表示低级和高级聚集；蓝色和绿色箭头分别表示图中邻域和潜在空间上的聚集。

① 节点嵌入（Node embedding）

节点嵌入是将图中的节点映射到一个潜在的连续空间的过程，这个空间可以捕捉和表示图中的结构和属性。具体来说，节点嵌入包括以下几个步骤：

定义映射函数：首先定义一个映射函数$f:v\to z_v$，它将图中的每个节点$v$映射到潜在空间中的一个向量$z_v$。在潜在空间中，$z_v$