南洋理工大学最新发布开源图神经网络基准

 

作者

 

介绍

 

最近的许多研究让我们看到了图形神经网络模型（GNN）的强大潜力，许多研究团队也在不断改进和构建基础模块。但大多数研究所使用的数据集都很小，如Cora和TU，在这种情况下，即使是非图神经网络的性能也相当可观。只有使用中等大小的数据集进行进一步比较，图形神经网络的优势才会变得明显。

 

在斯坦福图形神经网络bull Jure等人发布“开放图形基准”之后，又一项旨在构建“图形神经网络图像网”的研究应运而生。近日，来自南洋理工大学、洛约拉·马里蒙特大学、蒙特利尔大学、米兰大学等机构的论文已提交到该平台的预印本上，这项新的研究得到了深造先锋Yoshua Bengio的参与，也得到了Yann LeCun的关注。

 

在该研究中，作者同时介绍了六个中型基准数据集（12k-70k图，8-500节点），并测试了一些有代表性的图神经网络。除了只使用节点特征的基线模型外，图神经网络还分为两类，有无边对边注意。GNN研究界一直在寻找一个共同的基准来评估新模型的能力，这个工具可以让我们实现我们的目标。

 

方法

 

 

这项工作的目标之一是提供一个易于使用的中型数据集，在这个数据集上，过去几年提出的不同GNN体系结构的性能有着显著的不同。同时，从统计角度来看，这些差异相当显著。基准包含6个数据集，如表1所示：

 

对于这两个计算机视觉数据集，来自经典MNIST（LeCun et al.，1998）和CIFAR10（Krizhevsky et al.，2009）数据集的每个图像都使用所谓的超级像素变换来映射。

 

下一个任务是对这些数字进行分类。在模式和集群数据集中，图形是基于随机块模型生成的。这些任务包括标识特定的子图结构（模式数据集）或标识集群（集群数据集）。这些都属于节点分类的任务。

 

Tsp数据集是基于销售人员旅行的问题,假设有一个城市列表，访问每个城市并返回原始城市的最短路径是什么？

 

将随机欧氏图上的TSP问题作为边界分类或连接预测任务。协和解算器给出的TSP旅行中每个边界的真实值属于现实世界中已经存在的分子数据集。每个分子都可以转换成一个图形：每个原子可以成为一个节点，每个键可以成为一个边。

• 基准测试设置

GatedGCN选通卷积网络（Bresson&Laurent，2017）是最后一个正在考虑中的GNN。如果在数据集中可用，GatedGCN-e使用边缘属性/特征表示版本。此外，作者还实现了一个不使用图结构的简单基线模型。它使用MLP作为并行情况下每个节点的特征向量，并且与其他节点无关。

 

这是后续的可选选通机制，用于获取选通MLP基线（有关详细信息，请参阅补充资料）。作者在Nvidia 1080Ti GPU上进行了MNIST、CIFAR10、zn和TSP的实验，并在nvidia2080tigpu上进行了图形和簇的实验。

 

• 图形分类与超像素数据集

本节使用计算机视觉中最流行的MNIST和CIFAR10图像分类数据集。超分辨率格式为SLIC（Knyazev等人，2019）。MNIST有55000个训练/5000个验证/10000个测试图，节点在40-75之间（即超级混合数）。CI-FAR10有45000个训练/5000个验证/10000个测试图，节点数为85-150。

表2:不同方法在基于MNIST和CI-FAR10的标准测试集上的测试结果（值越高越好）。结果是使用4种不同种子的4次运行结果的平均值。红色是最好的等级，紫色是最高的等级。粗体表示剩余链接和非剩余链接之间的最佳模型（如果两个模型处于同一级别，则均以粗体显示）

 

• SBM数据集上的节点分类

 

研究者考虑了节点级图模式识别任务和半监督图聚类任务。为了在图形模式识别过程中找到一个固定的图形模式P，将其嵌入到一个较大的图形G中。

 

半监督聚类任务是网络科学中的另一个重要任务。研究人员为上述两项任务生成了相应的数据集。

 

 

 

• 图回归与分子数据集

 

ZINC分子数据集用于限制溶解度分子性质的回归分析。这里ZINC有10000个训练/1000个验证/1000个测试图，节点/原子数为9-37。对于每个分子图，节点特征是原子类型，边缘特征是边缘类型。

• 边缘分类是TSP数据级别

 

TSP（旅行商问题）是指旅行商问题：给定一个二维欧氏图，该算法需要找到一个名为Tour的最优序列节点。它应该有最小的侧重。TSP的大规模特性使得它成为一个具有挑战性的图任务，需要对局部节点的邻域和全局图结构进行推理。

 

更重要的是，组合优化问题也是GNN中一个具有研究意义的应用场景。研究这类问题不仅在现实中有着广泛的应用，而且对于理解图模型的优化和学习过程以及图网络的局限性具有重要意义。

 

在基准测试中，研究人员采用了基于学习的方法，建立了一个GNN作为骨架网络，对每一条边缘以及是否属于预测结果集进行概率预测。该概率通过图搜索技术转化为离散决策。研究人员分别创建了10000个训练实例和1000个验证和1000个测试实例。

结果

 

在具有和不具有BN（批量归一化）和GN（图形归一化）的ZINC，CIFAR10和CLUSTER测试集图上的性能。将4种种子的4次运行结果平均，显示为Acc±s.d。

ZINC越低越好，CIFAR10和CLUSTER越高越好。 

粗体表示在使用和不使用归一化层之间的最佳模型（如果两个模型表现均等，则两个模型均为粗体）。

 

 

论文地址：

https://arxiv.org/pdf/2003.00982.pdf

开源地址：

https://github.com/graphdeeplearning/benchmarking-gnns

 

更多论文地址源码地址：关注“图像算法”微信公众号