Equivariant Subgraph Aggregation Networks

EQUIVARIANT SUBGRAPH AGGREGATION NETWORKS

基本信息

博客贡献人

小钻风

作者

Beatrice Bevilacqua，Fabrizio Frasca，Derek Lim，Balasubramaniam Srinivasan，Chen Cai，Gopinath Balamurugan，Michael M. Bronstein，Haggai Maron

标签

MPNNs ；1-WL；Graph Neural Networks；subgraphs

摘要

消息传递神经网络(MPNNs)是在图结构数据上进行深度学习的领先架构，很大程度上是因为它们的简单性和可伸缩性。但是，这些架构的表达能力是有限的。本文提出了一种新的框架，等变子图聚合网络(ESAN)来解决这个问题。虽然MPNN可能无法区分两个图，但它们通常包含可区分的子图。因此，作者建议将每个图表示为由一些预定义策略派生的一组子图，并使用合适的等变架构来处理它。作者开发了一维Weisfeiler-Leman (1-WL)的新变体用于图同构测试，并证明了这些新的WL变体在ESAN表达性上的下界。作者进一步证明ESAN能提高mpnn和其他更具表现力架构的表达能力。此外，ESAN还提供了理论结果，描述了如何设计选择如子图选择策略和等变神经架构。为了解决增加的计算成本问题，作者提出了一种子图抽样方案，它可以被视为作者提出的框架的随机版本。在真实和合成数据集上的一组综合实验表明，作者的框架提高了主流GNN架构的表达能力和整体性能

问题定义

作者提出了一种新的等变子图聚合网络（ESAN）来改善图网络的表达能力，使之能完成WL测试。与以前的工作最大的差异在于在解决问题的同时也能减小运算空间和内存消耗，并且也能够通过与GCN，GIN这种常见网络结合，提高它们的准确率。

方法

方法架构图

一直以来message-passing机制都认为是图神经网络的基本，但有时这种机制并不能完全通过WL同构图测试。在以往的工作中虽然有很多解决这个问题的方法，但作者认为他们都不够高效，消耗空间。因此，作者设计了一种新型等变子图聚合网络（Equivariant Subgraph Aggregation Networks ，ESAN）。大体思路是找到可区分的子图。对这些子图进行编码，可以发现这些编码能够产生更好的表达能力。这个区别可以通过下图示例表示：

左边表示图无法通过WL测试。右边表示如果删除边得到一些子图，改变了图本身的结构，将这些结构看做包信息，这些包信息就能够极大区分图上的不同节点。作者认为一个图是可以看做由若干子图拼接出来的，因此最好的方法是设计一个同时能区分子图，又能融合这些子图的网络。ESAN的设计包括两个基本的结构，第一个是处理子图包的神经网络架构，第二个是子图选择策略。其中，引出一个新问题，怎么去初始化这些被选择的子图？因此，子图选择策略也是一个重点。

方法描述

按照常规套路，先定义一个图G=(A,X)，A$\in$$R^{n\times n}$是邻接矩阵，X$\in$$R^{n\times d}$是节点特征矩阵，主要思想是将图G看做一个其子图的包（多重集合）$S_G$={{$G_1$,…,$G_2$}}，在图上的预测可以看做是基于这个集合的预测。因此，这里就有两个问题：1. 怎么定义? 2.怎么采样子图?

首先考虑怎么定义这个映射关系。对于这群子图，作者采用以DSS-GNN为基础的图网络。由于子图的产生是一系列选择动作变化得到的结果，如图所示：

左图会被分解成几个小子图，分别按照边删除策略得到右边的包及矩阵，那么可以通过最右边展示的矩阵相互交叉得到一些连接关系的组合。图G的子图的包$S_G$={{$G_1$,…,$G_2$}}被标示成tensor($\mathcal{A}$,$\mathcal{X}$)$\in$$R^{n\times n\times m}\times$$R^{n\times d\times m}$,节点数n和子图数m是固定的。$\mathcal{A}$$\in$$R^{n\times n\times m}$是一组m个邻接矩阵，$\mathcal{X}$$\in$$R^{n\times d\times m}$是一组m个节点的特征矩阵。
将子图分割开以后，自然就要考虑如何刻画这些子图，这里采用了DSS-GNN的结构，如图所示：

DSS-GNN 架构由三个块组成：特征编码器、读出层和集合编码器。等变层：采用孪生网络的方式来共享子图成分，具体来说，这里有两个图编码器，橙色（孪生组件）和黄色部分。每个这样的层都由一个孪生组件组成，该组件独立地将线性 P -等变层应用于每个集合元素，以及一个信息共享组件，将不同的线性 P -等变层应用于集合中所有元素的聚合。

本文提出了四种简单的子图选择策略：节点删除子图（ND）、边删除子图（ED）、ego网络（EGO）、EGO+
节点删除子图（ND）：图被映射到包含所有子图的集合，这些子图可以通过删除单个节点从原始图中获得。
边删除子图（ED）：图被映射到包含所有子图的集合，这些子图可以通过删除单条边从原始图中获得。
ego网络：将每个图映射到一组特定深度的自我网络，图中的每个节点对应一个自我网络。
EGO+：考虑根节点。

实验

实验设置

部分dataset

	NCI1	MUTAG	PTC	Mutagenicity
图总数	4110	188	344	4337
平均节点数	29.87	17.93	25.5
节点类别（特征）	37	7	19
平均边数	32.3	19.79	14.69
边类别	3	11
图类别	2	2	2
最大节点数	109	28
边数		7442		266894
节点总数		3371		131488

1.MUTAG 数据集中含有 188 种化合物，并根据其是否含有诱导有机体突变的物质而分成两类，具有诱变性质的物质有125 种，称之为正类；没有诱变性质的物质有63 种，称之为负类。每个化合物用一个图表示，图中的节点表示化合物的原子，边表示原子之间的键。

2.PTC 数据集中含有417 种化合物，并根据这些化合物对某种特定的生物是否具有致癌作用而将其分成两类，具有致癌作用称为正类，不具有致癌性称为负类。PTC_MM、PTC_FM、PTC_MR、PTC_FR 分别指将这417 种化合物在雄性大老鼠（Male Mouse）、雌性大老鼠（FemaleMouse）、雄性小老鼠（Male Rat）、雌性小老鼠（Female Rat）上进行实验的结果。为了实验具有代表性，从417 种化合物中选取标有P 的化合物为正类，标有N 的化合物为负类组成数据集进行实验。PTC_MM、PTC_FM、PTC_MR、PTC_FR 中图的平均节点数分别为25.05、25.25、25.56、26.08，平均边数为25.39、25.62、25.96、26.53。

3.NCI 包含60 个数据集，每个数据集中均包含有上千种化合物，总共记录了近七万种化合物对60 种人类肿瘤细胞株是否具有抑制作用。具有抑制作用的称为正类，不具有抑制作用的称为负类。NCI 数据集中的化合物含有的节点和边数相差较大，最大的化合物含有的节点数高达109 个。相对于数据集MUTAG 和数据集PTC，数据集NCI 更大，且正类和负类的比值更加平衡。

实验结果及分析

最大节点度数，如果是稀疏图的话这个值就会很低，因此其他方法在稀疏图上可能不能占便宜。如果实现定义了节点选择策略，那么。这个时候就和GSN一样了。但是GSN需要额外的预处理操作，而本文的方法不需要，因此从这个层面上来说，本文的方法还是很高效的。

灰色格子标识作者使用了这套框架以后，模型能在原有基础框架上改进有所提高效果。红色表示最好的结果，紫色表示次好，黑色表示第三好的结果。另外，之前有说道每一次epoch去多少个子图，这个在附录里作者也有分析。实际上对于不同的数据集子图采样的个数是没有一个规律可循的。RDT-B这个数据集似乎太大了，作者就放过了几个实验指标。

相关知识链接

下载

https://github.com/beabevi/ESAN

基础知识

基准实验涉及的论文

GIN:How powerful are graph neural networks?
PNA:Principal neighbourhood aggregation for graph nets
DGN:Directional graph networks
SMP:Building powerful and equivariant graph neural networks with structural message-passing
HIMP:Hierarchical inter-message passing for learning on molecular graphs
GSN:Improving graph neural network expressivity via subgraph isomorphism counting
CIN-SMALL:Weisfeiler and lehman go cellular: CW networks

方法组件涉及的论文

DSS:On learning sets of symmetric elements
Deep sets
Pointnet: Deep learning on point sets for 3d classification and segmentation

相关工作涉及的论文

Counting substructures with higher-order graph neural networks: Possibility and impossibility results
Autobahn: Automorphism-based graph neural nets
Weisfeiler–leman, graph spectra, and random walks

后续研究涉及的论文

Factorizable graph convolutional networks
Small relu networks are powerful memorizers: a tight analysis of memorization capacity
Global attention improves graph networks generalization

总结

亮点

[不足]

此框架主要局限性在于其相对于标准 MPNN 增加了计算复杂性。

[启发]

几点可以继续深入的方向：1）更好的子图选择策略，用来提高分类准确率；2）更高阶的子图表征方法，使得结构信息能更完善地被捕捉；3）对网络更理论的分析，尤其是不同子图选择方法和聚合函数的分析。

BibTex

@inproceedings{bevilacqua2022equivariant,
title={Equivariant Subgraph Aggregation Networks},
author={Beatrice Bevilacqua and Fabrizio Frasca and Derek Lim and Balasubramaniam Srinivasan and Chen Cai and Gopinath Balamurugan and Michael M. Bronstein and Haggai Maron},
booktitle={International Conference on Learning Representations},
year={2022},
}