ICML2023基于节点路径更新且可区分同构的GNN模型论文阅读笔记

Path Neural Networks: Expressive and Accurate Graph Neural Networks

作者单位：巴黎综合理工学院联盟

摘要：

图神经网络(gnn)最近已经成为学习图结构数据的标准方法。之前的工作揭示了它们的潜力，但也揭示了它们的局限性。不幸的是，研究表明，标准gnn的表达能力有限。在区分非同构图方面，这些模型并不比一维Weisfeiler-Leman (1-WL)算法更强大。本文提出路径神经网络(PathNNs)，一种通过聚合来自节点的路径来更新节点表示的模型。推导出PathNN模型的三种不同变体，聚合了长度为k的单最短路径、所有最短路径和所有简单路径。证明了其中两种变体严格比1-WL算法更强大，并通过实验验证了理论结果。路径神经网络可以区分1-WL无法区分的非同构图对，而最具表现力的路径神经网络变体甚至可以区分3-WL无法区分的图。

文章总结：

提出了聚合路径表示以生成节点表示的PathNN模型。我们提出了三种不同的变体，专注于单个最短路径、所有最短路径和长度为k的所有简单路径。本文已经展示了一些pathnns，严格来说比1-WL算法更强大。实验结果验证了理论结果。还在图分类和图回归任务上评估了不同的PathNN变体。

文章关键点：

更重要的是，在区分非同构图方面，标准消息传递架构最多与WL算法一样强大。这导致了专注于子图的更复杂模型的开发。其中一些模型受到WL算法的高阶变体的启发。除了子图，还有其他图结构可以提高模型的表达能力。例如，路径可以区分连通图和非连通图，而WL算法无法区分这一特性。不幸的是，在图中找到所有路径是np困难的。然而，有些路径子集可以在多项式时间内计算出来。例如，计算图中的最短路径是一个可以在多项式时间内解决的问题。研究表明，使用节点之间的最短路径距离作为特征的模型可以提供比WL算法更强的表达能力(Li et al.， 2020)。此外，如果将路径长度限制在某个小的整数k内，计算所有有界长度路径的参数化复杂度是可处理的。更重要的是，在区分非同构图方面，标准消息传递架构最多与WL算法一样强大。这导致了专注于子图的更复杂模型的开发。其中一些模型受到WL算法的高阶变体的启发。除了子图，还有其他图结构可以提高模型的表达能力。例如，路径可以区分连通图和非连通图，而WL算法无法区分这一特性。不幸的是，在图中找到所有路径是NP-困难的。然而，有些路径子集可以在多项式时间内计算出来。例如，计算图中的最短路径是一个可以在多项式时间内解决的问题。研究表明，使用节点之间的最短路径距离作为特征的模型可以提供比WL算法更强的表达能力(Li et al.， 2020)。此外，如果将路径长度限制在某个小的整数k内，计算所有有界长度路径的参数化复杂度是可处理的。处理路径的gnn和核。节点之间的最短路径距离已作为结构特征纳入若干GNN架构中。例如，Graphormer将两个节点之间的最短路径距离编码为softmax attention中的偏差项，而其他模型用最短路径中出现的特征注释节点(例如，最短路径距离)。

另一方面，PEGN使用最短路径距离来创建持久图，基于此，节点之间的消息被重新加权。一些模型，如SPMPNN ，并没有聚合每个节点的直接邻居的表示，而是考虑距离该节点正好为k的最短路径距离上的节点。最近提出的一种GNN框架，称为Geodesic GNN，通过聚合两个节点之间的单个最短路径上的节点表示，以及在其任何最短路径上的两个节点的直接邻居，来生成节点对的表示。也许与我们的方法最相关的工作是PathNet模型(Sun等人，2022)，它也聚合了路径信息。然而，PathNet和我们的pathnn之间有很大的区别。PathNet只在节点分类数据集上评估路径样本，而不是枚举所有路径。最后，作者没有提供该模型表达能力的广泛研究。还有一些模型不是模拟行走的路径，而是经过聚合或由卷积神经网络处理。所提出的路径神经网络也与比较两个图的路径的图核有关。这种核包括最短路径核和GraphHopper核。前者只是比较最短路径之间的距离，而后者更类似于所提出的模型，因为它也考虑了出现在最短路径上的节点的属性。在区分非同构图方面，标准gnn最多与WL算法一样强大。其他研究利用WL算法的高阶变体来推导出比标准gnn更强大的新模型。另一个研究方向集中在k阶图网络，重要的是，在区分非同构图方面，发现k阶图网络至少与k-WL图同构测试一样强大，而仅包含一个缩放的单位算子的缩减的2阶网络，用单个二次运算增强，被证明具有3-WL辨别能力。定义在等变函数环上的最大张量阶为2的GNN可以区分一些度数相同的非同构正则图对。图同构测试和不变函数近似，是研究图神经网络表达能力的两个主要视角，已被证明是相互等效的。最近，大量工作专注于使gnn比WL更强大，例如，通过编码顶点标识符、同时考虑到所有可能的节点排列、使用随机特征、利用节点特征、谱信息、简单复合体和细胞复合体和方向信息。此外，最近的一些研究提取和处理子图，以使gnn更具表现力。例如，可以通过聚合从给定图中删除一个或多个顶点所产生的子图(由标准gnn产生)的表示来增强gnn的表达能力。最近的研究表明，处理每个节点的k跳邻域的模型以及聚集距离该节点正好为k的最短路径距离的节点的模型(如SP-MPNN模型)比标准gnn更强大，而通过考虑连接距离对于节点正好为k的最短路径距离的节点的边，这些模型的表达能力可以进一步提高。

模型方法

路径树是一种直观的基于路径的树，而不是基于行走的树，类似于WL树。然后，我们将表明，路径树无法在节点级别区分所有路径集合的图，这将激励我们定义一个在带注释的路径集上操作的模型，我们将表明，这至少可以像WL树一样消除图的歧义。每次构建给定根节点的一层WL树。在每次迭代中，WL-Tree的第k+ 1层通过将第k层的任何节点的子节点设置为其直接邻居来构建。在WL算法的背景下，1-WL算法迭代k时节点v的颜色表示根在v的高度为k的树结构。图1(a)中的图的WLTree在图2(a)中提供。类似地，我们定义路径树，其中我们使用符号T来表示所有的路径树，T k来表示高度为k的路径树。我们采用消息传递方案，使用不断增加长度的路径迭代更新节点表示。这种消息传递方案允许我们改进路径集，在长度小于k的路径中包含额外的结构信息。注意，路径是节点的有序序列，PathNNs通过对序列f: R k×d→R d进行操作的函数，学习将路径嵌入到d维特征向量中，其中k是路径长度。PathNNs采用消息传递方案，聚合路径嵌入以形成更新的节点表示。具体来说，在每一层k，长度为k的路径被f嵌入并聚合。设π为任意长度为k的路径。然后，PathNNs通过使用第k - 1层的节点表示来计算π的嵌入。

实验数据集

CSL EXP SR DD PROTEINS NCI1 ENZYMES IMDB-B IMDB-M Peptides-Functiona Peptides-Structural

基准模型

DGCNN DiffPool ECC GIN GraphSAGE GAT SPN PathNet Nested-GNN Gated-GCN GCN GCN+FLAG GIN+FLAG GSN HIMP PNA DGN Graphormer CIN ESAN E-SPN GRWNN AgentNet

代码开源地址

https://github.com/gasmichel/PathNNs_expressive

模型关键处理图

个人思考

我本人认为文章所提的模型应用于稀疏的图中效果可能会不太好，例如稀疏的大图中节点由3个属性，指定嵌入向量维度为64，那么最后的嵌入向量矩阵就是3×64，效果要比随机生成的节点个数×64差非常非常多。