KDD 2023 图神经网络方向论文总结

ACM SIGKDD（国际数据挖掘与知识发现大会，KDD）是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议，也是首个引入大数据、数据科学、预测分析、众包等概念的会议。今年，第29届 KDD 大会在美国加州长滩举行，大会包含研究方向（Research）和应用数据科学方向（Applied Data Science，ADS）两个 track，共公布了8篇获奖论文。本文主要收集大会中与图神经网络相关的论文。

All in One: Multi-task Prompting for Graph Neural Networks(KDD最佳论文奖)

标题：All in One: 多任务提示用于图神经网络
地址：https://doi.org/10.1145/3580305.3599256
关键词：pre-training; prompt tuning; graph neural networks

背景：最近，"预训练和微调"已被采用为许多图任务的标准工作流，因为它可以使用通用的图知识来缓解每个应用程序的图注释的缺乏。然而，节点级、边级和图级的图任务非常多样化，使得预训练伪装往往与这些多任务不兼容。这种差距甚至可能导致对特定应用的“负迁移”，导致较差的结果。受自然语言处理(NLP)中的快速学习(在利用先验知识于各种NLP任务中表现出显著有效性)的启发，本文研究了图的提示主题，以填补预训练模型和各种图任务之间的空白。

内容：本文提出了一种新颖的图模型多任务提示方法。首先，将图形提示和语言提示的格式与提示词、标记结构和插入模式统一起来。通过这种方式，NLP的提示思想可以无缝地引入到图形领域。为了进一步缩小各种图任务和最先进的预训练策略之间的差距，进一步研究了各种图应用的任务空间，并将下游问题重新表述为图级任务。引入元学习，有效地为图的多任务提示学习更好的初始化，使提示框架对不同的任务更加可靠和通用。

When to Pre-Train Graph Neural Networks? From Data Generation Perspective!

标题：何时对图神经网络进行预训练?从数据生成的角度!
地址：https://doi.org/10.1145/3580305.3599548
关键词：graph neural networks, graph pre-training

背景：近年来，图预训练获得了极大的关注，专注于从无标签图数据中获取可迁移知识，以提高下游性能。尽管最近做出了这些努力，但在将图预训练模型用于下游任务时，负迁移问题仍然是一个主要问题。之前的研究通过设计各种图的预训练和微调策略，在预训练什么和如何预训练的问题上做了大量的工作。然而，在某些情况下，即使是最先进的“预训练和微调”范式也无法产生明显的好处。本文介绍了一个通用框架W2PGNN，以回答在进行努力的预训练或微调之前，何时进行预训练(即在什么情况下可以利用图预训练)的关键问题。

内容：本文从一个新的角度出发，探索从预训练数据到下游数据的复杂生成机制。特别是，W2PGNN首先将预训练数据拟合到图函数集合(graphon bases)中，图函数集合的每个元素(graphon basis)识别预训练图集合共享的基本可转移模式。图函数集合的所有凸组合产生一个生成器空间，从中生成的图形成可以从预训练中受益的下游数据的解空间。通过这种方式，预训练的可行性可以被量化为生成器空间中任何生成器的下游数据的生成概率。W2PGNN提供了三个广泛的应用:提供图预训练模型的应用范围，量化预训练的可行性，以及帮助选择预训练数据以提高下游性能。

Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization

标题：利用子图特定因子嵌入归一化提高GNN的表达性
地址：https://doi.org/10.1145/3580305.3599388
关键词：graph neural networks, graph normalization, subgraph-specific factor, graph isomorphism test, oversmoothing issue

背景：图神经网络(gnn)已经成为一种强大的学习架构类别，用于处理图结构数据。然而，现有的图神经网络通常忽略了节点诱导子图中的关键结构特征，从而限制了它们对各种下游任务的表达能力。

内容：本文努力通过设计一种专用的即插即用规范化方案，称为子图特定因子嵌入规范化(SuperNorm)，明确考虑每个节点诱导子图内的连接信息，来加强gnn的代表性能力。在标准批处理规范的开始和结束处嵌入子图特定的因子，以及合并图实例特定的统计信息，以改进可区分能力。同时，本文提供了理论分析来支持，在阐述的超范数下，任意GNN在区分非同构图方面至少与1-WL测试一样强大。此外，提出的超范数方案也被证明可以缓解过平滑现象。

MGNN: Graph Neural Networks Inspired by Distance Geometry Problem

标题：MGNN:基于距离几何问题的图神经网络
地址：https://doi.org/10.1145/3580305.3599431
关键词：graph neural networks, distance geometry problem, metric matrix

背景：图神经网络(gnn)已经成为机器学习领域的一个重要研究课题。现有的GNN模型通常分为两类:基于多项式图滤波器设计的谱图神经网络(spectral GNN)和以消息传递方案为模型基础的空间图神经网络(spatial GNN)。为了提高谱图神经网络的表达能力和普适性，一种自然的方法是改进基函数的设计，以获得更好的逼近能力。对于空间图神经网络，图同构网络(GIN)等模型基于图同构测试来分析其表达能力。最近，有人试图在空间gnn和几何概念(如曲率和细胞束)以及物理现象(如振荡器)之间建立联系。然而，尽管最近取得了一些进展，但仍缺乏从几何和物理角度全面分析空间图神经网络的普适性。

内容：本文中提出了 MetricGNN (MGNN)，这是一种空间 GNN 模型，其灵感来自于 GNN 分类阶段分类器的全等不敏感特性。 本文证明，如果 GNN 模型能够生成与任何给定嵌入矩阵一致的嵌入矩阵，那么它在空间域中是通用的。 该性质与距离几何问题（DGP）密切相关。 由于 DGP 是一个 NP-Hard 组合优化问题，因此本文建议优化由弹簧网络和多维尺度（MDS）问题导出的能量函数。 这种方法还允许我们的模型处理同质图和异质图。 最后，本文建议采用迭代方法来优化我们的能量函数。

Localised Adaptive Spatial-Temporal Graph Neural Network

标题：局部自适应时空图神经网络
地址：https://doi.org/10.1145/3580305.3599418
关键词：graph sparsification, spatial-temporal graph neural network, spatialtemporal data

背景：时空图模型是对空间和时间依赖关系进行抽象和建模的主流模型。本文提出以下问题：我们是否以及在多大程度上可以局部化时空图模型？本文将研究范围限制在自适应时空图神经网络(ASTGNNs)，即最先进的模型架构。定位方法涉及对空间图邻接矩阵进行稀疏化。

内容：本文探讨了局部自适应时空图神经网络（ASTGNNs）的可行性和程度。作者提出了一种名为自适应图稀疏化（AGS）的图稀疏化算法，成功地实现了ASTGNNs的局部化，甚至可以完全局部化，变成只关注时间关系。作者将AGS应用于两种不同的ASTGNN架构和九个时空数据集上，发现即使对ASTGNNs进行超过99.5%的稀疏化，测试准确率也没有下降。此外，ASTGNNs的局部化有可能减少大规模时空数据所需的大量计算开销，进一步实现ASTGNNs的分布式部署。

Pyramid Graph Neural Network: A Graph Sampling and Filtering Approach for Multi-scale Disentangled Representations

标题：金字塔图神经网络:一种多尺度解纠缠表示的图采样和滤波方法
地址：https://doi.org/10.1145/3580305.3599478
关键词：Graph Neural Networks, Spectral Graph Theory, Graph Algorithms

背景：图神经网络(gnn)的谱方法已经取得了巨大的成功。尽管取得了成功，但许多工作表明，现有方法主要集中在低频信息，可能与手头的任务无关。最近，人们努力为更广泛的频率剖面设计新的图滤波器，但如何学习图傅立叶域中的多尺度解缠节点嵌入仍然是一个开放问题。

内容：本文提出了一种图(信号)采样和滤波框架，命名为金字塔图神经网络(PyGNN)，遵循下采样-滤波-上采样-解码的方案。提出𝜔−带限下采样方法将输入图分割为子图以减少高频成分，然后在子图上进行谱图滤波器以实现不同频带的节点嵌入，并提出基于拉普拉斯平滑的上采样方法来将子图上的节点嵌入外推到原始图上的全部顶点集。最后，加入频率感知门控单元，为下游任务解码不同频率的节点嵌入。在同构图和异构图数据集上的结果表明，所提出的PyGNN模型在节点分类方面可以超过许多最先进的基线。

Multiplex Heterogeneous Graph Neural Network with Behavior Pattern Modeling

标题：基于行为模式建模的多路异构图神经网络
地址：https://doi.org/10.1145/3580305.3599441
关键词：Graph Representation Learning; Multiplex Heterogeneous Networks; Graph Neural Networks; Basic Behavior Pattern

背景：异构图神经网络在处理异构网络数据的各种网络分析任务中获得了广泛的应用。然而，现有工作主要关注一般的异构网络，并假设两个节点之间只存在一种类型的边，而忽略了多元异构网络中多类型节点之间的多元特性以及节点之间多元结构的不同重要性，从而进行节点嵌入。此外，图神经网络的过平滑问题限制了现有模型只能捕获局部结构信号，而难以学习网络的全局相关信息。

内容：本文提出了一种基于行为模式的异构图神经网络模型(Behavior Pattern based Heterogeneous Graph Neural Network, BPHGNN)。具体而言，BPHGNN通过深度行为模式聚合和广度行为模式聚合，从局部和全局的角度自适应地学习多异构网络中具有不同多结构节点之间的节点表示。在6个真实网络上进行的实验表明，BPHGNN在各项评价指标上均明显优于现有方法。

Clenshaw Graph Neural Networks

标题：克伦肖图神经网络
地址：https://doi.org/10.1145/3580305.3599275
关键词：Graph Neural Networks, Residual Connection, Graph Polynomial
Filter

背景：图卷积网络(GCNs)使用具有堆叠卷积层的消息传递范式，是学习图表示的基本空间方法。从图卷积的谱角度来看，在异质图上具有优势的多项式滤波器的动机不同。最近的空间GCN模型使用各种残差连接技术来缓解模型退化问题，如过平滑和梯度消失。然而，目前的残差连接并没有有效利用多项式滤波器的全部潜力，而多项式滤波器通常用于GNN的谱域。

内容：本文提出ClenshawGCN，一种GNN模型，通过一个简单的Clenshaw残差连接子模块将光谱模型的特性注入到空间模型中，Clenshaw残差连接本质上是一个二阶负残差与初始残差相结合。由于具有Clenshaw残差的堆叠(空间)卷积的迭代过程可以用Clenshaw求和算法来解释，因此ClenshawGCN隐式地模拟了Chebyshev基下的任意多项式滤波器。

A Data-centric Framework to Endow Graph Neural Networks with Out-Of-Distribution Detection Ability

标题：赋予图神经网络分布外检测能力的以数据为中心的框架
地址：https://doi.org/10.1145/3580305.3599244
关键词：Graph Neural Networks, Out-of-distribution Detection

背景：分布外(OOD)检测是机器学习中的一个重要问题，旨在在测试时间内从分布内(ID)中识别出OOD样本。然而，现有工作主要针对欧氏数据，在图结构数据上的问题仍未得到充分探索。最近的一些工作开始研究图OOD检测，但它们都需要从头训练图神经网络(GNN)，计算成本很高。本文首次尝试赋予一个训练有素的GNN OOD检测能力，而不修改其参数。

内容：本文设计了一种带有自适应放大器的面向图OOD检测的事后框架AAGOD，专注于以数据为中心的操作。AAGOD的思想是在每个原始输入图的邻接矩阵上叠加一个参数化放大器矩阵。放大器可以被认为是一种prompt，期望能够帮助模型关注到图OOD检测的关键模式，从而扩大OOD图和ID图之间的差距。借此便可以重复使用已有的GNN将强化后的图编码为向量，预定义的评分函数进一步将表示转换成检测分数。设计了一个可学习的放大器生成器(LAG)来为不同的图定制放大器，并提出了一种正则化学习策略(RLS)来训练参数，不需要OOD数据。

Frigate: Frugal Spatio-temporal Forecasting on Road Networks

标题：护卫舰:道路网络的节俭时空预测
地址：https://doi.org/10.1145/3580305.3599357
关键词：spatio-temporal prediction, graph neural networks, road networks

背景：对道路网络的时空过程进行建模是一项日益重要的任务。虽然在开发时空图神经网络(GNN)方面取得了重大进展，但现有工作是建立在3个在真实世界道路网络上不实际的假设基础上的。首先，他们假设在道路网络的每个节点上进行感知。在现实中，由于预算限制或传感器故障，可能所有位置(节点)都没有配备传感器。其次，它们假设所有安装的传感器都有感知历史。由于传感器故障、通信过程中的数据包丢失等原因，这也是不现实的。最后，给出了静态路网的假设。由于道路封闭、新道路建设等原因，网络内的连通性发生变化。

内容：本文开发护卫舰(Frigate)来解决所有这些缺点。Frigate由时空GNN提供动力，将位置、拓扑和时间信息集成到丰富的归纳节点表示中。通过门控Lipschitz嵌入与lstm的新组合，使这种多样化信息的联合融合成为可能。所提出的GNN架构比最先进算法中使用的消息传递GNN更具表达力。Frigate较高的表达能力自然转化为在现实世界网络受限的流量数据上进行的优越的经验性能。此外，Frigate对低成本的传感器部署、路网连通性的变化以及感知的时间不规则性具有鲁棒性。

Graph Neural Processes for Spatio-Temporal Extrapolation

标题：图神经过程的时空外推
地址：https://doi.org/10.1145/3580305.3599372
关键词：Spatio-temporal data mining, neural processes, data extrapolation

背景：收集数据的传感器部署稀疏，导致由于高部署和维护成本而缺乏细粒度信息。现有方法要么使用基于学习的模型(如神经网络)，要么使用统计方法(如高斯过程)来完成这项任务。然而，前者缺乏不确定性估计，后者无法有效捕捉复杂的空间和时间相关性。

内容：本文提出时空图神经过程(STGNP)，一种同时控制这些能力的神经潜变量模型。首先通过堆叠因果卷积层和跨集图神经网络来学习确定性的时空表示。然后，通过沿层的垂直潜状态转换来学习目标位置的潜变量，并获得外推。在过渡过程中，本文提出了图贝叶斯聚合(GBA)，一种考虑到上下文数据和图结构的不确定性的贝叶斯图聚合器，可以聚合上下文。广泛的实验表明，STGNP具有理想的性质，如不确定性估计和强大的学习能力，并以明显的优势取得了最先进的结果。

Leveraging Relational Graph Neural Network for Transductive Model Ensemble

标题：利用关系图神经网络实现转导模型集成
地址：https://doi.org/10.1145/3580305.3599414
关键词：graph neural networks, transfer learning, information bottlenecks

背景：传统的预训练、微调和集成方法往往忽略了基本的关系数据和任务之间的联系。为解决这一差距，本文提出一种新方法，通过基于关系图的模型来利用这种关系信息。

内容：本文提出RAMBLE(关系图模型集成)，一种基于关系图的模型，旨在从多个预训练模型中提取特定任务的知识。RAMBLE生成一个关系图，封装了多个预训练模型之间的任务和数据关系。该方法通过直推式地利用所有有标签和无标签的数据样本和任务信息，实现对关系信息的有效建模，从而提高目标任务的性能。为了减轻噪声的影响，采用一种新的变分信息瓶颈引导的嵌入融合和聚合方案，生成针对目标任务优化的信息融合嵌入

Enhancing Node-Level Adversarial Defenses by Lipschitz Regularization of Graph Neural Networks

标题：利用图神经网络的Lipschitz正则化增强节点级对抗防御
地址：https://doi.org/10.1145/3580305.3599335
关键词：graph neural networks, Lipschitz constants, stability, adversarial defense

背景：图神经网络(gnn)在图结构数据方面显示出相当大的前景。然而，它们也被认为是不稳定的，容易受到扰动和攻击。最近，Lipschitz常数被用来控制欧几里得神经网络的稳定性，但即使对于非常浅的网络，计算精确的常数也是很困难的。

内容：本文通过提供一个估计gnn的Lipschitz常数上界的系统方案，将Lipschitz分析推广到图中。我们还推导了广泛使用的GNN架构的具体边界，包括GCN, GraphSAGE和GAT。然后我们使用这些Lipschitz界进行正则化GNN训练以提高稳定性。我们对gnn的Lipschitz正则化的数值结果不仅说明了随机噪声下测试精度的提高，而且表明了最先进的防御方法对对抗性攻击的持续改进。

Task-Equivariant Graph Few-shot Learning

标题：等变任务图少样本学习
地址：https://doi.org/10.1145/3580305.3599515
关键词：Node Classification; Few-shot Learning; Graph Neural Networks; Equivariant Neural Networks

背景：尽管图神经网络(GNNs)在节点分类任务中取得了成功，但其性能在很大程度上依赖于每个类别有足够数量的标记节点。在现实世界中，并不是所有的类都有许多标记的节点，并且可能存在模型需要分类新类别的情况，使得手动标记变得困难。为了解决这个问题，对于gnn来说，能够用有限数量的标记节点对节点进行分类是很重要的，这称为少样本节点分类。之前基于情景元学习的方法已经在少样本节点分类中取得了成功，但我们的发现表明，只有在大量不同的训练元任务下才能实现最佳性能。

内容：为解决基于元学习的少样本学习(FSL)的这一挑战，本文提出一种新方法，即任务等变图少样本学习(TEG)框架。TEG框架使模型能够使用有限数量的训练元任务学习可迁移的任务适应策略，使其能够为广泛的元任务获取元知识。通过引入等变神经网络，TEG可以利用其强大的泛化能力来学习高度自适应的特定任务策略。因此，TEG在有限的训练元任务上实现了最先进的性能。在各种基准数据集上的实验表明，即使在使用最小元训练数据时，TEG也在精度和泛化能力方面具有优越性，突出了所提出方法在解决基于元学习的少样本节点分类挑战方面的有效性。

Interpretable Sparsification of Brain Graphs: Better Practices and Effective Designs for Graph Neural Networks

标题：脑图的可解释稀疏化:图神经网络的更好实践和有效设计
地址：https://doi.org/10.1145/3580305.3599394
关键词：Graph Neural Networks; Interpretability; Graph Sparsification

背景：脑图是脑区域之间结构和功能关系的模型，在神经科学和临床应用中是至关重要的，可以制定为图分类任务。然而，密集的脑图带来了计算上的挑战，如大量的时间和内存消耗以及较差的模型可解释性。在本文中，我们研究了图形神经网络(GNNs)通过消除噪声边缘来稀疏化脑图的有效设计。许多先前的工作基于可解释性或任务无关属性选择噪声边缘，但这并不能保证使用稀疏化图时性能的提高。此外，噪声边缘的选择通常针对每个单独的图，这使得使用相同的方法对多个图进行稀疏化变得具有挑战性。

内容：为了解决上述问题，我们首先引入一个迭代框架来分析不同稀疏化模型的有效性。通过使用这个框架，我们发现(i)优先考虑可解释性的方法可能不适合图稀疏化，因为稀疏化的图可能会降低GNN模型的性能;(ii)在GNN训练过程中学习边缘选择比在GNN收敛之后学习更有利;(iii)学习在所有图中共享的联合边缘选择比为每个图生成单独的边缘选择获得更高的性能;(iv)与任务相关的梯度信息有助于边缘选择。基于这些见解，我们提出了一个新的模型，可解释图稀疏化(IGS)，该模型将图分类性能提高了5.1%，比原始图减少了55.0%的边。IGS确定的保留边缘提供了神经科学的解释，并得到了成熟文献的支持。

GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node Classification

标题：GraphSHA:类不平衡节点分类的难样本合成
地址：https://doi.org/10.1145/3580305.3599374
关键词：node classification; class imbalance; graph neural network; hard sample; data augmentation

背景：类不平衡是指一些类的实例比其他类少得多的现象，这种现象在现实世界的图结构场景中普遍存在。最近的研究发现，现成的图神经网络(gnn)对小类样本的代表性不足。我们对这一现象进行了研究，发现次要类的子空间受到潜在空间中主要类的子空间的挤压是导致这一失败的主要原因。

内容：我们自然受到启发，通过合成更难的小样本来扩大小类的决策边界，并提出一个通用的框架GraphSHA。此外，为了避免扩大的小边界侵犯相邻类的子空间，我们还提出了一个名为SemiMixup的模块，将扩大的边界信息传输到小类的内部，同时阻止信息从小类传播到相邻类。在7个公共基准数据集上，GraphSHA在不同GNN骨干编码器的类不平衡节点分类中优于各种基线方法，显示了它在扩大小类决策边界方面的有效性。

Enhancing Graph Representations Learning with Decorrelated Propagation

标题：用去相关传播增强图表示学习
地址：https://doi.org/10.1145/3580305.3599334
关键词：Graph Neural Networks, Over-correlation, Over-smoothing, Semisupervised node classification

背景：近年来，图神经网络因其对图结构数据的表示学习能力而被广泛应用于许多领域。虽然现有的大多数研究都集中在减轻过度平滑问题上，但最近的研究也从一个新的过度相关的角度揭示了GNN的局限性，即在GNN中经过特征转换和传播后，学习到的表示变得高度相关。在本文中，我们从经验和理论上彻底地重新审视了深度gnn中的过相关问题。

内容：我们证明了gnn中的传播算子加剧了特征相关性。此外，我们通过实证研究发现，现有的去相关解决方案不能保持较低的特征相关性，可能编码冗余信息。因此，为了更有效地解决过相关问题，我们提出了一种去相关传播方案(DeProp)作为GNN模型中特征学习去相关的基本组件，在传播阶段实现特征去相关。在多个真实数据集上的综合实验表明，DeProp可以很容易地集成到流行的gnn中，从而显著提高性能。此外，我们发现它可以同时用于解决过度平滑和过度相关问题，并且在缺失特征设置方面显着优于最先进的方法。

FLOOD: A Flexible Invariant Learning Framework for Out-of-Distribution Generalization on Graphs

标题：FLOOD:图分布外泛化的灵活不变学习框架
地址：https://doi.org/10.1145/3580305.3599355
关键词：graph neural networks, out-of-distribution, invariant learning

背景：图神经网络(gnn)在各个领域都取得了显著的成功，但大多数都是在分布假设下发展起来的。在离分布(out-of-distribution, OOD)设置下，它们会受到训练集和测试集之间分布移位的影响，可能无法很好地泛化到测试分布。已有几种方法尝试利用不变性原理来提高广义神经网络在OOD环境下的泛化能力。然而，在以往的解决方案中，图编码器经过不变学习后是不变的，不能灵活地适应目标分布。面对分布偏移，对目标分布进行细化的灵活编码器比稳定不变编码器在测试集上具有更好的泛化能力。

内容：为了弥补这些缺陷，我们提出了一种用于图分布外泛化的灵活不变学习框架(FLOOD)，该框架包括两个关键组成部分:不变学习和自举学习。不变学习组件通过图数据增强构建多个环境，并在风险外推下学习不变表示。此外，自举学习组件被设计为使用具有不变学习部分的共享图编码器以自监督的方式进行训练。在测试阶段，共享编码器可以灵活地使用测试集上的自举学习来改进。广泛的实验进行了转导和归纳节点分类任务。结果表明，FLOOD方法优于其他图OOD泛化方法，有效地提高了图OOD泛化能力。