GNN论文周报|来自UCLA、清华大学、Amazon等机构前沿论文研究

图神经网络（GNN）是一类专门针对图结构数据的神经网络模型，在社交网络分析、知识图谱等领域中取得了不错的效果。近来，相关研究人员在GNN的可解释性、架构搜索、对比学习等方面做了很多探究。

本周精选了10篇GNN领域的优秀论文，来自UCLA、清华大学、Amazon等机构。

为了方便大家阅读，只列出了论文标题、作者、ChatPaper综述等信息，如果感兴趣可复制链接查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

ChatPaper使用页：https://www.aminer.cn/chat/g/

1.Generalizing Graph ODE for Learning Complex System Dynamics across Environments 论文详情页

作者：Zijie Huang,Yizhou Sun,Wei Wang

链接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b3651e/?f=cs

ChatPaper综述：这篇论文介绍了一种名为 GG-ODE 的机器学习框架，用于跨环境学习连续多代理系统动力学。大多数现有的模型都是为单个系统构建的，并从观察到的历史数据中学习其动态，并预测其未来轨迹。然而，在实践中，我们可能会观察到来自不同环境的多个系统，这些环境之间存在潜在的外源性因素，如温度和重力。一个简单的解决方案是学习多个环境特定的模型，但这种方法无法利用不同环境中动力学之间的潜在共性，并且在单个环境数据稀疏或有限的情况下，预测结果较差。因此，本文提出了 GG-ODE 模型，使用神经 ODE(Ordinary Differential Equations) 参数化基于图神经网络 (GNNs),以捕捉代理之间的连续相互作用。该模型通过学习共享 ODE 函数来捕获不同环境中的共同物理学定律，并将不同环境中的学习到的突触前因素嵌入到 ODE 函数中，以解释其差异。为了提高模型性能，设计了两项正则化损失，分别是 (1) 最小化学习初始状态和突触前因素之间的互信息，以促进它们之间的 orthogonality;以及 (2) 通过 Contrastive 学习减少同一系统中学习到的突触前因素的短期变化。在对各种物理模拟的实验中，GG-ODE 模型能够准确地预测系统动态，特别是在长时间范围内，并且能够有效地泛化到新系统，即使这些新系统只有少数观察数据。

2.SageFormer: Series-Aware Graph-Enhanced Transformers for Multivariate Time Series Forecasting 论文详情页

作者：Zhenwei Zhang,Xin Wang,Yuantao Gu

链接：https://www.aminer.cn/pub/64a63bbad68f896efaec4805/?f=cs

ChatPaper综述：这篇论文介绍了一种名为 SageFormer 的用于多元时间序列预测的深度学习模型。多元时间序列预测在许多领域都至关重要，如金融、气象和医疗等。虽然近年来深度学习方法，特别是 Transformer 模型，在该领域取得了显著进展，但仍然存在处理跨系列依赖关系的问题。因此，这篇论文提出了一种名为 SageFormer 的模型，旨在有效地捕获和使用图形结构来建模跨系列依赖关系。SageFormer 解决了两个关键挑战：有效地表示不同系列的时空模式，并减少系列之间的冗余信息。重要的是，提出的系列感知框架可以轻松地集成到现有的 Transformer 模型中，增强它们建模跨系列依赖关系的能力。通过在真实世界和人造数据集上的广泛实验，证明了 SageFormer 比先前的最先进的方法具有更好的预测性能。

3.GEANN: Scalable Graph Augmentations for Multi-Horizon Time Series Forecasting 论文详情页

作者：Sitan Yang,Malcolm Wolff,Shankar Ramasubramanian,Vincent Quenneville-Belair,Ronak Metha,Michael W. Mahoney

链接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f7883a/?f=cs

ChatPaper综述：这篇论文介绍了一种使用图神经网络 (GNN) 进行多 horizon 时间序列预测的新方法，可以有效地解决“冷启动”问题。传统的 encoder-decoder 神经网络在预测缺乏历史数据的 time series 时表现较差。因此，该方法采用了 GNN 作为数据增强技术，以增强用于预测的 encoder。GNN 可以捕捉时间序列之间的复杂关系，并且其生成过程可以与预测任务一起优化。该方法的架构可以使用数据驱动的或领域知识定义的图，并可以扩展到包含数百万节点的大规模图。在应用于一家大型电商零售商的需求预测时，该方法在小型数据和大型数据集上都取得了比竞争模型更好的表现。更重要的是，该方法对于“冷启动”产品，如新推出或缺货的产品，具有更高的收益。

4.Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs 论文详情页

作者：Zhikai Chen,Haitao Mao,Hang Li,Wei Jin,Hongzhi Wen,Xiaochi Wei,Shuaiqiang Wang,Dawei Yin,Wenqi Fan,Hui Liu,Jiliang Tang

链接：https://www.aminer.cn/pub/64ab82833fda6d7f06f77dfa/?f=cs

ChatPaper综述：这篇论文探索了大型语言模型 (LLMs) 在图机器学习方面的潜力，特别是节点分类任务。目前，大多数基于文本节点属性的图机器学习方法主要使用图神经网络 (GNNs),并以浅层文本嵌入作为初始节点表示，这种方法存在通用知识和深刻语义理解的局限性。近年来，大型语言模型 (LLMs) 已经被证明具有丰富的公共知识和强大的语义理解能力，已经颠覆了处理文本数据的传统工作流程。在本文中，我们旨在探索 LLMs 在图机器学习中的潜力，特别是节点分类任务，并研究两种可能的流程：LLMs-as-Enhancers 和 LLMs-as-Predictors。前者使用 LLMs 增强节点的文本属性，并通过 GNNs 生成预测。后者则直接使用 LLMs 作为单独的预测器。我们在各种设置中对这两种流程进行了全面系统和全面的研究和测试。从全面的实证结果中，我们做出了 original observations 和发现了新的启示，打开了利用 LLMs 在图机器学习中的可能性，并提出了有前途的方向。

5.Serving Graph Neural Networks With Distributed Fog Servers For Smart IoT Services 论文详情页

作者：Liekang Zeng,Xu Chen,Peng Huang,Ke Luo,Xiaoxi Zhang,Zhi Zhou

链接：https://www.aminer.cn/pub/64a63bbad68f896efaec484f/?f=cs

ChatPaper综述：这篇论文介绍了一种利用分布式 Fog 服务器的智能物联网服务 GNN 推理框架 Fograph。传统的 GNN 服务通常需要将分布式输入数据上传到远程数据 center,但实验测量表明，这种 cloud-based 服务有很大的通信开销。因此，论文提出了一种适用于 fog 环境的 GNN 服务框架，旨在充分利用就近 IoT 数据源的多 fog 节点的多样性和动态资源。Fograph 采用了异质性执行计划和 GNN 特定的压缩技术，以适应 fog 环境的服务特点。原型评估和案例研究表明，Fograph 比最先进的 cloud 服务和 fog 部署方法快 5.39 倍，吞吐量提高 6.84 倍。

6.SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation 论文详情页

作者：Qi Yan,Zhengyang Liang,Yang Song,Renjie Liao,Lele Wang

链接：https://www.aminer.cn/pub/64a63bbad68f896efaec4827/?f=cs

ChatPaper综述：这篇论文讨论了在图生成中使用不变扩散模型的挑战，并提出了一种名为 SwinGNN 的非不变扩散模型。该模型使用高效的 Edge-to-Edge 2-WL 消息传递网络和基于 SwinTransformers 的移位窗口自注意力机制。通过系统剥离，确定了改善图生成样本质量的几个关键培训和采样技术。此外，还介绍了一种名为随机置换的生成图形的方法，可以将任何生成图形模型转换为不变模型。在合成和真实世界的蛋白和分子数据集的实验中，SwinGNN 达到了当前最好的性能。该模型的代码已发布在 GitHub 上。

7.Dynamic Graph Attention for Anomaly Detection in Heterogeneous Sensor Networks 论文详情页

作者：Mengjie Zhao，Olga Fink

链接：https://www.aminer.cn/pub/64acd4023fda6d7f06b35585/?f=cs

ChatPaper综述：这篇论文介绍了在工业物联网 (IIoT) 时代，通过使用 heterogeneous sensor networks 监测系统产生的大量多变量时间序列 (MTS) 数据，为异常检测带来了便利。然而，随着传感器网络的复杂性和互连性的增加，异常检测面临着新的挑战。尽管该领域已经取得了进展，但大部分注意力都集中在点异常和上下文异常上，而对于集体异常则关注较少。集体异常的一种较少涉及的但普遍存在的变体是，集体异常是由系统中关系的转变引起的。这可能是由于过热、网络攻击等原因引起的异常环境或系统故障。为了解决这些问题，本文提出了动态图注意 (DyGATAD),一个基于图的异常检测框架，利用注意机制来建立连续的图形表示，通过推断时间序列之间的动态边建立多变量时间序列的图形表示。DyGATAD 还包括一个运行条件感知重构和一种基于拓扑的异常得分方法，以增强关系转变的探测能力。我们使用合成数据和一个多相流设施基准模型对 DyGATAD 进行了评估，展示了在集体异常检测方面的优势，特别是在早期故障检测和轻微故障检测方面表现出色。

8.All in One: Multi-task Prompting for Graph Neural Networks 论文详情页

作者：Xiangguo Sun,Hong Cheng,Jia Li,Bo Liu,Jihong Guan

链接：https://www.aminer.cn/pub/64a63bbad68f896efaec478f/?f=cs

ChatPaper综述：这篇论文研究了图神经网络 (Graph Neural Networks,GNNs) 的 prompting 问题，以解决预处理和微调方法在处理各种图任务时存在的不兼容性问题。虽然预处理和微调方法可以缓解缺乏图形注释的问题，但是节点级别、边级别和图级别任务的多样化使得预处理方法往往无法适用于多个任务。这可能导致对某些特定应用而言的“负迁移”,从而导致性能不佳。论文借鉴了自然语言处理 (NLP) 中的 prompting 概念，并在图领域提出了一种新的多任务 prompting 方法。具体来说，我们首先将图提示和语言提示用提示符、token 结构和插入模式统一起来，使得 NLP 中的 prompting 概念可以无缝应用于图领域。然后，为了进一步缩小各种图任务和最先进的预处理策略之间的差距，我们深入研究了各种图应用的任务空间，并将下游问题重构为图级别任务。最后，我们采用元学习高效地学习多任务提示的初始化，使我们的 prompting 框架对于不同的任务更加可靠和通用。我们进行了广泛的实验，结果表明，我们的方法在多个测试任务中表现更好。

9.On the power of graph neural networks and the role of the activation function 论文详情页

作者：Sammy Khalife,Amitabh Basu

链接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b3669b/?f=cs

ChatPaper综述：这篇论文讲述了图神经网络 (GNN) 的表现力以及激活函数的作用。论文证明了对于任何具有分段多项式激活函数的 GNN,其架构大小与图形输入大小无关，都存在一对深度为 2 的非等价树，GNN 在任意多次迭代中无法区分它们的根节点。该证明利用对称多项式代数的工具。与之相反，早已知道具有分段多项式激活函数的不可限 GNNs 能够在仅两迭代内区分这些根节点。我们的研究结果揭示了 GNN 大小的上限和不可限 GNNs 之间的严格分离，回答了 [Grohe,2021] 中提出的未解决的问题。我们还证明，如果允许使用非分段多项式激活函数，那么仅使用单个神经元的感知机能够在仅两迭代内区分任何对非等价深度为 2 的树的根节点 (我们的研究结果适用于例如 sigmoid、hyperbolic tan 等激活函数)。该结果展示了 GNN 的表现力会因为激活函数的改变而急剧变化。该结果利用数论中的 Lindemann-Weierstrass 定理来证明。

10.Privacy-Preserving Graph Machine Learning from Data to Computation: A Survey 论文详情页

作者：Dongqi Fu,Wenxuan Bao,Ross Maciejewski,Hanghang Tong,Jingrui He

链接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b36553/?f=cs

ChatPaper综述：这篇论文的主题是关于保护图机器学习中的个人隐私。在图机器学习中，数据收集、共享和分析通常涉及多个机构和个人，每个机构和个人可能需要不同的数据安全和隐私级别。因此，保护个人隐私对于保护敏感信息非常重要。在大数据时代，数据实体之间的关系变得更加复杂，越来越多的应用程序使用先进的数据结构 (如图形),以支持网络结构和相关属性信息。至今，已经提出了许多基于图形的人工智能模型 (如图形神经网络),以用于各种领域任务，如计算机视觉和自然语言处理。本文专注于综述图机器学习中的个人隐私保护技术。我们系统地综述了相关研究，从数据到计算方面。我们首先综述了生成隐私保护图形数据的方法。然后，我们描述了在多个机构和个人之间传输隐私保护信息 (如图形模型参数) 的方法，以实现优化计算。除了讨论相关的理论和软件工具外，我们还讨论了当前的挑战和未来研究的机会，以促进隐私保护的图机器学习。最后，我们提出了一个统一和全面的安全图机器学习系统的愿景。