Cooperative Graph Neural Networks（一）摘要和Introduction-CSDN博客

本文链接：https://blog.csdn.net/sinat_41942180/article/details/142779591

引用次数：9

引用格式：Finkelshtein B, Huang X, Bronstein M, et al. Cooperative graph neural networks[J]. arXiv preprint arXiv:2310.01267, 2023.

摘要

讲述了一种新的图神经网络（Graph Neural Network，GNN）训练框架，称为Cooperative Graph Neural Networks (CO-GNNs)。

GNN是一种在图上进行机器学习的架构，通过一系列不变变换对输入图的节点表示进行迭代计算。（这句话介绍了图神经网络的基本概念。）一大类图神经网络遵循标准的消息传递范式:在每一层，每个节点状态都基于来自其邻居的消息的聚合进行更新。（这句话指出了现有的GNN模型通常采用的消息传递机制。）在这项工作中，我们提出了一种新的GNN训练框架，将每个节点视为一个参与者（玩家player），可以选择“接收信息（listen）”、“广播信息（broadcast）”、“接收并广播（listen and broadcast）”或“隔离（isolate）”。（这里提出了论文的核心创新）标准的消息传播方案可以被视为该框架的一种特殊情况，其中每个节点都向所有邻居“侦听和广播”。（这句话解释了传统的消息传递方式是该新框架的一个特例）我们的方法提供了一种更灵活和动态的消息传递机制，每个节点可以根据自己的状态决定策略，从而在学习过程中有效地探索图的拓扑结构。（这里介绍了新方法的优势）论文不仅提供了新消息传递机制的理论分析，还通过大量的实验验证了该机制的有效性，包括在合成数据和真实世界数据上的实证分析。

总结来说，论文提出了一种名为CO-GNN的图神经网络架构，改进了传统的消息传递方式，允许节点在不同状态下选择不同的传递策略，从而更好地探索图的结构，提升学习效果。

1、Introduction

图神经网络(Scarselli et al., 2009; Gori et al., 2005) 是一类用于图结构数据学习的架构。（介绍GNN的定义）提到GNN在多种图机器学习任务(Shlomi et al., 2021; Duvenaud et al., 2015; Zitnik et al., 2018)中的成功，带动了许多不同架构的产生(Kipf & Welling, 2017; Xu et al., 2019; Veličković et al., 2018; Hamilton et al., 2017)。强调GNN的大多数实现是通过消息传递，其中的基本思想是通过邻居节点传递的信息来更新每个节点的表示(Gilmer et al., 2017)。

解释消息传递模式在图机器学习中的影响，但同时指出了它在处理长距离依赖时的局限性 (Dwivedi et al., 2022)。描述了在处理k跳（k-hop）邻居时，网络需要至少k层（k layers），这导致了节点感受野的指数增长。信息量的增加需要被压缩到固定大小的节点嵌入中，可能导致信息丢失，即“过度压缩（over-squashing）”问题(Alon & Yahav, 2021)。另外一个常见的局限是“过平滑（over-smoothing）”问题(Li et al., 2018)：随着层数的增加，节点特征变得越来越相似。

Motivation.

论文的动机是为了推广消息传递机制，使每个节点可以决定如何与邻居传播信息，从而实现更灵活的信息流动。这解决了传统消息传递机制的局限性。（动机陈述）考虑图1中描述的示例，其中顶部一行显示了三层中相对于节点u的信息流，下面一行显示了三层中相对于节点v的信息流。（通过具体的例子（图1）来解释）节点u在第一层接收所有邻居的信息，第二层只接收v的信息，而在最后一层只接收s和r的信息。节点v在前两层接收w的信息，最后一层接收u的信息。通过这样的不同信息传递策略，实现灵活的信息流动。为实现这种灵活机制，每个节点应该在每一层决定是否接收来自某个邻居的信息。这种动态、异步的消息传递机制（dynamic and asynchronous message-passing scheme）突破了传统的同步、固定的消息传递方式。