NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/143578404

论文题目：Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification

在这里插入图片描述

本文简要介绍了经典图神经网络 (GNNs) 的基准分析研究，发表在 NeurIPS 2024。文章回顾了经典GNNs模型在节点分类任务上的表现，结果发现过去SOTA图学习模型报告的性能优越性可能是由于经典GNNs的超参数配置不佳。通过适当的超参数调整，经典GNNs模型在18个广泛使用的节点分类数据集中的17个上超越了最新的图学习模型。本研究旨在为GNNs的应用和评估带来新的见解。

论文链接：

https://arxiv.org/abs/2406.08993

代码链接：

https://github.com/LUOyk1999/tunedGNN

1. 引言

节点分类是图机器学习中的一个基本任务，在社交网络分析、生物信息学和推荐系统等多个领域中具有广泛的高影响力应用。图神经网络（GNNs）已成为解决节点分类任务的强大模型。GNNs通过迭代地从节点的邻居中聚合信息，这一过程被称为消息传递，利用图结构和节点特征来学习有用的节点表示进行分类。尽管GNNs取得了显著的成功，但研究指出它们存在一些局限性，包括过度平滑、过度压缩、对异质性缺乏敏感性以及捕获长距离依赖的挑战。

最近，Graph Transformer（GTs）作为GNN的替代模型受到越来越多的关注。与主要聚合局部邻域信息的GNNs不同，Transformer架构通过自注意力层可以捕获任意节点对之间的交互。GTs在图级任务（如涉及小规模图的分子图分类）上取得了显著成功。这一成功激发了尝试将GTs应用于节点分类任务的努力，特别是在大规模图上，以应对GNNs的上述局限性。尽管最新的GTs取得了令人鼓舞的成果，但观察到许多此类模型在显性或隐性层面上仍然依赖于消息传递来学习局部节点表示，将其与全局注意力机制结合以获得更全面的表示。

这促使我们重新思考：消息传递GNNs在节点分类中的潜力是否被低估了？虽然已有研究在一定程度上解决了这一问题，但这些研究在范围和全面性上仍存在局限性，例如数据集数量和多样性有限，以及超参数的考察不完整。在本研究中，我们全面重新评估了GNNs在节点分类中的表现，使用了三种经典的GNNs模型——GCN、GAT和GraphSAGE——并在18个真实世界的基准数据集上进行了测试，包括同质性、异质性和大规模图。我们考察了GNNs训练中的关键超参数对其性能的影响，包括normalization、dropout、residual connections和network depth。主要发现总结如下：

经过适当的超参数调整，经典GNNs在同质性和异质性图中的节点分类任务中均能取得高度竞争力的性能，甚至在节点数量达百万量级的大规模图上也是如此。值得注意的是，经典GNNs在18个数据集中有17个超越了最先进的图学习模型，表明GTs对比GNNs所宣称的优势可能是由于在GNNs评估中超参数配置不佳
我们的消融研究对GNNs节点分类中的超参数提供了见解。我们验证了：
Normalization对于大规模图至关重要
Dropout一致地表现出积极影响
Residual connections在异质性图上可以显著增强性能
在异质性图上，较深的层数可能更适合GNNs

2. 方法介绍

2.1 数据集概述

数据集概述

同质性图：Cora、CiteSeer和PubMed是三种常用的引用网络[1]。我们遵循传统的半监督设定[2]来划分数据集。此外，Computer和Photo是公共购买网络[3]，CS和Physics是公共作者网络[3]，我们采用训练/验证/测试划分为60%/20%/20%的标准[4]。我们还使用了Wiki-CS[5]，该数据集是由计算机科学论文组成的引用网络，我们使用[5]的划分
异质性图：Squirrel和Chameleon是两个Wikipedia特定主题的页面网络[6]。我们采用异质图基准测试[7]中的新的数据集划分。此外，我们还使用Roman-Empire、Amazon-Ratings、Minesweeper和Questions四个异质性数据集[7]，这些数据集的划分和评估指标遵循其来源[7]的标准
大规模图：我们使用了由Open Graph Benchmark (OGB)[8]发布的多个大规模图，包括ogbn-arxiv、ogbn-proteins和ogbn-products，节点数量从0.16M到2.4M不等。此外，我们还分析了社交网络pokec[9]的性能表现

2.2 超参数设置

我们的重点在于经典GNNs模型（GCN、GraphSAGE、GAT）与最先进的图学习模型的比较。我们对经典GNNs进行了超参数调整，并与Polynormer[4]的超参数搜索空间保持一致。同时，所有基准baselines也在相同的超参数搜索空间和训练环境下重新训练。

2.3 关键超参数

在本节中，我们概述了GNNs训练中的关键超参数，包括normalization、dropout、residual connections和network depth。这些超参数在不同类型的神经网络中被广泛应用，以提升模型性能：

Normalization：在每一层激活函数之前使用layer normalization（LN）或batch normalization（BN），可以减少协变量偏移，稳定训练过程并加速收敛
Dropout：在激活函数之后对特征嵌入使用dropout来减少隐藏神经元间的共适应，有助于降低GNNs中消息传递的共适应效应
Residual Connections：通过在层之间引入residual connections，可以缓解梯度消失问题，增强GNNs的表现力
Network Depth：尽管深层网络能够提取更复杂的特征，但GNNs在深度上面临独特挑战，如过度平滑等。因此，大多数GNNs采用较浅的结构，通常包含2到5层。然而，我们的实验发现如果搭配上residual connections，GNNs可以拓深至10层的网络

3. 实验结果

3.1 主要发现

在这里插入图片描述

同质性图实验结果

关于同质性图的观察：经典GNNs在同质性图的节点分类任务中，仅需对超参数进行轻微调整，便能够具备很强的竞争力，且在很多情况下优于最先进的GTs

在这里插入图片描述

异质性图实验结果

关于异质性图的观察：我们的参数调整显著提高了经典GNNs在异质性图上的先前最佳结果，超越了为此类图专门设计的专用GNNs模型，甚至超过了SOTA GTs架构。这一进展不仅支持了[7]中的发现，还进一步强化了其结论，即经典GNNs在异质性图上也是强有力的竞争者，挑战了它们主要适用于同质性图结构的普遍假设

在这里插入图片描述

大规模图实验结果

关于大规模图的观察：我们的参数调整显著提升了经典GNNs的先前结果，在某些情况下准确率提升达到了两位数。它们在这些大规模图数据集（无论是同质性还是异质性）中取得了最佳结果，甚至超过了最先进的GTs。这表明消息传递在大规模图上学习节点表示仍然非常有效

3.2 消融分析

在这里插入图片描述

同质性图和异质性图消融实验结果

在这里插入图片描述

大规模图的消融实验结果

消融观察1：Normalization在大规模图的节点分类中非常重要，但在小规模图中则不太显著

消融观察2：Dropout对于节点分类始终是必要的

消融观察3：Residual Connections能够显著提升某些数据集上的性能，且在异质性图上的效果比同质性图上更为显著

消融观察4：更深的网络通常在异质性图上带来更大的性能提升，相较于同质性图表现更为明显

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述