图神经网络的新篇章：通用、强大、可扩展的图变换器

人工智能咨询培训老师叶梓 转载标明出处

图变换器（Graph Transformers, GTs）因其在处理节点间全局依赖关系方面的能力而受到广泛关注。然而，现有的GTs模型在处理大规模图时面临着计算复杂度高、泛化能力有限等问题。为了解决这些问题，蒙特利尔大学、麦吉尔大学、新加坡南洋理工大学等研究人员共同提出了一种新的GTs架构——通用、强大、可扩展（GPS）。这种图变换器不仅能够处理具有数百个节点的小规模图，还能扩展到具有数千个节点的大规模图，同时保持线性复杂度O(N + E)。

方法

图1展示了通用、强大、可扩展（GPS）图变换器的模块化架构。该架构是围绕三个核心组件设计的：定位/结构编码（PE/SE）、局部消息传递机制、以及全局注意力机制。这些组件共同工作，提供了一个既能处理小型图也能扩展到大型图的高效图神经网络。

模块化定位/结构编码

• 局部PE（Local PE）：这类编码使得图中的每个节点能够了解自己在局部邻域中的位置和角色。例如，通过随机游走矩阵的非对角元素的列求和来获得。
• 全局PE（Global PE）：这类编码让节点了解其在整个图中的全局位置。通常使用图的拉普拉斯矩阵或距离矩阵的特征向量来实现。
• 相对PE（Relative PE）：这类编码帮助两个节点理解它们之间的距离或方向关系。例如，基于最短路径或热核的节点对距离。

局部消息传