实现泛化，强大，有规模的Graph Transformer

概述
该工作来自于：Recipe for a General, Powerful, Scalable Graph Transformer，Nips2022，名为GPS。Graph Transformer (GTs)已经在图表示学习领域取得了很多成果，GPS作为图表示学习的系统性方法，是一个模块化的框架，支持多种类型的编码方式，并且适用于不同规模的Graph。

GPS包含两个模块：

• embedding模块：用于将位置编码PE，结构编码SE，节点node，边edge，图graph的特征进行有效融合；
• processing模块：用于将局部消息传递（local message passing）和全局注意力机制（global attention）结合。

PE和SE
位置编码(PE)旨在提供图中给定节点在空间中的位置概念。因此，当一个图或子图中的两个节点彼此接近时，它们的PE也应该接近。

结构编码(SE)旨在提供图或子图的结构嵌入，以帮助提高图神经网络(GNN)的表达性和泛化性。因此，当两个节点共享相似的子图时，或者当两个图相似时，它们的SE也应该接近。

目前的研究工作中存在多种PE、SE方案，他们基本都可以归纳到local、global、relative三种类别。

• 表1：展示了位置编码(PE)和结构编码(SE)的分类。

为什么需要PE和SE
MPNN和1-Weisfeiler-Leman test（1-WL）具有相同的性质：通过一次迭代无法确定两个图是否同构，而加入PE和SE后，MPNN会相比1-WL具有更强的表现力。

1-WL test是图同构Weisfeiler-Leman (WL)中的一种节点着色算法，它基于节点的1跳局部邻域迭代更新节点的颜色，直到节点颜色不再变化。节点颜色的最终直方图决定了算法输出的两个图是“非同构”(当两个图的直方图不同时)还是“可能同构”(当两个图的直方图相同时)。虽然它不是图同构问题的充分检验，但启发式方法应用简单，最近在文献中被广泛用于量化MPNN的表达能力。

• 第一行：具有匿名节点的示例图，即节点没有任何可区分的节点特征。
• a：一对圆跳链(Circular Skip Link, CSL)图，节点的跳链分别为2和3。
• b：十氢化萘分子图，它有两个全碳原子环，因此没有明显的节点特征。
• 第二行：用1-WL生成的特征着色的节点。
• 第三行：用全局PE生成的特征着色的节点。
• 第四行：用局部SE生成的特征着色的节点。
• 注意：图中节点上的颜色表示从相应的PE/SE为给定图生成的唯一特征向量。

整体架构
GraphGPS更类似于一个工程项目：

可以发现，除了模块化的PE和SE以及Graph特征，GraphGPS的主要特点在于：MPNN用于更新节点和边的特征，Transformer用于更新节点特征，然后将MPNN和Transformer的节点特征相加得到新的节点特征。