Node Context Selection in Transformer-Based Graph Representation Learning Models

动机

当前的GRL模型在为每一个目标节点选择节点上下文的时候主要考虑图拓扑结构。在这篇论文中，作者阐述了在选择节点上下文时节点特征的重要性，并且提出了：在选择节点上下文时同时考虑节点特征和图拓扑的混合方法。

主要解决问题

over-smoothing（当GNN层数太多时，在图中每个节点都有相似的表达）和suspended animation(当GNN层数太多时，GNN停止对输入做出回应)

作者提出的方法的主要思想：

在计算目标节点embedding时，仅仅考虑图拓扑结构如（a)所示；仅仅考虑节点属性图(b)所示；两者都考虑如©所示：

作者提出的混合方法可以简化为：发现目标节点最相似的邻居节点。在这个过程中，有两个方面需要注意：1，邻居：在节点上下文中的节点应该能反应图结构；2，相似性：节点上下文中的节点在语义特征方面应该与目标节点类似。

数据集介绍

作者使用的数据集是：Cora,Citeseer,PubMed和ogbn-arxiv

这四个数据集都是论文引用网络数据集，每个节点代表一篇论文，每条边代表在两篇论文中的一个引用。作者采用节点分类作为下游任务