文献阅读（69）NIPS2021-Do Transformers Really Perform Bad for Graph Representation

本文是对《Do Transformers Really Perform Bad for Graph Representation》一文的总结，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Do Transformers Really Perform Bad for Graph Representation》

——NIPS2021

Author: Chengxuan Ying

总结

文章指出当前将Transformer模型用于图数据上的工作，通常是将其部分技术模块转接到GNN模型上，而没有真正实现Transformer在图上的完全应用。因此，提出了Graphormer模型，用Transformer取代GNN模型，并加入三个设计以增强模型性能，即节点中心性度量、空间编码和边编码。此外，还构造了一个连接所有节点的超节点加入训练，从而将该超节点最终训练得到的节点嵌入视为全图嵌入。最终，给出了理论证明Transformer模型在图数据上的优势。模型框架如下所示。

1 模型介绍

1.1 图神经网络

经典的图神经网络模型是通过聚合节点的一阶或高阶领域信息，层层堆叠从而获得全局感受野，最终生成节点嵌入。给出图G=(V,E)，其中V是节点集，E是边集，x是节点v的特征向量，那么经典GNN模型构造如下：

其中L代表层数，而第一层的向量h即节点特征x。AGGREGATE为邻域信息的聚合函数，通常用平均、最大、最小等操作实现，COMBINE是结合函数，将上一层输入与本层生成的隐藏向量相结合。

此外，对全图的嵌入可以通过READOUT函数生成，该函数可以通过简单的置换不变函数或更复杂的图级池化函数实现：

1.2 Transformer

经典的Transformer模型由自注意力模块(Self-attention)和前馈网络模块(FNN)组成，通过将输入的向量映射为Query,Key,Value三类向量实现对不同位置输入的加权，其构造如下：

2 Graphormer

文章模型在经典Transformer的基础上，加入了三类设计来增强模型的效果，分别为节点中心性度量、空间编码和边编码。

2.1 节点中心性度量

节点的中心性是图结构数据中的一个重要属性，文章指出attention机制仅根据整个环境的语义相关性进行计算，但没有考虑到不同节点的影响力不同，因此在节点向量初始化阶段加入中心性度量如下：

此为有向图的中心性，分成入度和出度考虑，当数据为无向图时，仅考虑度数即可。

2.2 空间编码

文章指出，attention机制虽然具有全局感受野，但同时也要求了对不同位置的信息进行编码。而事实上，图数据是不存在严格的位置信息的，因此文章选择对图结构进行空间式的编码。即给定一个位置变量，当两个节点没有边时，设定其为-1，而有边时，设定为一个可学习的值，从而在训练过程中对这个值不断进行优化，使得注意力机制在分配权重时，会考虑到图的结构信息。

2.3 边编码

文章指出，在图数据中，节点不是唯一重要的信息，边在图中也大量存在，不应忽视。为此，文章提出了对边的编码，通过确定两个节点间的最短路径，可以得到路径经过的各边，从而聚合各边上的特征信息。而在没有边属性的情况下，通过对边相连的两个节点属性进行平均，可视为边的特征信息。

2.4 实现细节

对Transformer结构在图数据上的应用，文章调整了归一化的方式以及嵌入维度大小，对Graphormer层的构建如下：

注意到文章还设置了一个与所有节点都直接相连的超节点与其他节点一起进入训练，通过对超节点嵌入的反复优化，得到的最终节点嵌入就可视为全图嵌入。相比先前提到的READOUT方法直接提取节点嵌入的信息，该方法更不容易过拟合。
此外，文章还给出了理论证明，讨论了为什么Transformer在图数据上展现出了优势的效果，在此不再讨论。