Rethinking Graph Transformers with Spectral Attention 阅读笔记

NIPS 2021

困难：难以定义正确的位置

图网络(GNN)产生过度平滑的原因：图网络的消息传递框架使用了前面两个主要函数 Aggregate 和 Update，它们从邻居那里收集特征向量并将它们与节点自己的特征结合起来更新它们的表示。此操作的工作方式使交互节点（在此过程中）具有非常相似的表示。

优势：

(1) 通过attention保留局部的结构信息

(2) 使用了边的特征

(3) 连接非领域的结点

(4) 使用了基于PE的特征向量用于attention机制

(5) PE信息结合了结构信息

(6) 考虑了特征值对的顺序

(7) 对特征向量范数不变

(8)考虑特征值的光谱信息

(9)考虑了特征向量的变量

(10)意识到了特征值的多样性

傅里叶变换应用到图上。利用拉普拉斯特征的优势在于可以等价于正弦函数，能够揭示系统的物理意义，能够揭示度量。