Structure-Aware Transformer for Graph Representation Learning

最新推荐文章于 2023-12-28 18:24:32 发布

嗨I，你Y

最新推荐文章于 2023-12-28 18:24:32 发布

阅读量1.4k

点赞数

分类专栏：知识表示学习文章标签：数据挖掘深度学习

本文链接：https://blog.csdn.net/Ohh_ckx/article/details/127911015

版权

文章提出Structure-Aware Transformer（SAT），解决了Transformer在图表示学习中无法捕获节点间结构相似性的问题。SAT结合GNN和Transformer，通过绝对编码与新型相对编码结合图形结构，同时考虑局部和全局信息。作者还定义了结构感知注意力，以解决仅依赖节点特征的局限性，实现了对节点结构相似性的考虑。文中介绍了两种结构提取器：k-subtree和k-subgraph GNN extractor。

摘要由CSDN通过智能技术生成

Structure-Aware Transformer for Graph Representation Learning

在图表示学习中，Transformer结构通过位置编码对图形结构进行编码，克服了GNN的几个局限性，但其使用位置编码生成的节点表示不一定能捕获他们之间的结构相似性，所以，为了解决这个问题，作者提出了Structure-Aware Transformer——一类新的自我关注机制的简单灵活的graph Transformers.

在计算注意力之前，提取扎根于每个节点的子图表示，将提取到的结构信息与原始的自我注意力相结合形成新的自我注意力。

优点：可以利用任何现有的GNN来提取子图表示。

GNN存在的缺点：over-smoothing 和 over-squashing
Absolute encoding:向输入节点特征添加或连接位置或结构表示
relative encoding:该策略将图上节点之间的相对位置或距离的表示直接结合到自我注意力机制中。
作者提出的SAT结合了消息传递GNN和Transformer架构的两个方面的优点。结合了一种绝对编码和一种新的相对编码，这种编码明确的结合了图形结构，从而设计了一种同时考虑本地和全局信息的Transformer架构。
在Transformer中，有两部分组成：a self-attention module and a feed-forward neural network
在self-attention module 中，