探寻Graphomer

最新推荐文章于 2024-09-24 12:45:00 发布

ch_shijie

最新推荐文章于 2024-09-24 12:45:00 发布

阅读量627

点赞数

文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/ch_shijie/article/details/126414629

版权

Graphomer设计理念源于Transformer，旨在利用Self-Attention解决图问题。它通过中心性编码（Centrality Encoding）、空间编码（Spatial Encoding）和边信息编码（Edge Encoding）来捕获图数据的结构信息。中心性编码结合节点特征、出度和入度信息；空间编码结合自注意力机制和编码器得到的标量；边信息编码则根据最短路径上边的特征和学习权重进行加权求和。将这三种编码应用于Transformer架构中，形成了Graphomer。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Graphomer设计理念

想当年Transformer在处理序列数据方面大火之前曾遇到一个非常尴尬的问题：Self-Attention的思路固然新奇且强大，但将其直接运用于序列数据时效果却非常差，这是因为Self-Attention只是在计算每个元素之间的相关性，并没有将元素之间的位置信息考虑在内，从而有了Transformer的诞生：对每个位置进行编码并加入对应位置的元素特征中，性能得到了极大的提升。
如今Graphomer遇到了同样的问题，微软亚研院的高手们依然想利用Self-Attention的强大机制来拟合图问题，那么关键点就在于——如何将图数据的结构信息编码以及如何加入模型中。