Graph上的Transformer：Graphormer

最新推荐文章于 2024-06-10 14:09:33 发布

tzc_fly

最新推荐文章于 2024-06-10 14:09:33 发布

阅读量1.1k

点赞数 5

分类专栏：图神经网络文章标签： transformer 深度学习人工智能

本文链接：https://blog.csdn.net/qq_40943760/article/details/137237756

版权

图神经网络专栏收录该内容

19 篇文章 19 订阅

订阅专栏

这个工作来自：Do transformers really perform badly for graph representation，Nips2021，名为Graphormer。Graphormer包含3个主要embedding：centrality encoding， spatial encoding，edge encoding。
fig1

centrality encoding
Graphormer认为节点的向心性（centrality）是图学习的重要信号，因此需要设计一个方法表示向心性并结合到Transformer中。使用图的出度和入度表示节点的向心性： $h_{i}^{(0)}=x_{i}+z^{-}_{deg^{-}(v_{i})}+z^{+}_{deg^{+}(v_{i})}$ 其中， $z^{-},z^{+}\in\mathbb{R}^{d}$ 为入度 $deg^{-}(v_{i})$ 和出度 $deg^{+}(v_{i})$ 的可学习embedding。对于无向图， $deg^{-}(v_{i})$ 和 $deg^{+}(v_{i})$ 可以统一为 $deg(v_{i})$ 。

spatial encoding
Transformer的一大优势就是具有全局感受野。对于序列信息来说，为了获得序列中的空间信息，通常Transformer会引入Position embedding来编码序列中的空间信息。然而对于图结构来说，节点并没有组织成序列。为了在模型中编码图的空间信息，Graphormer提出了Spatial Encoding。

对于图 $G$ ，考虑函数 $\phi(v_{i},v_{j})$ 衡量了图 $G$ 中节点 $v_{i}$ 与 $v_{j}$ 的空间关系。Graphormer使用shortest path distance (SPD) 来衡量两个相连节点之间的距离 $\phi(v_{i},v_{j})$ 。如果两个节点不相连，则 $\phi=-1$ 。引入spatial encoding后的Query-Key相似矩阵元素 $A_{ij}$ 为： $A_{ij}=\frac{(h_{i}W_{Q})(h_{j}W_{K})}{\sqrt{d}}+b_{\phi(v_{i},v_{j})}$ 其中， $b_{\phi(v_{i},v_{j})}$ 为 $\phi(v_{i},v_{j})$ 索引的可学习的标量，在所有Layer上共享。

edge encoding
对于每个节点对 $v_{i},v_{j})$ ，我们找到 $v_{i},v_{j})$ 的最短路径： $SP_{ij}=(e_{1},e_{2},...,e_{N})$ ，然后计算沿路径的edge feature与可学习的embedding的点积的平均值： $A_{ij}=\frac{(h_{i}W_{Q})(h_{j}W_{K})}{\sqrt{d}}+b_{\phi(v_{i},v_{j})}+c_{ij}$ 其中： $c_{ij}=\frac{1}{N}\sum_{n=1}^{N}x_{e_{n}}(w_{n}^{E})^{\top}$ 其中， $x_{e_{n}}$ 是在路径 $SP_{ij}$ 中的第 $n$ 个edge feature， $w_{n}^{E}\in\mathbb{R}^{d_{E}}$ 为第 $n$ 个可学习的embedding。