GRAPH-BERT: Only Attention is Needed for Learning Graph Representations论文笔记

GRAPH-BERT: Only Attention is Needed for Learning Graph Representations论文笔记

Motivation

当前图神经网络（GNN）的主要方法过度依赖图中的连接关系，这样造成了三大问题：（1）模型假死；（2）过度平滑；（3）难以并行计算

• 模型假死：随着神经网络层数的不断加深，模型对于输入的数据开始不进行相应。这个问题的具体原因没在论文里看到，个人理解是由于层之间的非线性变换使得数据分布变换置导数较小的区域，从而使得梯度消失。
• 过度平滑：由于图神经网络大多依靠聚合操作（mean，max，sum）的信息更新方式，这样随着层的不断堆叠，每个节点都会大量受到其他节点信息的影响，从而使得每个节点的embedding愈发趋同。这也是GNN一般不超过2层的原因。
• 难以并行计算：由于内存的限制，尤其是在大型图里面，图中的关联关系难以并行计算。

Contribution

提出了一种新的图神经网络模型Graph-Bert，只依赖注意力机制，不涉及任何图卷积和聚合操作。Graph-Bert 将原始图采样为多个子图，并且只利用attention机制在子图上进行表征学习，而不考虑子图中的边信息。因此Graph-Bert可以解决上面提到的传统GNN具有的性能问题和效率问题。

Method

Graph-Bert 主要由四部分组成:

1. 将原始图分解为无边子图集合，这一步属于预处理部分。具体来说，对于每个目标节点，根据节点之间的相似度分数选取前K个节点作为目标节点的上下文节点。
2. 节点输入特征的嵌入表示。本文考虑四种节点的特征：(1) raw feature vector embedding, (2) Weisfeiler-Lehman absolute role embedding, (3) intimacy based relative positional embedding, and (4) hop based relative distance embedding。这一步也是预处理。
3. 基于图transformer的节点表征学习编码器，编码器的输出作为学习到的节点特征表示。
4. 基于图transformer的解码器。主要考虑节点属性重建以及图结构恢复任务。

无边子图采样

基于图亲密度矩阵$S\in R^{|v|\ast |v|}$,对于节点 $v_i$,选取最大的top-k个亲密度更高的顶点，作为子图$g_i$，其中$S(i,j)$代表节点$v_i$和节点$v_j$的其密度。计算公式为：

$$S=\alpha \cdot (I-(1-\alpha )\cdot \bar{A}{)}^{-1}$$

其中$A=A{D}^{-1}$是列规范化邻接矩阵，$\alpha$是一个超参数，文中设置为0.5

对于每一个顶点，通过这种采样方式，得到无边子图集合$\mathcal{G}=\left\{g_1,g_2,\cdots ,g_{|v|}\right\}$,其中 g i = { V i , ∅ } g_i=\left\{\mathcal{V}_i,\emptyset\right\} gi​={ Vi​