深度学习-Graph Transformer Networks相关

Heterogeneous Graph(异质图)

图中每个节点有不同的类型,由这些节点之间关系定义的连边也有不同类型,如下例子:
在这里插入图片描述
区分:
同质图:图中所有节点的类型都相同,边类型只有一种的标准图

meta-path(元路径)

沿着节点的多跳路径,例如 P V P , P F P , I A P PVP, PFP, IAP PVP,PFP,IAP

针对元路径的attention

主要参考Graph Transformer Networks, Heterogeneous Graph Transformer, Path-Augmented Graph Transformer Network几篇文章:attention的计算主要参考Transformer结构,在元路径的生成和相似度计算上有些不同。

1. Heterogeneous Graph Transformer:

研究动机

现有的GNN方法的不足(以HAN, GTNs, HetGNN等方法为例):

  • 大多数方法需要为异质图设计元路径(GTNs除外);
  • 要不就是假定不同类别的节点/边共享相同的特征和表示空间,要不就是单独为某一类型的节点和边设计不同的不可共享的参数。这样的话不能充分捕获异质图的属性信息;
  • 大多数方法都没有考虑异质图的动态特征;
  • 不能建模Web-scale的异质图。

鉴于以上挑战,作者研究目标是:
(1)保留节点和边类型的有依赖关系的特征->引入attention;
(2)捕获网络的动态信息->引入相对时间编码(RTE)技术;
(3)避免自定义元路径;
(4)并且可扩展到大规模(Web-scale)的图上->设计异质的子图采样算法HGSampling。

由于(2)、(4)没有完全理解文中方法,所以暂时关注(1)、(3)

overall framework

在这里插入图片描述
整张异质图表示为 G ( V , E , A , R ) G(\mathcal{V, E, A, R}) G(V,E,A,R),其中 τ ( v ) : V → A \tau(v):\mathcal{V} \rightarrow \mathcal{A} τ(v):VA表示映射为某类型的节点,某类型的源节点表示为 τ ( s ) \tau(s) τ(s)(作为Key vector),某类型的目标节点表示为 τ ( t ) \tau(t) τ(t)(作为Query vector); ϕ ( v ) : E → R \phi(v):\mathcal{E} \rightarrow \mathcal{R} ϕ(v):ER表示映射为某类型的边,连接节点s和t的某类型的边表示为 ϕ ( e ) 。 \phi(e)。 ϕ(e)HGT模型仅将所有连接两个节点的一跳路径作为输入,不需人工定义路径,通过attention机制可以决定最重要的元路径

如图, H ( l − 1 ) H^{(l-1)} H(l1)表示来自上一层的节点表示,整个模型可以表达为:
H ( l ) [ t ] = σ ( A − L i n e a r τ ( t ) H ~ ( l ) [ t ] ) + H ( l − 1 ) [ t ] ( 1 ) H^{(l)}[t]=\sigma(A-Linear_{\tau(t)}\widetilde H^{(l)}[t] )+H^{(l-1)}[t] \quad (1) H(l)[t]=σ(ALinearτ(t)H (l)[t])+H(l1)[t](1)
H ~ ( l ) [ t ] = ⊕ ∀ s ∈ N ( t ) ( Attention H G T ( s , e , t ) ⊗ M e s s a g e H G T ( s , e , t ) ) ( 2 ) \widetilde H^{(l)}[t]=\oplus_{\forall s \in N(t)(\textbf{Attention}_{HGT}(s, e, t) \otimes Message_{HGT}(s, e, t)) } \quad (2) H (l)[t]=sN(t)(AttentionHGT(s,e,t)MessageHGT(s,e,t))(2)
注意到(1)包括两部分,左边是来自第l层所有邻居的信息,右边是t节点本身在第(l-1)层的信息,两部分结合得到t节点在第l层的最终表示,我们需要用 A − L i n e a r τ ( t ) A-Linear_{\tau(t)} ALinearτ(t)将向量映射回t节点类型的特征分布空间。由于小世界现象,我们可以使用少数几层,就捕获到整张图中的大部分关系了;本文中,我们遍历所有两跳路径(两层HGT),利用attention针对具体的下游任务自动地、隐式地学习并抽取出更重要的“元路径”作出如下图:
在这里插入图片描述

meta mutual attention

展开attention,与GAT研究同质图对比: Attention G A T ( s , t ) = S o f t m a x ∀ s ∈ N ( t ) ( v T ( W H ( l − 1 ) [ t ] ∣ ∣ W H ( l − 1 ) [ s ] ) ) \textbf{Attention}_{GAT}(s, t)=Softmax_{\forall s \in N(t)}(v^T(WH^{(l-1)}[t] || WH^{(l-1)}[s])) AttentionGAT(s,t)=SoftmaxsN(t)(vT(WH(l1)[t]WH(l1)[s]))我们在计算时假设s和t拥有相同的特征分布,所以使用了同一个投影矩阵W;但我们研究异质图时,不同类型的节点可以有不同的特征分布;
因此,我们对每种类型的源节点s使用 K − L i n e a r τ ( s ) K-Linear_{\tau(s)} KLinearτ(s)线性投影,对每种类型的目标节点t使用 Q − L i n e a r τ ( t ) Q-Linear_{\tau(t)} QLinearτ(t)线性投影,同时对它们的连边使用 W ϕ ( e ) A T T W_{\phi(e)}^{ATT} Wϕ(e)ATT,来捕获不同的关系。注意:这里并不是参数化每种类型的边,而是根据三元关系组 < τ ( s ) , ϕ ( e ) , τ ( t ) > <\tau(s), \phi(e), \tau(t)> <τ(s),ϕ(e),τ(t)>决定,每个元关系都有一组不同的映射矩阵,整个框架高度依赖于元关系 < τ ( s ) , ϕ ( e ) , τ ( t ) > <\tau(s), \phi(e), \tau(t)> <τ(s),ϕ(e),τ(t)>来参数化权重矩阵。

这样处理后,不同类型的节点和边就可以维护其特定的表示空间。同时,通过不同的边相连的节点仍然可以交互、传递、聚合信息,并且不受它们之间分布差异的限制。 从而只将一跳的边作为输入、不人为设计元路径,也能通过跨层的信息传递来合并不同类型的高阶邻居的信息。
使用多头注意力机制表示(i上标表示第i个头获得的信息):
在这里插入图片描述

  • 这里使用的计算相似度方法 [Luong’s multiplicative style ]: h i T W h j h_{i}^{T} W {h}_{j} hiTWhj
  • 另外不同类型的边对目标节点的贡献度不同, μ ∈ R ∣ A ∣ ∗ ∣ R ∣ ∗ ∣ A ∣ \mu \in \mathbb{R}^{|\mathcal{A}|*|\mathcal{R}|*|\mathcal{A}|} μRARA表示基于先验知识,对三元关系组 < τ ( s ) , ϕ ( e ) , τ ( t ) > <\tau(s),\phi(e), \tau(t)> <τ(s),ϕ(e),τ(t)>的attention的缩放
  • 与Transformer的区别在于:Transformer为所有的单词使用一组映射;而本文的方法中,每个元关系都有一组不同的映射矩阵
设计一系列参数的意义

(1)已有的一些方法

  • 建模知识图谱的关系图卷积网络(RGCN),为每种类型的边都维护了一个线性的映射权重。
  • HetGNN为不同类型的节点应用不同的RNNs来整合多模的特征。
  • HAN为不同的元路径定义的边维护了不同的权重,同时使用了语义级别的注意力机制,有区分性地聚合来源于不同元路径的信息。

(2)这些方法的不足

尽管这些方法都比GCN和GAT表现好,但是它们都没有充分利用异质图的属性信息,都是为边类型和节点类型单独地分配GNN权重矩阵。但是不同类型的节点数目和不同类型的边的数目差别很大,对于那些共现次数不多的关系类型,就很难为它们学习到准确的权重。

(3)考虑参数共享以实现更好的泛化

为了解决上述问题,HGT提出参数共享。对于给定的边 e = ( s , t ) e=(s, t) e=(s,t)其元关系为 < τ ( s ) , ϕ ( e ) , τ ( t ) > <\tau(s),\phi(e), \tau(t)> <τ(s),ϕ(e),τ(t)>。若使用三个交互矩阵分别建模 τ ( s ) , ϕ ( e ) , τ ( t ) \tau(s),\phi(e), \tau(t) τ(s),ϕ(e),τ(t)这三个元素,则主要参数就可以共享。这样的参数共享使得出现频次较少的类型的边,也能实现快速的自适应和泛化;另一方面,使用较少的参数,仍然实现了保留不同类型边的特征

例如“第一作者”和“第二作者”这两种关系的源节点都是author,目标节点都是paper。从一种关系学习到的author和paper的知识可以快速转换并应用到另一种关系中。

(4)HGT和现有方法的主要不同

  • 与单独处理节点类型和边类型不同,作者使用元关系 < τ ( s ) , ϕ ( e ) , τ ( t ) > <\tau(s),\phi(e), \tau(t)> <τ(s),ϕ(e),τ(t)>来分解交互矩阵和转换矩阵,使得HGT在使用等量的参数甚至更少的参数的情况下,捕获不同关系中普通的和特定的信息。
  • 不需要预先定义好元路径,使用神经网络框架聚合高阶的异质邻居的信息,自动地学习到元路径的重要性程度。(后面两点暂时不展开讨论)
  • 大多数以往的方法没有考虑到动态图,HGT使用相对时间编码技术考虑到了时序信息。
  • 现有的异质GNN方法都不能应用在Web-scale的图上,本文提出的HGSampling采样方法可以用于Web-scale图(十亿级别)的训练。

message passing

从源节点向目标节点传递信息,这一步是和互注意力的计算并行的,目的是将不同边的元关系合并到消息传递过程中,来缓解不同类型的节点和边分布的差异性。
在这里插入图片描述
先使用 M − L i n e a r τ ( s ) M-Linear_{\tau(s)} MLinearτ(s)将特定类型的源节点s映射成message向量,然后对特定类型的边维护一个参数矩阵 W ϕ ( e ) M S G W_{\phi(e)}^{MSG} Wϕ(e)MSG

与baseline对比的一个tip: 对不同类型的节点进行线性变换,将异质数据映射到同一分布中;然后就能用处理同质图的算法来处理,最后将结果与HGT进行比较。

2.Graph Transformer Networks

研究动机

现有的GNN方法的不足:

  • 采用了two-stage方法:先根据人为设定的元路径将异质图转化为同质图,再在其上面应用处理同质图的GNN算法:
    • 人为设定的元路径不能充分利用图中的信息,且将会在很大程度上影响下游任务的准确率;
    • 在固定且同质的图上进行运算,如果图上有噪声(缺失连边或者错误连边)就会导致与图上错误的邻居进行无效的卷积。

鉴于以上问题,作者研究目标是:

  • 使用多个候选的原始邻接矩阵生成新的元路径图结构,在新图上进行更有效的图卷积,从而学习到更强的节点表示。

overall framework

在这里插入图片描述

研究的异质图同样可以表示为 G ( V , E , T v , T e ) G(\mathcal{V, E, T^v, T^e}) G(V,E,Tv,Te),其中 f ( v ) : V → T v f(v):\mathcal{V} \rightarrow \mathcal{T^v} f(v):VTv表示映射为某类型的节点, f ( e ) : E → T e f(e):\mathcal{E} \rightarrow \mathcal{T^e} f(e):ETe表示映射为某类型的边。每个邻接矩阵 A k A_k Ak代表某一种类型的边的关系,因此假如从 v 1 v_1 v1 v l + 1 v_{l+1} vl+1经过的元路径为 ( t 1 , t 2 , . . . , t l ) (t_1, t_2, ..., t_l) (t1,t2,...,tl),其中 t l ∈ T e t_l \in \mathcal{T^e} tlTe,那么 v 1 ⟶ t 1 v 2 ⟶ t 2 . . . ⟶ t l v l + 1 v_1 \stackrel{t_1}{\longrightarrow} v_2 \stackrel{t_2}{\longrightarrow} ... \stackrel{t_l}{\longrightarrow} v_{l+1} v1t1v2t2...tlvl+1可以由一系列邻接矩阵的矩阵乘法表示:
A P = A t l . . . A t 2 A t 1 A_P=A_{t_l}...A_{t_2}A_{t_1} AP=Atl...At2At1

一个前提:
对于无向图GCN的卷积操作表示为:
H ( l + 1 ) = σ ( D ~ − 1 2 A ~ D ~ − 1 2 H ( l ) W ( l ) ) H^{(l+1)}=\sigma(\widetilde{D}^\frac{-1}{2}\widetilde{A}\widetilde{D}^\frac{-1}{2}H^{(l)}W^{(l)}) H(l+1)=σ(D 21A D 21H(l)W(l))
对于有向图表示为:
H ( l + 1 ) = σ ( D ~ − 1 A ~ H ( l ) W ( l ) ) H^{(l+1)}=\sigma(\widetilde{D}^{-1}\widetilde{A}H^{(l)}W^{(l)}) H(l+1)=σ(D 1A H(l)W(l))
可见GCN是在固定且同质的图上进行卷积操作,只有针对节点的线性转换参数 H ( l ) W ( l ) H^{(l)}W^{(l)} H(l)W(l)是可学习的。

整个模型架构可以看成是:在由GT层学习到的多个元路径图上进行GCN,从而解决节点分类任务。

1.使用attention机制筛选邻接矩阵 Q t l Q_{t_l} Qtl

(注:图中的例子特指元路径为2的情况,因此选出分别表示两种类型的边的邻接矩阵)GT层从候选的邻接矩阵 A \mathbb{A} A(每一片都代表一种边类型)中选择出两个图结构 Q 1 , Q 2 Q_1, Q_2 Q1,Q2;每一个被选出来的图结构都可以看成是在原邻接矩阵 A \mathbb{A} A上应用了attention,为各个片分配了不同的权重,加权求和得到新的邻接矩阵 Q t l = ∑ t l ∈ T e α t l ( l ) A t l Q_{t_l}=\sum \limits_{t_l \in \mathcal{T}^e}\alpha_{t_l}^{(l)}A_{t_l} Qtl=tlTeαtl(l)Atl

2.将选择出的邻接矩阵 Q i Q_i Qi组合得到新的图结构:

采用矩阵相乘得到新的邻接矩阵 A ( l ) = Q 1 Q 2 A^{(l)}=Q_1Q_2 A(l)=Q1Q2
为了数值稳定,使用度矩阵进行归一化 A ( l ) = D − 1 Q 1 Q 2 A^{(l)}=D^{-1}Q_1Q_2 A(l)=D1Q1Q2;由此可以进一步推广:长度为l的元路径对应的邻接矩阵 A P A_P AP可以表示为堆叠l层GT层:
A P = ( ∑ t 1 ∈ T e α t 1 ( 1 ) A t 1 ) ( ∑ t 2 ∈ T e α t 2 ( 2 ) A t 2 ) . . . ( ∑ t l ∈ T e α t l ( l ) A t l ) A_P=(\sum \limits_{t_1 \in \mathcal{T}^e}\alpha_{t_1}^{(1)}A_{t_1})(\sum \limits_{t_2 \in \mathcal{T}^e}\alpha_{t_2}^{(2)}A_{t_2})...(\sum \limits_{t_l \in \mathcal{T}^e}\alpha_{t_l}^{(l)}A_{t_l}) AP=(t1Teαt1(1)At1)(t2Teαt2(2)At2)...(tlTeαtl(l)Atl)
采用归一化表达为:
在这里插入图片描述
在这里插入图片描述
即元路径 ( t 1 , t 2 , . . . , t l ) (t_1, t_2, ..., t_l) (t1,t2,...,tl)的贡献度计算为 ∏ i = 0 l α t i l \prod_{i=0}^l \alpha_{t_i}^l i=0lαtil,这个贡献度就代表了在预测任务中某条特定元路径的重要性。因此GTN可以自适应地学习到对特定任务较重要的元路径。

由于生成的元路径长度等于GT层的层数,堆叠的层数越多,生成的元路径越长;堆叠多层后原始图中的连边可能不存在了,但实际上有的时候短的元路径也很重要。
为了学习到包含原始图中连边的长的元路径和短的元路径,在 A \mathbb{A} A中加入单位矩阵 I I I,即 A 0 = I A_0=I A0=I,这样,当有l层GT层时,就可以学习到长度为 1 ∼ l 1 \sim l 1l的元路径。

为了同时生成多种类型的元路径,将图1中卷积的输出通道设置为C,表示生成C条元路径,l表示生成的元路径的最大长度。在l个GT层堆叠后,将GCN应用于元路径张量 A l ∈ R N × N × C \mathbb{A}^l\in R^{N\times N\times C} AlRN×N×C的每个通道,并将多个节点的向量表示拼接起来:
Z = ∣ ∣ i = 1 C σ ( D ~ i − 1 A ~ i l X W ) Z=||_{i=1}^C\sigma(\widetilde{D}_i^{-1}\widetilde{A}_i^{l}XW) Z=i=1Cσ(D i1A ilXW)
其中 A ~ i ( l ) \widetilde{A}_i^{(l)} A i(l) A ( l ) \mathbb{A}^{(l)} A(l)第i个通道的邻接矩阵, D ~ i − 1 \widetilde{D}_i^{-1} D i1 A ~ i ( l ) \widetilde{A}_i^{(l)} A i(l)的度矩阵
此时Z代表了节点在C个元路径图中的表示,且元路径的长度最长为l,将Z用于有监督的节点分类任务,分类器的结构为:输入到两层稠密层,经过一层softmax,损失函数使用交叉熵函数。 因此,整个模型架构可以看成是:在由GT层学习到的多个元路径图上进行GCN,从而解决节点分类任务。


参考

【论文解读 WWW 2020 | HGT】Heterogeneous Graph Transformer
【论文解读 NIPS 2019 | GTNs】Graph Transformer Networks

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值