异构神经网络（3）MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding

MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding这篇文章发表于WWW 2020。

Motivation

现在GNN（图神经网络）体系中先进的方法都假设输入是同构图，无法用于异构图的嵌入表示。现存的异构图嵌入方法都是基于meta-path的概念（具体概念可以参考前两篇异构神经网络论文），但这些方法都存在至少以下的一个问题：

• 模型没有利用节点的内容信息特征，所以往往对于节点信息丰富的异构图，表现的不是很好；
• 模型舍弃了meta-path的所有中间节点，而只考虑两个端节点，这样会造成信息丢失（比如这篇）；
• 模型依赖于一个单独的meta-path来编码异构图，需要一个手动的选择meta-path的过程，这样就损失了其他meta-path的信息，导致了不太好的效果。

Contribution

• 使用了node content transformation，映射异构节点的属性到同一个潜在向量空间；
• 对每个meta-paht使用intra-metra aggregation（with attention mechanism），同时聚合了邻居节点（meta-path的另一端节点）和在邻居节点之间的内容信息（meta-path上的中间节点）；
• 使用inter-meta aggregation（with attention mechanism），聚合多个meta-path的潜在嵌入向量，得到最终的节点embeddings。

Preliminary

• 异构图：$\mathcal{G}=(V,\mathcal{E})$，$A$表示节点类型集合，$R$表示边类型集合。
• meta-path：$$A_1\stackrel{R_1}{\to }{A}_2\stackrel{R_2}{\to }\dots \stackrel{R_l}{\to }{A}_{(l+1)}$$
  表示节点类别$A_1{A}_{l+1}$之间的一种组合关系：$R=R_1\circ R_2\circ \dots \circ R_l$，比如两个电影之间的关系，MAM，表示movie-actor-movie，两个电影都有同一个演员；MDM，表示movie-director-movie，两个电影是同一个导演。
• meta-path instance：对于meta-path $P$，其instance $p$表示遵循$P$模式定义的节点序列；
• meta-path neighbor：$N_v^P$表示节点$v$经过$P$的meta-instance 与节点$v$相连的节点；
• metapath-based graph：${\mathcal{G}}^P$表示所有基于meta-path $P$的节点对构成的图，如果P是对称的，那么${\mathcal{G}}^P$是同构图；
• heterogeneous graph embedding：对于异构图$\mathcal{G}=(V,\mathcal{E})$，节点特征为$X_{A_i}\in R^{|V_{A_i}|\times d_{A_i}}$，$A_i$表示节点类别，异构图嵌入的任务是对于所有节点$v$学习$h_v\in R^d$，且这个嵌入能捕捉到图$\mathcal{G}$丰富的结构和语义信息。

Model

Node Content Transformation

这一步是为了便于后续的聚合操作，对于不同的节点特征，学习对应的映射向量，将不同类别的节点特征向量映射到同一个特征空间中。

不同类别的节点有着不同维度的特征向量，即使这些特征向量在相同的维度，但也许是不同的特征空间。所以首先需要映射不同类别的节点特征到相同的潜在空间中。
对于节点$v\in V_A$，也就是类别为$A$的节点，其映射为：
$$h_v^{\prime }=W_A\cdot x_v^A\text{\hspace{1em}(1)}$$ $x_v^A$表示节点$v$的原始特征向量，$h_v^{\prime }$表示映射后的潜在特征向量。

Intra-metapth Aggregation

这一步是为了学习与$v$相连的同一个metapath的信息，包括the meta-path based neighbors和the context between。首先是编码metapath instances。
编码的做法是下式，具体设计在后续会介绍：
h P ( v , u ) = f θ ( P ( v , u ) ) = f θ ( h v ′ , h u ′ , { h t ′ , ∀ t ∈ { m P ( v , u ) } } ) (2) h_{P(v,u)}=f_\theta(P(v,u))=f_\theta(h_v',h_u',\{h_t',\forall t∈\{m^{P(v,u)}\}\})\tag{2} hP(v,u)​=fθ​(P(v,u))=fθ​(hv′​,hu′​,{ht′​,∀t∈{mP(v,u)}})(2)
在得到基于$P$的编码后，需要聚合所有与目标节点$v$相关的metapath instances $P$的编码，具体的做法是针对每个metapath $P$，学习归一化的权重${\alpha }_{vu}^P$：
$$\begin{array}{rl}{e}_{vu}^P& =\text{ LeakyReLU }\left({\mathrm{a}}_P^T\cdot \left[{\mathbf{h}}_v^{\prime }\Vert {\mathbf{h}}_{P(v,u)}\right]\right)\\ {\alpha }_{vu}^P& =\frac{\exp \left(e_{vu}^P\right)}{{\sum }_{s\in {\mathcal{N}}_v^P}\exp \left(e_{vs}^P\right)}\\ {\mathbf{h}}_v^P& =\sigma \left(\sum _{u\in {\mathcal{N}}_v^P}{\alpha }_{vu}^P\cdot {\mathbf{h}}_{P(v,u)}\right)\end{array}\text{\hspace{1em}(3)}$$同样，作者也给出了multiple head attention的表示。
从而得到了节点$v$对于metapath $P$的表示。

Inter-metapath Aggregation

这一步是为了学习聚合不同metapath的信息。
对于节点类别$A$，metapaths集合 P A = { P 1 , P 2 , … , P M } P_A=\{P_1,P_2,\ldots,P_M\} PA​={P1​,P2​,…,PM​}，在上一步中分别学习到了其潜在的表示向量 { h v P 1 , h v P 2 , … , h v P M } \{h_v^{P_1},h_v^{P_2},\ldots,h_v^{P_M}\} {hvP1​​,hvP2​​,…,hvPM​​}。

• 首先，平均所有节点$v\in V_A$，关于特定的metapath $P_i$潜在表示向量，得到$s_{P_i}$。$${\mathbf{s}}_{P_i}=\frac{1}{\left|{\mathcal{V}}_A\right|}\sum _{v\in {\mathcal{V}}_A}\tanh \left({\mathbf{M}}_A\cdot {\mathbf{h}}_v^{P_i}+{\mathbf{b}}_A\right)$$
  $M_A$和$b_A$是可学习参数，用于嵌入表示的线性变换。
• 然后使用注意力机制，来学习metapath $P_i$对于类别$A$的节点的重要性，用${\beta }_{P_i}$表示。$$\begin{array}{l}{e}_{P_i}={\mathrm{q}}_A^{\top }\cdot {\mathrm{s}}_{P_i}\\ {\beta }_{P_i}=\frac{\exp \left(e_{P_i}\right)}{{\sum }_{P\in {\mathcal{P}}_A}\exp \left(e_P\right)}\\ {\mathbf{h}}_v^{{\mathcal{P}}_A}={\sum }_{P\in {\mathcal{P}}_A}{\beta }_P\cdot {\mathbf{h}}_v^P\end{array}$$
  得到了聚合$P_A$中所有metapath后的，节点$v$的表示$h_v^{P_A}$。
• 最终，再用一个线性变换和非线性变换来映射到最终的输出维度：$${\mathbf{h}}_v=\sigma \left({\mathbf{W}}_o\cdot {\mathbf{h}}_v^{{\mathcal{P}}_A}\right)$$

Metapath Instance Encoders

介绍了平均、线性以及relational rotation encoder，用于聚集metapath instance中端节点和中间节点的信息。
前面两种方法认为metapath instance是一个集合，而忽略了其中的序列结构。最后一种则考虑了instance内部的序列关系：$$\begin{array}{l}{o}_0=h_{t_0}^{\prime }=h_u^{\prime }\\ o_i=h_{t_i}^{\prime }+o_{i-1}\odot {\mathbf{r}}_i\\ h_{P(v,u)}=\frac{o_n}{n+1}\end{array}$$