【论文阅读】MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding

摘要

异质图嵌入是将异质图丰富的结构和语义信息嵌入到低维节点表示中。针对此问题，本文提出了一种新的模型MAGNN。具体来说，MAGNN使用了三个主要组件：

• 用于封装输入节点属性的节点内容转换
• 用于合并中间语义节点的元路径内部聚合
• 用于合并来自多个元路径的消息的元路径间聚合

在三个真实的异质图数据集上进行了大量的节点分类、节点聚类和链路预测实验表明，MAGNN有更准确的预测结果。

1 引言

现有的模型通常是在异质图中定义多个元路径，以捕获复合关系（语义）并指导邻域选择。虽然这些基于元路径的嵌入方法在节点分类和链路预测等各种任务上优于传统的网络嵌入方法，但它们仍然存在以下至少一个限制：

• 忽略节点内容特征，因此很少在具有丰富节点内容特征的异质图上表现良好（e.g.，metapath2vec，ESim，HIN2vec，HERec）。
• 只考虑两个端节点，从而丢弃了元路径上的所有中间节点，从而导致信息丢失（e.g.，HERec，HAN）。
• 只依赖于单个元路径，因此需要人工选择元路径，丢失了来自其他元路径的部分信息，导致性能不佳（e.g.，metapath2vec）。

为了解决以上问题，本文提出了一种新的用于异质图嵌入的元路径聚合图神经网络（MAGNN）。

MAGNN由三个部分组成：

1. 节点内容转换
2. 元路径内部聚合
3. 元路径间的聚合

具体来说，MAGNN首先利用特定类型的线性变换，将不同类型节点的可能不同维度的属性信息投影到相同的潜在向量空间。接下来，对每个元路径应用具有注意力机制的元路径内部聚合。在元路径内部聚合过程中，每个目标节点都会从连接该节点与其基于元路径的邻居的元路径实例中提取和组合信息。通过这种方式，MAGNN从邻居节点和两者之间的元路径上下文中捕获异质图的结构和语义信息。在元内聚合之后，MAGNN进一步利用注意力机制进行元路径间的聚合，将从多条元路径获得的潜在向量融合到最终的节点嵌入中。

贡献：

• 提出了一种新的用于异质图嵌入的元路径聚合图神经网络。
• 设计了几个候选编码器函数，用于从元路径实例中提取信息，其中一个基于复杂空间中的关系旋转思想。
• 在IMDb和DBLP数据集上进行了大量的节点分类和节点聚类的实验，并且在Last.fm数据集上进行了链路预测，以评估提出的模型的性能。实验表明，MAGNN学习到的节点嵌入始终优于其他最先进的 BaseLine 生成的节点嵌入。

2 准备工作

本节给出了与异质图相关的一些重要术语的正式定义。相关定义的图示见图1。

异质图（Heterogeneous Graph）：
$G=(V，E)$，包含节点集$V$和连接集$E$。异质图还包含一个节点类型映射函数$\varphi ：V\to A$和一个连接类型映射函数$\psi ：E\to R$。$A$和$R$表示预定义的对象类型和连接类型的集合，其中$|A|+|R|>2$。

元路径（Metapath）：
元路径$P$定义为$A_1\underrightarrow{R_1}{A}_2\underrightarrow{R_2}...\underrightarrow{R_l}{A}_{l+1}$（缩写为$A_1{A}_2\cdot \cdot A_{l+1}$），它描述了对象$A_1$和$A_{l+1}$之间的复合关系$R=R_1◦R_2\cdot \cdot R_l$，其中$◦$表示关系上的组合算子。

元路径实例（Metapath Instance）：
给定异质图的元路径$P$，$P$的元路径实例$p$被定义为图中遵循$P$定义的模式的节点序列。

基于元路径的邻居（Metapath-based Neighbor）：
给定异质图的元路径$P$，节点$v$的基于元路径的邻居$N_v^P$被定义为通过$P$的元路径实例与节点$v$连接的节点集。由两个不同的元路径实例与$v$相连的同一个邻居节点，被视为$N_v^P$中的两个节点。注意，如果$P$是对称的，$N_v^P$包括$v$本身。

例如，考虑到图1中的元路径UATA，艺术家Queen是用户Bob的基于元路径的邻居。 这两个节点通过元路径实例Bob-Beatles-Rock-Queen连接，Beatles和Rock为这个元路径实例的中间节点。

基于元路径的图（Metapath-based Graph）：
给定异质图$G$的元路径$P$，基于元路径的图$G^P$是由图$G$中所有基于元路径$P$的邻居对构造的图（去掉了元路径实例的中间节点，只保留了元路径实例两端的节点，并在两点间建立起连边）。注意，如果$P$是对称的，则$G^P$是齐次图。如图1(d)所示。

异质图嵌入（Heterogeneous Graph Embedding）：
给定异质图$G=(V，E)$以及节点属性矩阵$X_{A_i}\in R^{|V_{A_i}|\times d_{A_i}}$，其中$A_i\in A$表示节点类型，异质图嵌入是为了学习所有$v\in V$的$d$维节点表示$h_v\in R^d$（$d\ll |V|$），以捕获$G$中涉及的丰富的结构信息和语义信息。

表1总结了本文中常用的符号，以便快速参考。

3 相关工作

3.1 GNN

GNN的目标是为每个节点$v$学习一个低维向量表示$h_v$，它可以用于许多下游任务，如节点分类、节点聚类和链路预测。这背后的原理是每个节点自然地由其自身的特征及其邻域来定义。遵循这一思想，并基于图信号处理，首次开发了基于频谱的GNNs，用于在图的傅里叶域中进行图卷积。ChebNet利用切比雪夫多项式对图傅里叶域中的图信号（节点特征）进行滤波。GCN约束和简化了ChebNet的参数，以缓解过拟合问题，提高性能。然而，基于频谱的GNNs具有较差的可扩展性和泛化能力，因为它们需要整个图作为每一层的输入，并且它们的滤波器依赖于图拉普拉斯的特征基，这与特定的图结构密切相关。

基于空域的GNNs可以解决这两个问题。这类GNN通过聚合每个节点的邻居的特征信息，直接在图域中定义卷积，从而模仿CNN对图像数据的卷积操作。下面列举了一系列基于空域的方法。

以上提到的所有GNN要么是为齐次图而构建的，要么是为具有特殊结构的图而设计的，就像在用户-商品推荐系统中一样。由于大多数现有的GNN在相同的共享嵌入空间中操作节点特征，因此它们不能自然地适应具有节点特征位于不同空间中的异质图。

3.2 异质图嵌入

异质图嵌入的目的是将异质图中的节点投影到低维向量空间中。metapath2vec生成由单个元路径引导的随机游走，该随机游走随后被输入到skip-gram模型来生成节点嵌入。给定用户定义的元路径，ESIM通过从采样的正、负元路径实例中学习来生成节点嵌入。HIN2vec执行多个预测训练任务来学习异质图的节点和元路径的表示。给定一个元路径，HERec将异质图转换为基于元路径的邻居的齐次图，并应用DeepWalk模型来学习目标类型的节点嵌入。与HERec一样，HAN以类似的方式将异质图转换为多个基于元径的齐次图，但它使用图注意力网络体系结构来聚合来自邻居的信息，并利用注意力机制组合各种元路径。PME通过将节点嵌入投影到相应的关系空间以及优化投影节点之间的接近性来学习节点嵌入。

然而，上述异质图嵌入方法都有以下局限性：要么忽略节点内容特征，要么丢弃元路径上的所有中间节点，要么只使用单个元路径。

4 方法

图2说明了单个节点的嵌入生成。

4.1 节点内容转换

对于与节点属性相关联的异质图，不同的节点类型可能具有不同的特征向量维数。即使它们恰好是相同的维度，它们也可能位于不同的特征空间中。例如，texts的$n_1$维 bag-of-words向量和images的$n_2$维强度直方图向量即使$n_1=n_2$也不能直接一起操作。在一个统一的框架中处理不同维度的特征向量是很麻烦的。因此，需要先将不同类型的节点特征投影到相同的潜在向量空间中。

因此，在将节点向量输入MAGNN之前，对每一种类型的节点应用特定类型的线性变换，以将特征向量投射到同一个潜因子空间中。对于节点$v\in V_A$，进行如下的转换：

其中，$x_v\in R^{d_A}$是原始特征向量，$h_v^{\prime }\in R^{d^{\prime }}$是节点$v$的投影潜在向量。$W_A\in R^{d^{\prime }\times d_A}$是$A$类型节点的参数权值矩阵。

节点内容转换处理源自节点内容特征的图的异构性。应用此操作后，所有节点的投影特征都共享相同的维度，从而方便了下一个模型组件的聚合过程。

4.2 元路径内部聚合

给定一个元路径$P$，元路径内部聚合层通过编码$P$的元路径实例，学习在目标节点中嵌入的结构信息和语义信息，基于元路径的邻居，以及它们之间的上下文。设$P(v,u)$是连接目标节点$v$和基于元路径的邻居$u\in N_v^P$的元路径实例，$P(v,u)$的中间节点为 { m P ( v , u ) } = P ( v , u ) \ { u , v } \{m^{P(v,u)}\}=P(v,u)\backslash\{u,v\} {mP(v,u)}=P(v,u)\{u,v}。元路径内部聚合使用一个特殊的元路径实例编码器，将沿着元路径实例的所有节点特征转换为单个向量，

其中，$h_{P(v,u)}\in R^{d^{\prime }}$。为了简单起见，这里使用$P(v,u)$表示单个实例，尽管可能有多个实例连接这两个节点。第4.4节介绍了几种元路径实例编码器的选择。

将元路径实例编码为向量表示后，利用一个图注意力层对针对目标节点$v$的且元路径为$P$的多个元路径实例进行加权和。关键思想是，不同的元路径实例将在不同程度上有助于目标节点的表示。可以通过学习每个元路径实例的归一化重要性权重${\alpha }_{vu}^P$，然后对所有实例进行加权求和来建模：

其中，$a_P\in R^{2d^{\prime }}$是元路径$P$的参数化注意力向量，$\Vert$表示向量连接操作。$e_{vu}^P$元路径实例$P(v,u)$对节点$v$的重要性，然后用softmax函数对所有$u\in N_v^P$进行了归一化。然后，上述归一化重要性权重${\alpha }_{vu}^P$被用来计算关于节点$v$的元路径实例的表示的加权组合。最后，通过一个激活函数$\sigma (\cdot )$输出。

上述注意力机制也可以扩展到多头，这有助于稳定学习过程，减少图的异质性引入的高方差。也就是说，执行$K$个独立的注意力机制，然后将它们的输出进行串联，得出如下公式：

其中，$[{\alpha }_{vu}^P{]}_k$是元路径实例$P(v,u)$对第$k$个注意力头处节点$v$的归一化重要性。

总结：
给定投影特征向量$h_u^{\prime }\in R^{d^{\prime }}，\forall u\in V$以及以节点类型$A$开始或结束的一组元路径 P A = { P 1 , P 2 , . . . , P M } P_A=\{P_1,P_2,...,P_M\} PA​={P1​,P2​,...,PM​}，元路径内部聚合为目标节点$v\in V_A$生成$M$个针对特定元路径的向量表示，记做 { h v P 1 , h v P 2 , . . . , h v P M } \{h^{P_1}_v,h^{P_2}_v,...,h^{P_M}_v\} {hvP1​​,hvP2​​,...,hvPM​​}。每个$h_v^{P_i}\in R^{d^{\prime }}$（假设$K=1$）可以解释为节点$v$的$P_i$-元路径实例的总结，展示了节点$v$所包含的语义信息的一个方面。

4.3 元路径间的聚合

在聚合了每个元路径内的节点和边数据后，需要使用一个元路径间聚合层来组合所有元路径所显示的语义信息。从上一步可知，对于节点类型$A$，生成了$|V_A|$组潜在向量： { h v P 1 , h v P 2 , . . . , h v P M } \{h^{P_1}_v,h^{P_2}_v,...,h^{P_M}_v\} {hvP1​​,hvP2​​,...,hvPM​​}，其中$v\in V_A$，$M$是$A$类型节点的元路径的数量。一种直接的元路径间聚合方法是采用这些节点向量的元素平均值。我们通过利用注意力机制来为不同的元路径分配不同的权重来扩展这种方法。这种操作是合理的，因为元路径在异质图中并不同等重要。

首先，针对每条元路径$P_i\in P_A$，对所有节点$v\in V_A$在特定元路径下的节点向量进行转换，然后取平均：

其中，$M_A\in R^{d_m\times d^{\prime }}$与$b_A\in R^{d_m}$都是可学习的参数。

然后，利用注意力机制融合节点$v$的特定元路径的节点向量：

其中，$q_A\in R^{d_m}$是$A$类型节点的参数化注意向量。${\beta }_{P_i}$可以解释为元路径$P_i$对$A$类型节点的相对重要性。在计算出每个$P_i\in P_A$的${\beta }_{P_i}$后，就可以对$v$的所有特定元路径的节点向量进行加权和。

最后，MAGNN使用线性转换和一层非线性函数，将节点嵌入投影到所需输出维数的向量空间：

其中，$W_o\in R^{d_o\times d^{\prime }}$是权重矩阵。这个映射针对具体任务有所不同，可以看成是用于节点分类的线性分类器，也可以看成是用于链路预测的具有节点相似性度量的空间投影。

4.4 元路径实例编码器

本节对应4.2节(2)中的元路径实例编码函数$f_{\theta }$，作者给出了三个候选的编码函数：

• Mean encoder： 该函数取沿元路径实例$P(v,u)$的节点向量的元素均值。
  
• Linear encoder： 对Mean encoder的扩展，附加一个线性变换。
  
• Relational rotation encoder： 本文还研究了一种基于在复杂空间的关系旋转的元路径实例编码器，这是一种知识图嵌入操作。上面介绍的Mean encoder和Linear encoder将元路径实例视为一个集合，从而忽略了元路径序列结构中嵌入的信息。关系旋转提供了一种建模这种知识的方法。给定$P(v,u)=(t_0,t_1,...,t_n)$，$t_0=u$，$t_n=v$，令$R_i$为节点$t_{i-1}$与$t_i$之间的关系，$r_i$为$R_i$的关系向量，关系旋转编码器表示为
  
  其中，$h_{t_i}^{\prime }$与$r_i$均为复杂向量，$\odot$表示元素间乘积。可将一个维数为$d^{\prime }$的实向量看作一个维数为$d^{\prime }/2$的复向量，其前$d^{\prime }/2$维为真实的部分，后$d^{\prime }/2$维为虚构的部分。

MAGNN前向传播算法如下：

4.5 训练

经过上述的三个部分，得到了最终的节点表示，可用于下游任务。根据不同任务的特点和节点标签的可用性，我们可以在两种主要的学习范式中训练MAGNN，即半监督学习和无监督学习。

4.5.1 半监督学习

在一小部分标记节点的指导下，可以通过反向传播和梯度下降来最小化交叉熵来优化模型的权重，从而学习针对异质图的有意义的节点嵌入。这种半监督学习的交叉熵损失被表述为：

其中，$V_L$是带标签的节点集，$C$是类数，$y_v$是节点$v$的one-hot标签向量，$h_v$是节点$v$的预测概率向量（输出向量表示）。

4.5.2 无监督学习

在没有任何节点标签的情况下，可以通过负采样技术来最小化如下的损失函数：

其中，$\sigma (\cdot )$是sigmoid函数，$\Omega$是观察到的（正）节点对的集合，${\Omega }^{-}$是从所有未观察到的节点对中采样的负节点对的集合($\Omega$的补充）。

5 实验

实验旨在解决问题：

1. MAGNN在节点分类任务上表现如何？
2. MAGNN在节点聚类任务上表现如何？
3. MAGNN在预测节点对之间的合理链接（链路预测）任务上表现如何？
4. MAGNN的三个主要组成部分对其有什么样的影响？
5. 如何理解不同图嵌入方法的表示学习能力？

$IMDb$和$DBLP$数据集用于节点分类和节点聚类，$Last.fm$用于链路预测。

参考博客：
【论文解读 WWW 2020 | MAGNN】Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
论文笔记：WWW 2020 MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding