【论文解读 | AAAI2021】Embedding Heterogeneous Networks into Hyperbolic Space Without Meta-path

双曲空间 不需要元路径
另一篇双曲空间 HHNE

摘要

在现实世界中发现的网络是众多而多变的。网络的一种常见类型是异构网络，其中的节点(和边)可以是不同类型的。因此，人们一直在努力学习这些异构网络在低维空间中的表示。然而，现有的异构网络嵌入方法大多存在以下两个缺点:(1)目标空间通常是欧氏空间。相反，最近的许多研究表明，复杂网络可能具有非欧几里得的双曲潜解剖结构。(2)这些方法通常依赖于元路径，而元路径选择需要特定领域的先验知识。此外，同一网络上不同的下行流任务可能需要不同的元路径来生成特定于任务的嵌入。本文提出了一种新的自引导随机游走方法，该方法不需要元路径将异构网络嵌入到双曲空间中。我们对两个公共数据集上的网络重建和链路预测任务进行了深入的实验，表明我们的模型在所有任务中都优于各种已知的基线。

1 引言

近几十年来，研究人员可以获得的网络数据越来越多。通过将网络结构编码成低维嵌入，研究者无需借助特征工程就可以挖掘和建模网络。
在自然语言处理领域，基于相同上下文中的共现(类似于图中的局部邻近)为单词生成低维嵌入已经有很长的历史了。使用语言模型嵌入网络是由Perozzi等人在他们的作品DeepWalk中首次提出的(Perozzi, Al-Rfou, and Skiena 2014)。采用随机游走从网络中生成节点上下文，然后将其作为句子输入Skip-Gram模型(Mikolov et al. 2013)。这样，网络中相似的节点将具有相似的上下文，从而具有相互接近的相关嵌入。Grover等人提出了DeepWalk的一个扩展，称为node2vec (Grover and Leskovec 2016)，通过平滑地interpo宽度优先和深度优先采样，从而结合了不同的节点等价观点。
在这两篇开创性的论文之后，针对不同类型网络的表征学习的研究出现了爆炸式增长。一种划分先验工作的方法是对同质网络和异构网络的嵌入方法进行分离。同构网络只包含一种类型的节点。另一方面，异构网络有两种或更多类型的节点。例如，所有节点都是论文，所有边对应的引文都是齐次的引文网络。但是，如果我们将网络扩展到包括作者和场所作为节点，那么它就变成了一个异构网络。在这个网络中，边代表不同的关系。例如，作者到作者的边表示协作，而作者到论文的边表示作者身份等等。
不同的异构网络嵌入方法已经被提出(参见for instance, Dong, Chawla, and Swami 2017;Fu, Lee, Lei 2017;Hussein, Yang, Cudré-Mauroux 2018;他等人2019;Shi et al. 2018a;唐曲梅2015;Shi et al. 2018b;Wang, Zhang, and Shi 2019)。然而，据我们所知，除HHNE (Wang, Zhang, and Shi 2019)外，所有提出的方法都将异构网络嵌入到欧氏空间。本文提出了一种新的双曲空间异构网络嵌入方法。

双曲空间和欧几里德空间都可以保留某些性质，例如当使用保角变换时，两个向量之间的角度。然而，与欧几里德空间相比，双曲空间有两个主要优点。首先，双曲空间对层次结构具有较强的表示能力;例如，Sarkar(2011)表明，树可以以任意低失真嵌入到二维双曲空间(Poincaré disk)中。另一方面，Linial等人(1995)表明欧几里德空间不能表示具有低失真的树。相当数量的网络具有层次结构，这使得它们适合嵌入到双曲空间中。双曲空间的另一个优点是，它比欧几里德空间更好地表示高阶顶点，这在处理顶点的度服从幂律分布的复杂网络时很重要(即，在有许多大阶的枢纽的情况下)。

---

在充分利用双曲空间嵌入网络的优势的基础上，提出了一种将异构网络嵌入到双曲空间的新方法。如前所述，据我们所知，提出的将异构网络嵌入到双曲空间的唯一其他方法是HHNE (Wang, Zhang, and Shi 2019)。然而，HHNE也存在以下缺点:

• 它需要元路径来引导随机行走。已有文献表明，元路径的选择高度影响学习嵌入的质量(Hussein, yang, and Cudré-Mauroux 2018)，元路径的选择需要领域特定的先验知识。这使得HHNE不容易推广。
• 即使对于同一网络，HHNE也需要不同类型的元路径来训练具有不同类型边的下游任务(如论文作者和论文场地边的链接预测)。我们认为最好对所有的下游任务都有一个通用和一致的嵌入，减少了对训练模型的多次需要。
• HHNE将网络嵌入到aPoincaré球。但据我们所知，thePoincaré球上的梯度不能精确计算，需要对指数映射进行一阶近似，称为收缩(Bonnabel 2013)。

在本文中，我们提出了一种新的自引导随机游走方法来解决上述问题。我们的方法不需要元路径，并且在所有域和下流式任务中使用很少的非敏感参数。我们使用双曲面模型来嵌入网络，以避免缩回的近似。在两个公共数据集上，我们对网络重构和链接预测任务进行了深入的实验，结果表明，我们的模型在所有任务中都能取得较好的性能。

2 相关工作

同构网络嵌入
除了基于随机行走的方法DeepWalk和node2vec外，LINE (Tang et al. 2015)还提出了用于大规模网络嵌入的方法，能够保持一阶和二阶近似。Cao等人(2015)通过创建GraRep扩展了LINE，该方法在嵌入网络时保留了k步邻近性。他们的模型通过操纵图上定义的不同全局转移矩阵，直接捕捉图中顶点之间k值不同的k步关系信息，而不涉及缓慢和复杂的采样过程。SDNE (Wang, Cui, and Zhu 2016)也是LINE的扩展，它使用半监督深度自编码器模型来捕获网络中的一阶和二阶近似。HOPE (Ou et al. 2016)通过解决一个矩阵分解问题，学习了在有向网络中捕捉非对称高阶邻近性的顶点表示，而APP (Zhou et al. 2017)是另一种网络嵌入方法，通过使用aMonte Carloapproach来近似非对称根PageRankproximity (Song et al. 2009)，来捕获非对称邻近性。在双曲线嵌入领域，Nickel等人(2017)提出了一种学习符号数据层次表示的方法(PoincaréEmb);McDonald等人(2019)提出了一种“瞬移”行走方法来嵌入属性图，Ganea等人(2018)使用双曲锥作为一种启发式方法来嵌入有向无环图。我们之前的工作(Wang et al. 2020)也提出了一种将同构网络节点的结构角色相似度嵌入双曲空间的方法。

异构网络嵌入
为了处理异构网络，metapath2vec (Dong, Chawla, and Swami 2017)通过元路径引导的随机漫步扩展了DeepWalk和node2vec。HIN2V ec提出了一种基于不同关系类型和网络结构的多任务学习方法。JUST (Hussein, Y ang，和CudréMauroux 2018)提供了一种随机游走的跳跃/停留策略，以平衡异构边和均匀边。HeteSpaceyWalk (He et al. 2019)首先将元路径引导的随机行走形式化为一个高阶马尔可夫链过程，然后利用一种高效的随机行走，他们称之为异构个性化的空间随机行走。AspEm (Shi et al. 2018a)提出了网络方面的概念，并在基于多个方面的异构信息网络中保留语义信息。PTE (Tang, Qu, and Mei 2015)通过边的类型将一个网络分解为多个二部网络，从单跳邻域学习表示，HEER (Shi et al. 2018b)通过考虑类型的亲密度将其扩展。在双曲线嵌入领域，目前仅有一种异构嵌入方法，即HHNE (Wang, Zhang, and Shi 2019)，该方法利用元路径引导的随机漫步扩展metapath2vec，将节点嵌入到aPoincaré ball中。随着图神经网络(GNN)的发展，许多方法，如R-GCN (Schlichtkrull等人，2018年)、HGT (Hu等人，2020年)、HAN (Wang等人，2019年)和HetGNN (Zhang等人，2019年)将GNN用于异构网络。最后，知识库是一种特殊的异构网络。许多基于关系学习的知识库方法，如TransE (Bordes et al. 2013)、TransH (Wang et al. 2014)、RotatE (Sun et al. 2019)、DistMult (Y ang et al. 2014)、NKGE (Wang et al. 2018)和SACN (Shang et al. 2019)已被提出。

3 框架

在我们提出自引导随机游动之前，我们首先回顾元路径引导的随机游走。元路径用于异构图嵌入，因为这些图上的随机游动偏向于高度可见的节点类型。这意味着由随机游走生成的序列具有节点的偏态分布，高度可见的节点类型被过度表示。从这些序列中学习到的节点嵌入也将偏向于高度可见的域。因此，元路径被用来指导随机步行克服问题(Hussein,Yang，和Cudré-Mauroux 2018)。
在本节中，我们提出了一种非常简单但有用的自引导随机漫步方法，该方法可以在下一步的游走中自适应地改变每个节点类型的概率，并自动平衡上下文中的域分布。

双曲空间嵌入
双曲空间具有负曲率。有多种模型可以用来表示双曲空间，每个模型都有不同的优点。ThePoincaré ball模型是低维嵌入可视化的最佳模型。克莱因模型计算效率高，常用于爱因斯坦中点的计算。双曲面模型给出了梯度下降公式的封闭形式。因此，本文采用双曲面模型进行梯度计算。下面我们将介绍几个定义双曲面模型和其上的梯度所需的定义(Wilson和Leimeister 2018)。

一旦我们能够执行双曲线梯度下降，下一步是设计损失函数，这是一个嵌入的评估。在HEA T之后(McDonald and He 2019)，在生成自引导随机行走序列之后，使用滑动窗口来检查所有序列，并将窗口内出现的节点对添加到多setpto中，以作为所有用于训练的正样本对。从直观上看，两个节点之间的距离越远，存在联系的概率就越小

4 实验

在本节中，我们通过可视化来定性地评估我们提出的方法的性能，并在网络重构和链接预测任务上进行定量评估。我们将我们的方法与几个基线进行比较，并探索我们的方法对参数选择的敏感性。为了进行公平的比较，我们使用与HHNE完全相同的数据集、实验、设置和指标。

4.1 数据集

DBLP
Movies

4.2 实验设置

我们将该方法与几种同构和异构网络嵌入方法进行了比较。齐次方法有DeepWalk、LINE、node2vec和双曲线嵌入方法，PoincaréEmb。异构方法包括metapath2vec、JUST、PTE、Hin2V ec、HeteSpaceyWalk和双曲线嵌入法HHNE。请注意，最近关于图神经网络的许多工作都专注于设计图的学习机制，在大多数情况下，它们是端到端、有监督或半有监督的。因此，我们没有将它们包括在基线中，因为我们感兴趣的是将我们的方法与其他无监督的、专注于将网络转换为低维空间的网络嵌入方法的性能进行比较。

对于基于元路径引导随机游动的方法，在DBLP数据集上的网络重建和链路预测实验中，对关系“P-A”采用APA，对关系“P-V”采用APVPA。在MovieLens数据集上的实验中，我们对M-A和M-D的关系都使用了AMDMA。(同Wang et al.(2019))。对于PTE，我们使用无监督设置并为每个数据集构造两个二部图:DBLP (A-P, P-V)， MovieLens (A-M, M-D)

本文报告的DeepWalk、LINE、node2vec、metapath2vec、PoincaréEmb和HHNE的性能来自Wang等人(2019)(因为我们使用了相同的数据集和设置)。对于JUST、PTE、Hin2V ec和HeteSpaceyWalk，我们尽最大努力优化参数并报告最佳结果。对于我们的方法，我们使用以下参数:从长度为80的训练集中的每个节点进行10次随机漫步，并使用大小为5的滑动窗口生成正样本。在双曲面嵌入学习中，每个正样本对应20个负样本，以0.3的学习速率和512个批次训练5个epoch。所有的实验都是在Amazon AWS的“p2.8xlarge”实例上运行的，该实例运行在Linux操作系统上，内存为488GB，随机种子在开始时被设置为0。

4.3 Network Reconstruction 网络重构

网络重构任务测试了嵌入方法保持原始网络结构的能力。即从整个网络中学习到的嵌入信息中恢复出网络的结构。为了检验我们的方法，我们使用两个节点类型之间的所有边作为正集，而所有非边作为负集。我们使用节点嵌入之间的距离(在双曲面上)，通过对不同的距离值进行阈值化，来预测两个节点之间是否存在链接，从而得到一个AUC评分。

DBLP和MoiveLens网络的结果分别如表1和表2所示。对于从2到25的所有嵌入维度，我们的模型都优于所有基线，只有两个例外(12个维度中)，即HHNE在嵌入2个维度时产生更好的结果。请注意，即使HHNE需要特定于任务的元路径，在没有任何外部知识的情况下，我们的模型在大多数情况下的表现都比它好。我们更好的结果可能归功于双曲面上精确的梯度计算和由自引导随机行走产生的更多样化的环境。HHNE在大多数情况下也优于其他基线，表明双曲线异构网络嵌入方法在低维中的优越性。另一种双曲线嵌入方法PoincaréEmb的性能比HHNE和我们的方法差得多。这可能是因为该方法是为同构网络设计的，只保留了一阶邻近性，这意味着在双曲空间中嵌入异质网络时，既可以使用元路径，也可以使用我们提出的自引导随机漫步。另外，其他模型往往比LINE、PTE和PoincaréEmb具有更好的性能，因为这三种模型只捕获一阶或二阶近似，而其他模型捕获节点之间更长的上下文信息。

Link Prediction 链路预测

链接预测任务测试嵌入方法预测未知网络结构的能力。对于每一种类型的关系，我们随机地从网络中删除20%的边，而不增加连接组件的数量，然后将网络用于学习嵌入。在测试中，所有被移除的边都被用作正集，而一个负集则通过随机采样等量的非边来创建。AUC的计算方式与网络重构任务相同。

DBLP和MoiveLens网络的结果分别显示在表3和表4中。总的来说，链路预测实验结果与网络重构实验结果是一致的。我们的模型优于所有的基线，在低维度上的差异最大。与前一个任务一样，HHNE在所有方法中排名第二。LINE、PTE和PoincaréEmb只捕获节点的1跳或2跳邻域，它们的性能比其他基线差。链接预测通常是一个比网络重建更难的任务，因为它涉及到不可见边缘的预测。因此，我们看到在相同的边缘类型和维数下，对于每种方法，链路预测的AUC得分几乎总是低于网络重构的AUC。

结论

本文提出了一种新的异构网络双曲嵌入方法。我们的模型使用了随机游走的一种变体，称为自引导随机漫步。这种新的随机游走方法消除了对元路径的需求，使我们能够获得一致的嵌入，可以用于不同的下游任务，而不需要重新训练我们的模型。缺乏对元路径的依赖也消除了对外部知识的需求。通过使用公开可用的数据集进行彻底的实验，我们表明，我们的模型优于各种众所周知的基线，包括唯一的另一种双曲异构网络嵌入方法HHNE。未来的研究途径可能包括扩展我们的框架，将时间演化的异质网络嵌入到双曲空间。本论文的代码和数据将按要求提供。

---

总结
自引导的随机游走方法生成节点序列，不需要元路径
双曲面空间模型