Hyperbolic Graph Neural Networks: A Review of Methods and Applications

摘要

图神经网络将传统神经网络推广到图结构数据，因其令人印象深刻的表示能力而受到广泛关注。尽管取得了显著的成就，但欧氏模型在图相关学习中的性能仍然受到欧氏几何表示能力的限制，特别是对于具有高度非欧氏潜在解剖结构的数据集。近年来，双曲空间因其具有指数增长的特性，在处理树形结构或幂律分布的图数据方面得到了越来越多的关注。全面回顾了当前双曲图神经网络的技术细节，将它们统一到一个通用框架中，并总结了每个组件的变体。此外，总结了该方法在多个领域的一系列相关应用。确定了几个挑战，这些挑战有可能作为指导方针，进一步繁荣双曲空间中图学习的成就。

引言

许多图神经网络建立在欧几里得空间中，因为它具有矢量结构、封闭形式的距离和内积公式，是我们直观吸引人的视觉三维空间的自然扩展。

尽管欧氏空间在图相关的学习任务中很有效，但其编码复杂模式的能力在本质上受到其多项式扩展能力的限制。尽管非线性技术有助于缓解这个问题，但复杂的图模式可能仍然需要计算上难以处理的嵌入维度。最近的研究表明，许多复杂的数据显示出非欧氏的底层结构，例如，树状结构广泛存在于许多现实世界的网络中，如自然语言中的上义结构、知识图谱中实体的从属结构、金融欺诈的组织结构以及推荐系统中的幂律分布在这些情况下，欧几里得空间无法做出最强大或最充分的几何表示。

近年来，双曲空间在树状图数据处理中得到了越来越广泛的应用。图1描述了双曲空间的三种流行模型，它们是同构的。双曲空间的典型几何性质是其体积随半径呈指数增长，而欧氏空间则呈多项式增长。这种几何特性带来了两个好处，使其能够很好地处理树形图数据。首先，双曲空间表现出最小的失真，特别适合层次结构，因为该空间紧密匹配树状数据的增长率，而欧氏空间不能。第二，即使具有低嵌入维度空间，双曲模型也能产生高质量的表示，这使它在低内存和低存储场景中特别有利。

调查的范围和结构。 据我们所知，目前还没有针对双曲图神经网络(HGNNs)的方法和应用进行特别的调研，最新的相关研究主要概述双曲神经网络的进展，没有关注图领域的最新方法和应用。本文试图通过研究HGNN的最新研究成果来填补这一空白。这项工作的主要贡献总结如下:

• 对现有的HGNN模型进行了详细的技术回顾，用一个通用框架将它们统一起来，并概述了每个模块的变体。此外，还讨论了近年来HGNN模型的理论和实证研究进展。
• 我们系统地对应用程序进行分类，并将它们划分为许多场景。对于每种情况，我们提出了几种主要应用及其相应的方法。
• 我们总结了未来研究的几个挑战和机遇，为进一步繁荣利用双曲空间构建的图学习成果提供了见解。

定义和注释

在本节中，我们将简要介绍一些最有用的黎曼几何概念、定义和双曲几何中的运算。更详细的介绍请参考。

流形和切空间。 黎曼几何是微分几何的一个子领域，其中光滑流形$M$与黎曼度量$g^M$相关联。n维流形($M,g^M$)是一个拓扑空间，是二维高维曲面的推广。对于M中的每个点x，切空间$T_{x}M$定义为M围绕x的一阶逼近，它是一个n维向量空间，与$R^n$同构。黎曼流形度量$g^M$赋予一个光滑变化的正定内积<·，·>: $T_{x}M\times T_{x}M\to R$在切空间上，这允许我们定义几个几何属性，如测地线距离、角度和曲率。

测地线和诱导距离函数。 对于曲线$\gamma :[\alpha ，\beta ]\to M$， $\gamma$的最短长度，即测地线，定义为$L(\gamma )=$。则u, v∈M, dM(u, v)=inf $L(r)-?$ 的距离,其中γ为曲线 γ(α) = u， γ(β) = v。

映射和平行转换。 映射定义了双曲空间和相应的正切空间之间的关系。对于点x∈M和向量v∈$T_{x}M$，存在唯一的测地线γ:[0,1]→M其中γ(0) = x， $\gamma \prime (0)$ = v。指数映射$ex{p}_x$: $T_{x}M\to M$定义为$ex{p}_x(v)$ = γ(1)，对数映射$lo{g}_x$是$ex{p}_x$的逆。并行转换$P{T}_x\to y:T_{x}M\to T_{y}M$实现了从点x到y的转换，保持了度量张量。

双曲线模型。 双曲几何是一个常数负曲率的黎曼流形。存在多个等价双曲模型，如庞加莱球模型、洛伦兹模型和克莱因模型，它们表现出不同的特征，但在数学上是等价的。本文主要介绍HGNN中被广泛研究和采用的两个双曲线模型，即Poincar´e球模型和Lorentz模型。设||.||为欧氏范数，$<.,.{>}_L$为闵可夫斯基内积。这两个模型分别由定义2.1和定义2.2给出。相关的公式和运算如距离、映射和平行移动进一步总结在表1中，其中$\oplus c$和$gyr[.,.]v$分别为Mobius相加算子和旋转算子。

定义2.1(Poincar´e Ball Model). 具有负曲率c (c < 0)时，Poincar´e球模型被定义为黎曼流形($B_c^n,g_x^B$)，其中$B_c^n$是半径为1的开放n维球。它的度量张量$g_x^B=?$，其中λ是共形因子，gE是欧几里德度量，即$I_n$。

定义2.1(Lorentz Model). 采用负曲率c(c < 0),洛伦兹模型(也称为超波比洛线模型)被定义为黎曼流形（$L_c^n,g_x^L$）,在其中$L_c^n=${$x\in R^{(}n+1):$<x,x>L=1/c}和$g_x^L=diag([-1,1,...,1]{)}_n$。

在下面,我们用H来表示适用于B和l的情况,但在某些情况下,精确的符号将被用来描述一个特定的模型。我们不区分双曲原点的符号,对数映射,指数映射,并行传输B从H中,因为它们是可以通过上下文识别的。

HGNN方法

最近,GNNs在图形相关的任务和应用程序中表现出了显著的优势,因为它们能够同时显式地对节点属性及其交互进行编码,以及隐式地学习高阶依赖项。由于双曲空间的性质,双曲线GNNs(即。HGNNs(HGNNs)在图数据的研究中取得了显著的成就,尤其是对有treelike结构的数据。实现HGNNs的关键在于三个基本步骤,即特征转换、邻域聚合和非线性激活。在此之前,我们需要通过将欧几里得函数投影到双曲廖内来初始化这个特性。在下面,我们将首先介绍初始化层,然后在HGNNs中介绍关键组件的细节。

双曲线初始化层

对于一个图G =(V,E),用顶点集合V和边集合E,让$(X_i^E{)}_i\in$V成为n维输入节点特征,在这里，上标E表示节点特征位于欧几里空间。节点特性可以是预先训练的嵌入或节点属性。在下面,我们使用上标Tx，H(B/L)来表示x和双曲(Poincar-e ball模型/洛伦兹模型)的切线特性。

庞加莱球模型的初始化层。
为了将欧几里得特征$X^E$映射到庞加莱球模型B，我们应用了指数映射，即:
$$X^B=ex{p}_o^c(X^E).$$

洛伦兹模型中的初始化层。 要将$X^E$投影到洛伦兹模型L中，通常需要添加元素0，即$X^{T_o}=(0,X^E)$，然后通过指数映射将其投影到洛伦兹模型中，即
$$X^L=ex{p}_o^c(X^{T_o})=ex{p}_o^c((0,X^E)),$$
$x^{(}{T}_o)$在原点处属于洛伦兹切空间因为我们有$<O,X^{To}{>}_L$ = 0。

在没有可用节点特征的情况下，有两种常见的方式来生成初始特征。一种是基于多元高斯采样。另一种是利用具有可训练嵌入矩阵$W\in R^{n\times d}$的one-hot向量。在得到初始值$X^E$后，可以通过式(1)或(2)将其投影到B或L中。

双曲特征变换

双曲特征变换通常涉及矩阵向量乘法和偏置加法。
矩阵向量乘法。为了实现矩阵向量乘法，切线法对B和L都适用。具体来说，在B中，矩阵向量乘法由
$$M{\oplus }_c^B{X}^B=ex{p}_o^c(Mlo{g}_o^c(X^B)),$$
其中$x^B\in B_c^n$,$M\in R^{n\times d}$。在L中，实现矩阵向量乘法也是同样的思想。值得注意的是，我们需要小心地保持节点特征始终在洛伦兹模型上。特别是，为了确保节点特征在乘以矩阵M后仍然在原点的切线空间中，我们只需要按照[Zhang等人]的建议转换最后n个坐标的值，即:
$$M{\oplus }_c^L{X}^L=ex{p}_o^c(0,Mlo{g}_o^c(X^L{)}_{[1:n]}),$$
其中$X_L\in L_c^n$,$M\in R^{n\times d}$这样，第一个坐标始终可以为0，表示变换结果在切空间为$O$时是保证的。最近的研究表明，上述线性变换可以认为是一个只有特殊旋转而没有提升的洛伦兹变换。然后，他们推导出了一种更具表现力的转换方法，该方法同时配备了rotation和boost操作，即:

其中，$v\in R^{n+1},W\in R^{d\times (n+1)}$为可训练参数。

增加偏差。为了实现偏置加法，原点处的切空间仍然是一个有用的介质，B和L中的公式可以统一表示为:
$$X_H{\oplus }_c^H{b}^H=ex{p}_x^{c}H(P_{o\to X}^{c}H(lo{g}_o^c(b^H))),$$
其中$b^H$为$H_c^n$中的偏置，B和L中的平行输运$P_x^c$H→yH(·)方程见表1。

双曲邻域聚集

双曲邻域聚合可分为邻域权重计算和均值聚合计算两个过程。
邻域权值的计算。 根据目前的研究，邻域权重可以使用结构信息、节点距离、特征关注或上述方法的组合来计算。

(1) 通过结构信息，
$${\alpha }_{ij}=1/\sqrt{{\hat{d}}_i{\hat{d}}_j}$$
其中${\hat{d}}_i=d_i+1$, $d_i$是节点i的度。

(2)按特征注意

(3)按节点距离
$${\alpha }_{ij}=softmax(-d_H^c(X_i^H,X_j^H)),$$
[Zhang et al.]中的平方形式
$${\alpha }_{ij}=softmax(-d_H^c(X_i^H,X_j^H{)}^2),$$
或更复杂的形式[Gulcehre等人，2019]
$${\alpha }_{ij}=f(-\beta d_H^c(X_i^H,X_j^H)-r),$$
其中β和γ是可以手动设置或在训练过程中学习的参数，f可以是softmax(·)。
(4) 通过特征关注和节点距离的融合[Zhu等，2020]，

(5) 特征注意与结构信息相结合，

均值聚集的计算。 对于均值聚合或加权均值池化，不能通过简单地对输入进行平均来计算，这可能会导致偏离双曲流形。目前有三种典型的均值聚合方法:切向法、爱因斯坦中点法和洛伦兹质心法。

计算切向均值是最直接的方法之一。它适用于Poincar´e球和Lorentz模型。然而，直接在切空间中执行加权均值需要格外小心，以确保结果仍然存在于流形中。另一方面，它缺乏可微的平均函数运算。爱因斯坦中点基于Klein坐标，通过同构双射适用于Poincar´e ball和Lorentz模型。针对洛伦兹模型设计了洛伦兹质心。此外，Poincar´e球模型还有一个等效质心，如[Shimizu等人，2020]所示，即M¨obius gyromidpoint [Ungar, 2008]。这三个质心可以被表征为校准平方距离加权和的最小化器[Shimizu等人，2020]。

非线性活化

非线性激活可以在原点处的切空间中通过相同的矩阵-向量乘法的思想实现[Chami等人，2019]，即:

这确保了结果仍然存在于洛伦兹流形中。此外，根据Lorentz模型和Poincar’e球模型之间的流形保持特性，另一种方法是将Lorentz特征转换为Poincar’e特征，并在Poincar’e球模型中实现非线性。

总体视图

一般来说，统一的双曲图卷积层可以表示为:

为了减少切空间和双曲流形之间的映射，一些研究工作，例如[Liu et al.， 2019]，在切空间中实现了所有三个步骤。虽然这种简化可以减少一些计算负担，但根据实验结果，其性能也有所下降[Zhu et al.， 2020]。

HGNN在各种图任务中取得了重大突破，从节点分类、链接预测到图分类。节点分类是图上的一项基本任务，用于区分节点的类别。在节点级嵌入中有三种常见的方法来获得类别概率预测:切线方法[Chami等人，2019];基于质心的方法[Liu等人，2019];基于超平面的方法[Zhu等人，2020]。对于双曲链路预测，边缘的概率通常通过费米-狄拉克分布来计算[Chami等人，2019]。对于图级预测[Qu和Zou, 2022]，对每个图的节点嵌入在所有节点上执行池化操作(例如求和、平均或最大化)，以获得图级表示。此外，hgnn在各种现实世界的应用中取得了重大突破。下面，我们将详细介绍它们。

应用场景

双曲空间在许多领域都有成功的应用，包括NLP、CV等，而hgnn的应用主要集中在推荐系统、知识图和药物分子上，这些领域的数据集是自然的图结构，具有树状特征。

推荐系统的HGNN

推荐系统可以简化为一个二部图，其中顶点表示用户或项目，边表示它们之间的交互。

知识图谱的HGNN

知识图谱是一种用三元组表示现实世界事实的图结构网络，存储了大量的实体和关系信息。鉴于在大规模知识图谱中，实体的数量是无标度的，并且可以组织成底层的层次结构，因此双曲几何为学习低维嵌入同时保持底层层次结构提供了一种强大的替代方案。

HGNN代表分子

分子也自然地表示为图形，节点表示原子，边表示化学键。最近，许多研究使用gnn及其一些变体来预测化学性质。对于分子应用，研究主要集中在分子表示和生成上。在分子上应用双曲空间的基本动机是模拟其潜在的层次结构。

其他应用的HGNNs

在这一部分中，我们将讨论不同领域中hgnn的更成功应用。对于基于骨架的动作识别，[Peng et al.， 2020]设计了一种双曲时空GCN，结合了流形上的几个维度，并提供了一种探索每个ST-GCN层维度的有效技术。对于定量交易和投资决策，[Sawhney等人，2021]使用HGNN对股票间关系进行建模，并开发了一个股票模型HyperStockGAT，该模型通过Wikidata中的关系及其行业信息构建股票图。对于医疗本体匹配，[Hao等人，2021]提出了MEDTO框架，该框架建立在HGNN和异构图层之上。

挑战和机遇

尽管近年来HGNN取得了快速的发展和成就，但仍存在需要更好解决的问题和挑战。[Peng等人，2021]讨论了几个HGNN也存在的开放问题。在本节中，进一步总结了HGNN社区中的几个挑战，这也为未来的研究提供了机会。

挑战一:复杂的结构

挑战二:几何感知学习

挑战三:值得信赖的HGNN
HGNN已被证明可以产生更好的层次图表示。然而，目前仍有几个值得信任的问题需要解决:(1)双曲空间的优越性在哪里?例如，双曲模型的更好性能来自哪里?是高层节点、尾部节点，还是两者都拟合得更好?(2)尚不清楚在什么情况下HGNN保证比欧氏图神经网络更好。也就是说，HGNNs的泛化误差和鲁棒性还没有得到很好的研究和分析。

挑战四:可扩展的hgnn

结论

双曲空间可以被认为是一个连续的树，这使得它非常适合对具有潜在层次布局的数据集进行建模。HGNNs将图神经网络扩展到双曲空间，在图数据，特别是树形结构上取得了巨大的成功。本文介绍了HGNNs的技术细节，包括方法、应用、挑战、机遇，以及HGNNs模型和算法的现状。更具体地说，我们通过一个通用框架将它们统一起来，并总结每个模块的变体。我们还确定了几个需要克服的挑战。这些挑战在一定程度上促进了双曲图学习成果的发展。尽管许多研究人员积极参与解决这些问题，但我们指出，仍然存在许多机会，可以为这一不断发展的重要领域的发展做出贡献。