Estimating Node Importance Values in Heterogeneous Information Networks - ICDE论文阅读笔记

最新推荐文章于 2024-08-14 19:25:49 发布

啧啧啧@

最新推荐文章于 2024-08-14 19:25:49 发布

阅读量263

点赞数 1

文章标签：论文阅读笔记人工智能

本文链接：https://blog.csdn.net/qq_34623480/article/details/128223061

版权

Estimating Node Importance Values in Heterogeneous Information Networks论文阅读笔记

摘要

节点重要性估计是图形数据分析中的一项基本任务。广泛的研究集中在这一任务上，各种下游应用程序都从中受益，例如推荐、资源分配优化和缺失值完成。

现有的方法

然而，现有的研究要么关注同质网络，要么只研究基于重要性的排名。**我们是第一个将节点重要性值视为异构信息网络（HIN）中的异构值。**典型的HIN由几种不同的节点类型构成，其中每种类型都有自己的重要度值度量（例如，在DBLP网络中，作者和论文的重要度可以分别通过其 h-index和引用号来反映）。这一特性使得上述问题比计算传统同质网络中的节点重要性更具挑战性。

我们的方法

在本文中，我们正式地介绍了HIN中的节点重要性值估计问题；也就是说，给定HIN中节点子集的重要性值，我们的目标是估计剩余节点的重要性值。
为了解决这个问题，我们提出了一种有效的图神经网络（GNN）模型，称为HIN重要性值估计网络（HIVEN）。
HIVEN跟踪每个节点的本地信息，特别是通过利用HIN的异构性。
此外，部署元模式以缓解节点类型支配问题。
此外，HIVEN利用每种类型中的节点相似性来弥补GNN模型在捕获全局信息方面的缺陷。

实验结果

在真实世界HIN数据集上的大量实验表明，HIVEN优于基线方法。

介绍

在图分析中，节点重要性估计是一项基本任务。广泛的研究（例如，[24]、[10]、[18]、[36]、[29]、[5]）已经聚焦于这个主题，各种下游应用，如建议[4]、查询消歧[26]和资源分配优化[25]都从中受益。最著名的方法是PageRank[24]，这是谷歌搜索用来对网页进行排名的算法。PageRank基于网页和网页之间的超链接构建一个图表。然后，它在这张图上使用随机游动来模拟上网的行为。直观地说，一个关键的网页可能会收到更多的链接，如果链接来自更重要的网页，则会带来更大的影响。因此，随机冲浪者在每个节点处的概率被视为其重要性。此外，文献中还广泛研究了许多基于随机行走的[36]、[10]和基于中心性的[23]、[27]方法。虽然这些节点重要性估计方法在许多实际应用中取得了巨大的成功，但它们通常假设图是同构的，其中所有节点都是相同的类型。然而，重要性概念是主观的，取决于网络节点的语义。因此，必须为每一个考虑明确定义节点的重要性，并且这些方法不能覆盖许多本质上是异构的现实世界网络。
异构信息网络（HIN）是一个具有表示不同语义关系的多类型节点和多类型边缘的网络。典型的例子有DBLP[17]、YAGO[34]、DBpedia[1]和Freebase[2]。
下图展示了DBLP网络的一个小示例，它是一个由计算机科学书目数据集构建的HIN。DBLP描述了四种类型节点之间的复杂关系，即作者（A）、论文（P）、地点（V）和主题（T）。例如，作者a1写了一篇论文p1，其中提到了主题t1，并发表在场地v1上。节点和边的异质性不仅使网络结构比传统的同质网络更复杂，而且还导致/影响了异质的重要性值。
在这里插入图片描述
最近，一些工作[25]，[26]试图研究知识图谱中的节点重要性。从概念上讲，HIN是一个具有多种类型的节点和/或边的图，而知识图谱是一种模式丰富的HIN的特殊类型（a special type of schema-rich HIN），它专注于保持知识三元组（即<头节点，边类型，尾节点>）[42]。GENI[25]开发了一种图形神经网络（GNN），通过利用边缘类型和节点中心性来计算节点重要性。Multiimport[26]考虑多个重要度信号，以推断每个节点的统一节点重要度值。**然而，这两项工作不是估计异质的重要性值，而是通过为每个节点生成统一的重要性值来关注基于重要性的节点排名。直观地说，精确的排名可能不依赖于精确的重要性值，但精确的重要性总是会导致节点的良好排名。此外，他们忽略了上述重要性值的异质性。**例如，在图1（a）中，不合理地说p2比a2更重要，因为引用数21高于h索引20。因此，与基于重要性的排序问题相比，节点重要性值估计问题更为普遍和具有挑战性。**此外，这些工作主要使用GNN，其专注于利用本地邻居信息进行重要性计算，但忽略了除此之外的信息-具有相似包围子图的两个遥远或不连接的节点往往扮演相似的重要角色。**因此，有很大的空间来优化用于估计异构信息网络（HIN）中节点重要性的模型。
基于上述动机，在本文中，我们正式提出了异构信息网络（HIN）中节点重要性值的估计问题；也就是说，给定HIN H=（V，E），其中V和E分别表示HIN节点和边的集合，以及分配给子集V′ ⊂ V的节点的重要值（非负实数），我们的目的是估计受限于V′中节点类型的剩余节点的重要度值。实际上，V′的基数比V的基数小得多，因为现实世界中的节点重要性值通常是不完整的，并且很难获得。然而，我们仍然可以利用从在线公共平台或领域专家获得的可用重要性值来估计未观察到的重要性。
例如，在图1（a）中，给定节点V′＝{a2，a3，p2，p3，p4}的重要性值，我们的目标是估计所有剩余作者{a1，a4}和论文{p1，p5}的重要性，这些作者用“？”标记。我们的问题可以应用于各种实际应用，如价格预测[6]和缺失值补全[37]。
为了估计HIN中节点的重要性值，我们提出了一种有效的图神经网络（GNN）模型，称为HIN重要性值估计网络（HIVEN）。
**我们首先提出了一种本地信息聚合机制，它由HIN聚合器和元模式聚合器组成。**具体而言，前者利用节点的丰富类型信息，并通过低维嵌入来表示节点的重要性，而后者作为前者的补充，以缓解类型支配问题。**同时，现有的方法都没有试图捕获节点的全局信息。因此，我们引入了一种基于节点之间结构相似性的全局信息聚合机制来聚合全局信息。最后，由于具有不同类型的节点的重要性值在不同的域中，我们将其建模为多任务学习问题，并共同估计具有不同类型节点的重要性。**我们在现实世界异构信息网络（HIN）上的实验结果表明，HIVEN优于所有基线方法。

主要贡献

总之，我们的主要贡献如下：
1.我们正式定义了HIN中节点重要性值的估计问题，据我们所知，这是将节点重要性值视为异质值的第一项工作。
2.我们提出了一种新的HIVEN模型，该模型包括局部信息聚合机制和全局信息聚合机制，以估计HIN中节点的重要性值。
3.我们在真实数据集上进行了广泛的实验，结果表明，在MAE、RMSE和NRMSE方面，HIVEN分别优于基线29.5%、25.6%和24.0%。此外，HIVEN在基于重要性的排名任务中表现最好。

PRELIMINARIES

在本节中，我们首先介绍了HIN中的一些关键概念，然后正式介绍了本文研究的问题，并简要介绍了图神经网络(GNN)模型，该模型将在我们提出的模型中使用。
在这里插入图片描述
HIN的元模式描述了节点类型之间所有允许的边类型，其中每种边类型可以描述一对一、一对多或多对多的关系。例如，图1(a)展示了DBLP网络的一个小的HIN，它遵循图1(b)中描述的元模式。我们用小写字母(例如，i, j, v)表示HIN中的节点，用大写字母(例如，A, A ')表示节点类型，用ψ(i, j)表示从i到j的边类型。那么，ψ(j, i)自然存在，即从j到i的边类型是反向的。在本文中，我们简单地假设每个节点的重要值为非负实数。接下来，我们正式提出HIN中的节点重要性值估计问题：
在这里插入图片描述
给定一个HIN和某个给定类型A′ ⊆ A的节点的子集V′ ⊂ V的重要性值，我们的目标是学习一个函数，它估计在H中给定类型A′ 的每个节点i的重要性值。
图神经网络(GNN)是一种深度学习架构，由多个神经网络层组成，用于处理图数据。它通过聚合来自邻近节点的信息，递归地更新每个节点的嵌入（[9], [16], [22], [39], [40], [41], [43], [48]）。聚合操作使GNN相互考虑每个节点的特征信息和图的结构信息。一般来说，我们可以将节点 $i$ 在GNN模型第k层的嵌入 $\mathbf{h}_{i}^{(k)}$ 表示为：
在这里插入图片描述
这里 $N_{ (i)}$ 是节点i的邻居集(例如，在图1中，{a1, t1, v1}是节点p1的邻居集)，aggregate(AGG)是一个聚集邻居嵌入的函数，combine(COMB)是一个将AGG与上一层的节点嵌入合并的函数。

HIVEN模型

在本节中，我们介绍了我们提出的模型HIVEN，用于估计HINs中的节点重要性值。我们首先给出一个概述，然后详细阐述它的关键组成部分。

模型概述

图2展示了我们的模型HIVEN用于处理具体节点 $i \in V$ 的架构。为了获得节点 $i$ 的重要性值，HIVEN集成了一个局部信息聚合机制和一个全局信息聚合机制。其中，局部信息聚合机制采用多层GNN模型。在每一层中，它分别从原始HIN和元模式中卷积由HIN聚合器和元模式聚合器聚合的本地邻居信息。全局信息聚合机制建立了类型为 $φ (i)$ 的节点之间的关系，这些节点可能彼此不接近，但具有相似的局部子图结构，为推断重要性值提供全局洞察力。
在这里插入图片描述

局部信息聚合机制（Local Information Aggregation Mechanism）

如第一节所述，PageRank已经表明，节点的重要性值在很大程度上受其邻居的重要性值的影响，即关键节点的邻居往往也很重要。 GNN模型可以自然地捕获这个属性，因为它们直接聚合来自本地邻居的信息。然而，节点类型的异构性导致HIN中节点的重要值域不兼容。也就是说，不同节点类型的节点的重要值在不同的尺度上(例如，在DBLP网络中，记录最高的H-index是Ronald C Kessler的299，而2015年发表的一篇论文[15]获得了64,471次引用)。因此，像之前的工作那样直接聚集这些不同的重要值来解决问题是不合理的。为了解决这一问题，我们在原始HIN上提出了HIN聚合器，为每个节点生成低维嵌入，这可以满足重要性值的不同尺度。具体来说，HIN聚合器不仅聚合邻居节点的重要性信息，而且还考虑它们的类型信息。
HIN聚合器很好地适应了每个邻居都被计算的情况(例如，一个作者的出版物)，但它很少关注邻居节点的类型分布。 请注意，分布可能是高度倾斜的，并且对某些节点类型的重要性值估计有显著影响。例如，在DBLP网络中，一篇论文通常在一个场所(如ICDE)发表，但有十多个作者，涵盖数十个主题。通常，在决定一篇论文的重要性方面，发表地点可能比作者或主题发挥更大的作用。 尽管如此，论文的重要性很容易由作者和主题决定，因为HIN聚合器直接聚合来自所有邻居的信息。为了解决这个问题，我们提出了一个元模式聚合器，以缓解某些节点类型的节点类型支配问题。元模式通常指导HINs[31]中的语义探索。目前一些GNN工作[19]，[43]，[48]使用元路径作为指导，但是元路径只能反映信息丢失的元模式的某些方面。相比之下，我们首次尝试直接利用元模式信息。因此，虽然原始HIN关注节点的每个特定邻居，但元模式提供了每个节点语义的鸟瞰图。直观地说，元模式可以用来缓解节点类型支配的问题，因为为邻居中的每个节点类型生成了统一的表达式。

全局信息聚合机制（Global Information Aggregation Mechanism）

全局信息涉及节点在HIN中的角色，这是衡量节点重要性值的另一个关键因素，因为具有相似角色的节点总是显示相似的特征。 虽然有许多方法可以识别节点的全局信息，但在本文中，我们试图利用**结构相似度[14]**来捕获一对节点之间的全局接近性。直观地说，两个节点之间的高结构相似性通常表示相近的重要值。 例如，在DBLP网络中，Jure Leskovec和Brian Anderson彼此之间是不可达的。他们都是具有高重要价值的作者，因为他们都有许多高h-index的共同作者，并在顶级场所发表了数百篇论文。也就是说，这两位作者拥有k-hop邻居的相似结构，这就是所谓的结构相似性。因此，结构相似性为估计节点重要性值提供了一个全局视角。因此，我们使用基于结构相似性的相似性感知聚合器来推断重要性值，从而聚合全局重要性信息。

与GENI[25]和Multiimport[26]对比

这两种基于GNN的模型通过利用局部信息推断节点的相对重要度来实现基于重要度的排序。但是，它们没有充分利用全局信息的机制，这可以通过节点的结构相似性来体现。相比之下，HIVEN在估计重要值时，仔细考虑了局部和全局信息。此外，GNN对推断出的重要值进行卷积，忽略了它们的异质性，而HIVEN则对嵌入进行卷积来弥补这一问题。此外，元模式信息在HIVEN中得到了很好的考虑。
接下来，我们将讨论HIVEN的技术细节。

初始节点嵌入

在这里插入图片描述
在HINs中，每个节点通常与一些特征相关联，但由于节点的异构性，对于不同类型的节点，这些特征通常是不同的。为了为节点 $i$ 生成有意义的初始嵌入，我们将其特征向量 $\mathbf{z}_{i} \in \mathbb{R}^{d_{\phi(i)}}$ 投影为初始嵌入 $\mathbf{h}_{i}^{(0)}$ ，这可以根据每个节点 $i$ 的类型用按照类型的线性变换来完成，如下所示：
在这里插入图片描述
注意，对于没有输入特征的节点，我们可以简单地生成虚拟特征，例如one-hot向量。

局部信息聚合机制（Local Information Aggregation Mechanism）

在这里插入图片描述
局部信息聚合机制采用多层GNN模型。在每一层中，它分别从原始HIN和元模式中卷积由HIN聚合器和元模式聚合器聚合的本地邻居信息。

HIN aggregator

为了聚合原始HIN 即H中的局部邻居信息，我们通过遵循第三节中描述的GNN聚合在H中其所有邻居的嵌入。具体来说，对于节点 $\in \mathcal{V}$ ，我们用 $\mathbf{h}_{i}^{(k)}$ 表示它在第k层的嵌入。我们首先根据节点类型将上一层的所有邻居 $\in \mathcal{N_{(i)}}$ 的嵌入投影到同一个嵌入空间：
在这里插入图片描述
在此之后，我们将第k层中的节点嵌入传播到第(k + 1)层中，根据公式1中的一般表达式生成HIN嵌入。为了配合COMB和AGG函数，我们给每个节点 $i$ 添加了一个自循环，并对其自身及其所有邻居的嵌入应用加权聚合，如下所示：
在这里插入图片描述
此外，为了获取不同邻居的权重，我们采用在GAT[39]中使用的注意系数的异质形式：

Meta schema aggregator

为了缓解节点类型支配的问题，我们利用元模式上的GNN模型设计了另一种补充聚合器。具体来说，对于每个节点i，我们首先根据它们的类型对其邻居进行分组。然后，对于每个类型A中的邻居节点，我们通过带有注意机制的和聚合器（sum aggregator with the attention mechanism）聚合它们的嵌入。节点i与类型A在k层的聚合嵌入表示为 $\mathbf{m}_{i, A}^{(k)}$ ，可以写成：
在这里插入图片描述
这样做的目的是为每个邻居类型生成统一的嵌入，这样其他聚合器(例如，均值/最大池)也可以被应用。
为了聚合来自元模式的信息，我们使用GNN结构作为HIN聚合机制中的结构，但将HIN替换为元模式，权重向量 $\mathbf{a}_{\psi(j, i)}^{k}$ 替换为统一的权重向量 $\mathbf{a}^{k} \in \mathbb{R}^{d_{k}+d_{k^{\prime}}}$ ，节点嵌入通过在邻居中统一嵌入的每种节点类型：
在这里插入图片描述
$\mathbf{m}_{i}^{(k)}$ 为节点 $i$ 在k层的元模式嵌入。显然，在GNN聚合之前，我们对邻居的每个节点类型都进行了集成嵌入，可以很好地缓解节点类型支配问题。

Concatenating local embeddings

为了融合来自HIN聚合器和元模式聚合器的嵌入，我们建议使用多头注意[38]将它们结合起来。每一层HIN聚合器和元模式聚合器都有R个注意头，将传递的所有注意头的低维向量拼接在一起，生成下一层每个节点的局部嵌入：
在这里插入图片描述
此外，在ResNet[11]中，我们使用类残差连接（residual-like concatenation）来模拟skip connection，它携带了来自上一层的信息。更准确地说，我们通过连接层k的输出来重新定义层k + 1的输出:

综上所述，通过递归地逐层更新嵌入 $\mathbf{h}_{i}^{(k)}$ 层，我们可以有效地聚合局部邻居信息来生成每个节点的嵌入。

全局信息聚合机制（Global Information Aggregation Mechanism）

如前所述，局部信息聚合机制不能捕获节点之间的全局接近性（ global proximity）。此外，最近的一项研究[46]证明了流行的GNN变体不如Weisfeiler-Lehman检验(WL检验)[30]强大，即一种常用的测试两图同构的解决方案。它指出GNN模型在获取节点间结构相似性方面的不足。为了利用全局接近性（ global proximity），我们采用了一种新提出的结构模拟度量FSim(具体为[45]中的 $FSim_{bj}$ )，这是一种有效的异构信息网络节点结构相似性度量方法。不像其他模拟方法都是粗糙的“是或否”指标[20]，[21]，[33]，FSim通过将相邻节点中的相似节点配对来量化一个节点与另一个节点的相似程度。这种灵活性使我们能够找到结构高度相似的节点对。计算节点对相似度的公式为：
在这里插入图片描述
我们是HIN的早期工作之一，通过采用结构相似性度量算法来分析节点的全局接近性。具体来说，我们首先使用FSim方法在特定节点类型φ(i)的节点之间构造一个结构相似图 $G_{φ(i)}$ 。也就是说，对于每个节点对，如果它们的结构相似度得分高于一个阈值，我们在它们之间添加一条边。之后，我们将GAT模型[39]作为相似度感知聚合器应用于结构相似图，生成第 $l$ 层中每个节点 $i$ 的全局嵌入 $\mathbf{s}_{i}^{(l)}$ ：
在这里插入图片描述
请注意，我们在这里提供了一个通用框架，因此任何其他结构相似图和同构GNN模型都可以应用于上述框架，以生成每个节点的全局嵌入。

评估重要值（Estimating the Importance Value）

为了利用局部和全局信息来估计重要性值，我们合并了每个节点 $i$ 的局部和全局信息聚合机制的输出嵌入:
在这里插入图片描述
其中K和L分别为局部和全局信息聚合机制的GNN层数。
在此之后，我们将学习到的节点嵌入输入到具有ReLU激活的按类型多层感知器(MLP)中，以估计每个节点的重要性值：

已有的作品[24]，[23]显示了节点的重要性与其在图中的中心性之间的正相关关系。受GENI[25]的启发，我们不仅考虑节点i的入度 $\mathbf{d}_{i}^{-}$ ，而且考虑节点 $i$ 的类型φ (i)，对估计的节点重要性值应用了一种新的按类型的中心性调整 $c_i$ （a novel type-wise centrality adjustment $c_i$ ）：
在这里插入图片描述

算法

在这里插入图片描述

模型训练

给定具有特定节点类型A∈A '和已知重要性值的节点 $V_A$ 子集，我们可以使用预测值 $\tilde{s}_{i}$ 和真实值 ${s}_{i}$ 之间广泛采用的均方误差来训练模型。损失函数L(A)定义如下:
在这里插入图片描述在实践中，由于HIN涉及多个节点类型，因此需要同时估计具有多个类型的节点的重要性值。因此，采用多任务学习来估计不同类型节点的重要值是很自然的。对于多任务学习，一个简单的损失函数是损失的总和:
在这里插入图片描述
上面的损失函数虽然适合多任务学习的设置，但是直接将其归纳为前面的工作[26]是有问题的。这是由于不同类型节点的重要值往往在不同的尺度上，导致任务以不同的速度收敛。此外，很难为每项任务设定合适的学习速度，特别是在具有更多节点类型的schema-rich HINs中。为了解决这个问题，我们使用了GradNorm[3]，这是一种在多任务学习中有效的梯度归一化技术。GradNorm可以动态地平衡每个任务的学习率，这样共享参数就可以收敛到对所有任务都有用的稳定状态。因此，我们为每个任务分配一个可学习的权重，并应用 $l_2$ 正则化来避免过拟合。将式(21)中的损失函数改写为：
在这里插入图片描述

实验

在本节中，我们首先描述数据集、基线方法、实验设置和评估指标。然后给出了节点重要性值估计和基于重要性的节点排序两个任务的实验结果。最后，我们给出了效率分析、消融研究、不同训练规模和参数敏感性的结果。

在这里插入图片描述

注意：博客中的我们指的是这篇论文的原作者

这里是这篇论文引用格式：
C. Huang, Y. Fang, X. Lin, X. Cao, W. Zhang and M. Orlowska, “Estimating Node Importance Values in Heterogeneous Information Networks,” 2022 IEEE 38th International Conference on Data Engineering (ICDE), Kuala Lumpur, Malaysia, 2022, pp. 846-858, doi: 10.1109/ICDE53745.2022.00068.

啧啧啧@

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Estimating Node Importance Values in Heterogeneous Information Networks - ICDE论文阅读笔记

节点重要性估计是图形数据分析中的一项基本任务。广泛的研究集中在这一任务上，各种下游应用程序都从中受益，例如推荐、资源分配优化和缺失值完成。在图分析中，节点重要性估计是一项基本任务。广泛的研究（例如，[24]、[10]、[18]、[36]、[29]、[5]）已经聚焦于这个主题，各种下游应用，如建议[4]、查询消歧[26]和资源分配优化[25]都从中受益。最著名的方法是PageRank[24]，这是谷歌搜索用来对网页进行排名的算法。PageRank基于网页和网页之间的超链接构建一个图表。
复制链接

扫一扫