基于图上下文学习的通用链接预测器

最新推荐文章于 2025-02-21 21:59:32 发布

ai大模型应用开发

最新推荐文章于 2025-02-21 21:59:32 发布

阅读量701

点赞数 26

文章标签：学习人工智能算法深度学习机器学习 AI llama

本文链接：https://blog.csdn.net/2401_85375298/article/details/144442869

版权

Year:2024

2024 Association for Computing Machinery

https://doi.org/10.1145/nnnnnnn.nnnnnnn

Introduction

链接预测是图机器学习中的一项关键任务，其目标是在图中推断缺失或未来可能形成的潜在链接。多年来，在提高LP准确性上大致分为两类方法。第一类方法是设计非参数启发式链接预测器。通过发现和抽象不同图背后的普遍结构属性，基于观察现实世界图数据集中存在的连接模式，开发了启发式方法。这些启发式链接预测器可以轻松应用于任何图数据集，具有很大的泛化能力。然而，这种方法依赖于预定义的启发式规则，这些规则是从人类对图连接性的专业知识中提炼出来的。尽管最初通过捕捉特定的连接模式取得了成功，但它们未能捕捉到链接预测中的所有有效结构特征，导致在不加选择地应用时性能不佳。另一类方法是设计参数链接预测器，它们通过拟合模型到目标图来自动学习连接模式。它们与简单的启发式方法相比，可以捕捉到更有效的结构特征。然而，它们依赖于对每个新图数据集的广泛训练和超参数优化，这在不同图环境中的应用提出了显著挑战。

在本文中，作者介绍了通用链接预测器（UniLP），这是一个新颖的模型，它结合了启发式方法的泛化能力和参数化模型的模式学习能力。首先评估了现有的LP模型是否具备将连接模式从一个图转移到另一个图的能力。通过跨越启发式和参数链接预测器的实证和理论分析，发现了一个重大挑战：当直接在不同的图数据集之间转移连接模式时，包括现实世界和合成的例子，可能会发生负迁移。这种复杂性源于图数据的固有多样性和灵活性，导致每个图都有独特的连接模式。

作者受到大型语言模型（LLMs）中使用的上下文学习（ICL）概念的启发，使UniLP具备无需训练即可适应不同图的能力。ICL使模型能够通过相关示例适应新数据集或任务。类似地，为了使LP模型适应特定的图，作者选择了一组上下文链接作为此类示例。这些上下文链接不仅为链接预测提供上下文，还有助于捕捉所讨论图的独特连接模式。为了实现基于图的特定连接模式的条件链接表示，还采用了注意力机制，促进了链接表示对图上下文的动态调整，使模型能够准确反映每个图的独特连接模式。

Assessment

在链接预测（LP）任务的背景下，启发式链接预测器可以被视为一种可转移的知识类型。这些预测器是通过手动分析现实世界图中的常见连接模式而构建的，提供了对网络底层结构的洞察。然而，普遍应用这些启发式的有效性受到质疑，特别是考虑到图数据的广泛范围。通过实证和理论检验，作者旨在探索直接将一个图的连接模式应用到另一个图所面临的挑战。

Empirical evaluation on transferability

上表从不同领域策划了一系列现实世界的图，确保全面展示不同类型的图。为了评估从一张图中学到的重要连接模式对另一张图上LP性能的影响潜力，将额外的图纳入目标图的训练阶段。换句话说，这个实验通过引入来自其他图的额外训练信号，偏离了标准的监督学习方法。如果这些额外图的连接模式与目标图的结构一致或增强了目标图的结构，LP模型的性能应该保持稳定或提高。为了使实验可行，只向训练图中引入一个额外的图，然后在目标图上进行链接预测。这个额外的图与目标图保持不连接，以确保测试集与标准LP任务相同。在这些实验中，我们使用SEAL 作为实验的主模型，并采用Hits@50作为性能指标。

结果如图所示，它显示了LP模型的性能是如何在训练期间引入额外图数据而受到影响的。在热图中，暖色调代表LP性能的提升，而较冷的颜色表示性能下降。热图中较冷颜色的主导揭示了将额外图集成到训练中通常会导致的性能下降。这一观察强调了不同图的底层特征之间可能存在的不一致性，导致学到的连接模式之间的冲突。这一现象突出了在各种图上部署单一LP模型的内在挑战，从而质疑了在LP任务背景下“一个模型适合所有”方法的可行性。

Conflicting patterns across graphs

在这一部分，作者深入探讨了不同图的独特特性如何阻碍连接模式的可转移性。考虑一个无向图。V是节点集合，大小为n，可以索引为。表示观察到的链接集合，是完整真实链接集合的一个子集，即。这里，不仅包括观察到的链接，还包括目前不在图中或未来可能在图中形成的潜在链接。对于任何节点v，表示节点v的邻居集合。从节点u到v的k跳简单路径集合表示为，注意路径只包含不同的节点。用表示节点对之间的最短路径。

LP任务的目标是在给定图中识别未观察到的真实链接集合。这项任务与典型的二元分类问题不同，因为的潜在候选者是预先确定的：它们由所有尚未包含在观察到的链接中的节点对组成。实际上，“识别”等同于根据它们的链接特征将这些未观察到的真实链接排在虚假链接之上。这个排名过程贝定义为连接模式：一个有序事件序列，使得对于任何，都有。

接下来，作者展示了即使是结构相似的合成图也可能表现出不同的连接模式。首先考虑两种类型的晶格图：一个网格图，类似于棋盘，节点在2D网格上均匀分布，每个节点都连接到它的四个最近邻居；以及一个三角形图，由网格图衍生而来，每个正方形单元内增加了一条对角线边。尽管它们的结构相似，这些图，网格图和三角形图，显示出不同的连接模式：定义和作为的元素。网格图和三角形图上的连接模式是不同的。具体来说，在网格图上：，在三角形图上：。

这种在相似图上观察到的冲突连接模式强调了LP任务知识转移的挑战。即使图的结构变化微小，也可能显著改变节点之间链接形成的可能性。因此，开发一个能够适应任何图而无需针对其连接模式进行特定调整的通用链接预测器，是一项非平凡的任务。

Method

UniLP首先从目标图中采样一组上下文链接，然后使用共享的图神经网络（GNN）编码器独立编码这些链接和目标链接。采用注意力机制将这些上下文链接的表示与目标链接的交互合并，形成最终预测的复合表示。

Query and in-context links

定义图中给定的目标链接为查询链接。首先从G中采样一组上下文链接。具体来说，对G中存在的链接，选择 k个节点对作为正例，其中。类似地，收集负例，包含k个节点对且没有链接。组合集近似G的整体属性，并为模型提供了上下文c，以便使用链接特征和图上下文进行链接预测。

一旦获得了查询链接和上下文链接，需要获取它们的结构表示。首先提取每一对节点的自我子图。对于节点对，在图 G上的自我子图是由节点u和v的r跳邻居节点诱导的子图：

其中且为了简化，当没有歧义时，我们用G(e)表示节点对的自我子图。查询链接和上下文链接的自我子图集合是。

使用自我子图来表示链接比单独使用节点对或整个图有几个关键优势。首先，自我子图比单纯的节点对提供了更丰富的结构上下文，它包含了所讨论链接周围的局部邻域结构。这种方法允许对链接的局部结构进行更详细和有信息量的表示。其次，自我子图作为全局链接特征的有效且计算效率高的近似，这比编码整个图的资源密集型过程更有优势。最后，与节点级别的表示相比，子图级别的表示天生更具表现力。这种增强的表现力对于捕捉链接的结构和执行准确的链接预测至关重要。

Encoding ego-subgraphs

自我子图集合中的自我子图大小不一，需要一个统一的方式来表示它们。使用图神经网络将这些子图编码到一个一致的潜在空间中。

在非属性图中，如果没有节点特征，典型的GNNs需要为每个节点提供初始输入向量。常见的方法，如分配相同的或随机的向量，虽然满足了这一要求，但缺乏对图结构的表达力。为了解决这个问题，作者采用了标记技巧，根据每个节点i相对于目标链接的相对位置为其分配位置编码。

本文的方法DRNL+，是双半径节点标记和距离编码的一个变体。在DRNL中，G(e)中的节点i被分配如下整数标签：

其中，和。然而，DRNL并不能区分只到达目标节点之一的节点。因此，DRNL+通过使用距离编码来增强这一点，为每个节点分配一个整数元组：

在标记技巧指示了相对位置之后，应用SAGE并使用平均聚合来更新节点表示。对于每个链接，最终的子图表示是通过对中G(e)所有节点的表示进行平均池化得到的。作者发现平均聚合和池化对于这样一个通用链接预测器效果最好，这种方法更好地适应了不同的图大小和节点度数，从而增强了模型的泛化能力。

Link prediction with context

一旦自我子图被编码到潜在空间，可以利用这些表示通过注意力机制来参数化链接预测器。

查询链接表示与每个上下文链接表示之间的注意力分数是使用加性注意力来计算的：

将查询链接和正上下文链接之间的注意力分数表示为，与负上下文链接之间的注意力分数表示为。类似于 Transformer 和 GAT模型，也可以采用多头注意力来捕捉图结构之间的不同交互。

在确定了归一化的注意力分数a之后，计算查询链接q的最终表示。这是通过将上下文链接的表示应用加权和来实现的，使用注意力分数作为权重。此外，通过添加相应的可学习向量将标签信息整合到上下文链接的表示中。最终表示的计算如下：

其中是标签的可学习向量，是一个值投影矩阵。表示包含了查询链接q的链接特征和对目标图G的估计，然后输入到一个多层感知器分类器中以产生链接预测结果：

Pretraining objective

UniLP的预训练目标是依据查询链接q自身的特征及其所属图的上下文来预测该链接。作者将这一目标与典型的参数化链接预测算法中的标准二元分类对齐。在这种设置中，如果边e是观测到的链接之一，则其分类标签被设置为1；否则，为0。此外，考虑一组预训练图 G，其中每个图g是该集合的成员。然后，总的预训练损失被定义为：

这个损失函数在多个图上使用，允许UniLP学习适用于各种图结构的链接预测的通用模式。

EXPERIMENTS

Experimental setup

Benchmark datasets

模型训练的基础是一系列涵盖多个领域的图数据集。作者精心挑选了来自生物学、交通、网络、学术合作、引用和社交网络等领域的图数据。这种多样化的选择可以根据广泛的连接模式预训练和评估LP模型。

Baseline Methods

作者将UniLP与启发式和基于GNN的参数化链接预测器进行比较。启发式方法包括共同邻居（CN）、Adamic-Adar指数（AA）、资源分配（RA）、优先连接（PA）、最短路径（SP）和Katz指数（Katz）。基于GNN的方法包括GAE、SEAL、ELPH、NCNC和MPLP。对于需要初始节点特征的GAE和NCNC，使用一个32维的全一矢量。所有其他方法可以直接处理非属性图。

Evaluation of UniLP

为了评估UniLP在未见数据集上的有效性，作者将图数据分为不重叠的预训练和测试集，并在组合的预训练数据集上预训练一个单一模型。在预训练期间，动态地从相应的预训练数据集中为每个查询链接采样40个正链接和负链接作为上下文链接。在评估时，每个测试数据集被分为70%/10%/20%用于训练/验证/测试。这里的训练集构成了观测到的链接，而验证和测试集代表未观测到的链接。在推理过程中，为每个测试数据集采样200个正链接和负链接作为上下文链接。报告Hits@50[21]作为LP的评估指标。

Evaluation of Baselines

基线模型遵循类似的评估程序，并适应迁移学习能力。作者采用两种设置：(1) 仅预训练，模型在组合的预训练数据集上训练，然后在每个测试数据集上进行测试；(2) 预训练和微调，在预训练后，模型还在每个测试数据集上额外进行微调，用200个采样的正链接和负链接进行训练。