In-Context Learning with Topological Information for LLM-Based Knowledge Graph Completion

三月七꧁ ꧂

于 2024-10-09 21:36:56 发布

阅读量420

点赞数 4

分类专栏：论文合集文章标签：知识图谱人工智能语言模型 gpt-3 自然语言处理 gpt prompt

本文链接：https://blog.csdn.net/weixin_43961909/article/details/142797084

版权

论文合集专栏收录该内容

74 篇文章 0 订阅

订阅专栏

文章目录

题目

基于LLM知识图补全的带拓扑信息的上下文学习

在这里插入图片描述

论文地址：https://icml.cc/virtual/2024/37006

摘要

知识图对于结构化信息的表示和推理至关重要，支持广泛的应用，如信息检索、问题回答和决策制定。然而，它们的有效性常常受到不完整性的阻碍，限制了它们对现实世界影响的潜力。虽然知识图完成(KGC)已经在文献中被广泛研究，但是生成式人工智能模型，特别是大型语言模型(LLM)的最新进展已经引入了新的创新机会。上下文学习最近成为一种有前途的方法，用于在一系列自然语言处理任务中利用LLM的预训练知识，并在学术界和工业界被广泛采用。然而，如何利用语境学习进行有效的KGC仍然相对探索不足。我们开发了一种新的方法，通过上下文学习结合拓扑信息来提高KGC性能。通过将本体知识和图结构集成到LLMs的上下文中，我们的方法在直推式设置中实现了强大的性能，即测试图数据集中的节点出现在训练图数据集中。此外，我们将我们的方法应用于更具挑战性的归纳设置中的KGC，即，训练图数据集和测试图数据集中的节点是不相交的，利用本体来推断关于缺失节点的有用信息，这些信息在推断期间充当LLM的上下文线索。在小ILPC数据集和大ILPC数据集上，我们的方法表现出了优于基线的性能。

引言

知识图已经成为一个强大的框架，用于对大规模结构化知识进行表示和推理，其应用涵盖问题回答(Song等人，2023；雅尼和克里斯纳迪，2021)，建议系统(奇卡扎和巴尔迪维佐-迪亚兹，2021)和决策制定(霍根等人，2021)。知识图在这些领域的有效性很大程度上依赖于它们的完整性和准确性。然而，构建和维护全面的知识图是一项具有挑战性的任务，通常需要大量的人工努力和领域专业知识(Yan等人，2016)。为了应对这一挑战，研究人员探索了知识图自动完成的方法(，沈等，2022；陈等，2020)。这些方法利用从各种来源提取的信息，如文本语料库(王等，2021；施&韦宁格，2018)，网页(董等，2014；Mitchell等人，2018)，以及数据库(Zou等人，2014)。这些方法通常采用自然语言处理技术，如命名实体识别和关系提取(李等，2022；Pawar等人，2017)，以识别新的事实，将它们整合到现有的知识图中，并识别图中存在的节点之间的新关系。非结构化数据的快速增长给自动图扩展方法带来了新的挑战。

近期的进展，特别是大型语言模型(LLM)的出现，为扩展知识图开辟了新的可能性(Pan et al，2024)。现代LLM在理解大型文本(Gemini Team，2024)、生成自然语言以及对复杂信息进行推理(OpenAI，2024)方面表现出令人印象深刻的能力。这些模型在大量非结构化数据上接受训练，使它们能够捕捉丰富的语义知识，并对各个领域形成深刻的理解。LLM的预先训练的知识和它们的推理能力可以用来推断节点之间的连接和预测图中缺失信息的关系。图中的链接，使LLMs非常适合KGC的任务。

在本文中，我们提出了一种新的方法，通过上下文学习来利用图的拓扑信息以提高液体火箭发动机的KGC性能。我们的方法基于直觉，即预训练语言模型中嵌入的大量知识可以为知识图中的缺失信息提供有价值的见解和预测。我们介绍一个两步过程:首先，我们使用LLM的领域理解从知识图中构建一个本体，捕获图中节点和关系的类型。通过将这种本体结构与图的拓扑结构相结合，并采用思维链(CoT)推理，我们为LLM提供了上下文以做出更明智的预测。其次，我们的算法利用来自图的结构化信息，利用缺失知识三元组和现有图三元组之间的重叠节点，结合本体，生成缺失信息的候选解决方案。此外，我们考虑现有节点和潜在候选节点之间的替代路径，从而利用图的复杂拓扑结构。这种对图的拓扑结构和LLM的预测能力的综合使用使得我们的方法的性能明显优于最先进的基线方法。

我们的贡献如下:(1)提出了一种生成式本体创建方法，使用LLMs从原始知识图数据中获取本体，捕获图中节点和关系的类型。(2)我们利用生成的本体和图的拓扑信息，包括节点之间的路径，来增强链接预测。(3)通过利用本体来识别缺失三元组的候选解，并使用LLM来选择正确的解，我们在直推和归纳设置中改进了KGC性能。重要的是，我们的方法不需要额外的培训，突出了它的效率和直接适用性。

问题公式化

在这一节中，我们引入数学符号，并使用包含拓扑信息的LLM来正式定义KGC问题。带本体的知识图设O是一个本体，设G是对应的知识图。本体O可以定义为O = (C，R，E)，其中:C由本体节点组成，节点类别为图中的节点，R是关系的集合，E由唯一的三元组(ci，R，cj)组成，其中ci，cj ∈ C和r ∈ R。图G可以定义为G = (V，R，T)，其中:V是节点的集合，其中每个节点vi ∈ V与至少一个类别cvi ∈ C相关联。R是关系的集合，T由根据本体三元组e形成的三元组组成。对于类别cvi的节点vi和类别cvj的节点vj，(vi，R，vj ) ∈ T使得(cvi，R，cvj ) ∈ E

知识图补全知识图补全(KGC)是推断知识图中缺失信息的任务。给定训练知识图Gtrain = (V，R，Ttrain)以及一些缺失三元组(vi，R，VJ)∈t参考，目标是:(1)预测两个现有实体vi，vj ∈ V之间的缺失关系r ∈ R，即(vi，，VJ)；(2)给定头实体vi ∈ V和关系r ∈ R，即(vi，R，？);以及(3)给定关系r ∈ R和尾部实体vj ∈ V，预测丢失的头部实体vi ∈ V，即(？，r，vj)。典型地在文献中(Galkin等人，2021；Chepurova等人，2023)利用逆关系，即(vj，R1，vi)，将预测头节点的问题转化为尾节点预测问题。在我们的实验中，我们关注节点预测而不是关系预测。我们考虑测试图数据集中的关系是训练图数据集中的关系的子集的图。

直推式与归纳式链接预测KGC任务可以根据知识图的类型而变化:归纳式或直推式。在直推式设置中，任务表述如下:给定训练知识图Gtrain = (V，R，Ttrain)，训练模型以预测推理三元组(vi，R，VJ)∈t reference，其中vi，vj ∈ V，即推理三元组中的节点出现在训练图中。在归纳KGC中，模型在Gtrain = (Vtrain，r，Ttrain)上训练，并在推理三元组(vi，r，VJ)∈t reference上预测，其中vi，vj ̸∈ Vtrain。从本质上来说，KGC在感应环境中比在直推环境中更具挑战性。

方法

在这一节，我们概述了我们的方法，KGC包括直推和归纳设置。生成本体为了生成知识图G = (V，R，T)的本体O = (C，R，E)，对于每个关系r ∈ R，我们创建长度为n的两个节点集Vi和Vj包含由r连接的头节点和尾节点(vi，vj ) ∈ V。然后，我们使用prmopt GPT-4模型来预测Vi和vj中实体的头类别ci和尾类别cj，给定关系r。注意，这导致ci = cvi，∀vi ∈ Vi和cj = cvj，∀vj ∈ Vj。天真地提示LLM通过提供节点对来创建本体，这对应于给定的不一致关系。GPT-4模型可以将节点类别的同义词分配给连接到不同关系的相同类别的节点。例如，GPT-4可以将节点类标签电影分配给三元组的头节点(残酷的意图，电影演员成员演员，Alaina Reed Hall)，并将节点类标签电影分配给三元组的头节点(亲爱的美国:来自越南家乡的信，由Bill Couturié导演)。为了提高所创建的本体的质量，我们采用了一种迭代生成方法，在每一步都合并了先前创建的子本体。这确保了相似节点之间节点类分配的一致性。此外，我们将三元组(cvi，R，cvj)添加到集合E，以将每个关系r ∈ R与恰好一对节点类别(cvi，cvj)相关联，从而维护结构良好的本体。

使用本体的拓扑的链接预测对于具有丢失尾部vj(或丢失头部vi)的三元组(vi，r，vj ) ∈ Ttest，我们使用生成的本体O来基于关系r和头部的类别cvi推断vj的类别cvj。我们提供这个推论作为对LLM的提示。考虑一下三个一组的例子(米勒·戴维斯，死于？).答案有多选:可以是城市、国家、医院等。在我们的方法中，我们找到了本体三元组(音乐家，死于，国家),并让LLM知道答案属于国家类型。此外，我们计算cvi和cvj之间的本体路径，将它们作为上下文提供给LLM。例如，音乐家和国家之间的替代路径可以包括(音乐家)→乐队的一部分→(乐队)→在国家构思→(国家)。

使用图的拓扑的链接预测回想在字典设置中，测试图数据集中的节点存在于训练图数据集中。接下来，使用Vtrain和类别cvj，我们创建属于类别cvj的候选解vcandidatei ∈ Vtrain，并提示LLM使用候选列表作为预测丢失节点的提示。然而，我们使用来自本体的信息从Vtrain中提取的候选节点的数量可能非常大，并且超过上下文窗口的限制。为了解决这个问题，我们采用了马克斯多重LLM调用候选节点子列表的策略。每个调用都要求模型选择最有可能是丢失节点的答案。获胜来自这些调用的候选项随后被聚集并在最终的LLM调用中提供，作为预测最终解决方案的提示。

思想链式推理在我们的方法中，我们使用思想链(CoT)推理来指导LLM对知识图中的缺失节点做出明智的预测。CoT推理包括向LLM提供一系列中间推理步骤或问题，帮助分解问题并得出最终答案。通过引入CoT提示，我们鼓励LLM考虑来自本体和图结构的相关信息，增强其做出准确预测的能力。CoT提示被设计为提示LLM根据可用信息(例如本体路径、特定于给定三元组的图路径以及关于缺失节点类型的本体提示)来推断潜在的缺失节点。这种方法有助于LLM在可用信息和缺失节点之间建立逻辑联系，最终提高知识图完成任务的性能。

结果

在这一部分中，我们介绍了我们的实验设置，包括使用的数据集、比较的基线和采用的评估指标。然后，我们讨论从实验中获得的结果，并对我们的发现进行综合分析，强调关键的见解和意义。数据集和本体我们利用了2022年ILPC归纳链接预测挑战赛(Galkin et al，2022a)中的小型和大型数据集。ILPC数据集是专门为归纳链接预测设计的，这意味着它们包含带有新的、看不见的实体的不相交推理图。小型和大型ILPC数据集都由三个子集组成:归纳训练图数据集、直推训练图数据集和推理测试集。所有的评估都是在推理测试集上完成的。

为了创建本体，我们首先组合归纳和直推训练图，产生了一个具有大约90万个三元组的图。按照第4.1节中描述的方法，对于结果图中的每个关系，我们对通过该关系连接的50个示例进行了采样，并促使OpenAI GPT-4创建两个最能描述头部和尾部示例的本体类别。我们允许LLM选择已经预测的类别，如果它认为合适的话。然后，我们使用LLM预测的头部和尾部本体类别对通过关系连接的所有三元组进行分类。我们执行了后验证步骤，验证每个关系只与一对节点类别相关联。数据集和本体的细节在表1中给出。实验设置在推断期间，对于测试集中的每个三元组，我们使用GPT-4在以下条件下预测头部和尾部:(1)没有上下文，(2)从本体的拓扑导出的提示，(3)从本体和图的拓扑导出的提示。没有上下文。在无上下文环境中，我们为GPT-4提供了缺失节点的三元组，并提示它直接预测缺失节点。该设置的结果在表2中报告为GPT-4 +香草醛。

本体提示。在这种情况下，我们提供从本体的拓扑结构构建的支持提示。在这种方法下，我们考虑4种实验设置。在GPT-4 +本体中，我们为GPT-4提供了从对应于给定关系关系的本体三元组中推断出的缺失节点的类别。本体路径是存在于本体中除给定关系之外的可用节点和缺失节点类别之间的路径。在GPT-4 +本体路径中，我们提供了路径细节的附加提示，而在GPT-4 +本体+本体路径中，我们提供了缺失节点的类别和备选本体路径作为提示。

本体和图形提示。在这种设置中，我们利用图的拓扑来生成缺失节点的候选解决方案，并将它们作为提示提供给GPT-4。在这种方法下，我们考虑四种实验设置。在GPT-4 +候选解决方案中，我们使用本体推断缺失节点的类别，并向GPT-4提供来自训练图的属于同一类别的候选节点列表。在GPT-4 +候选解决方案+本体中，我们提供候选解决方案和本体推断的缺失节点类别作为提示。GPT-4 +候选解决方案+本体路径扩展了先前的设置，包括了本体中可用节点和缺失节点类别之间的替换路径作为附加提示。最后，在GPT-4 +候选解决方案+本体+本体路径中，我们向GPT-4提供候选解决方案、缺失节点的本体推断的类别以及备选本体路径作为综合提示来指导缺失节点的预测。

在这里插入图片描述

候选节点选择。为t中的缺失节点生成候选节点为了解决这个问题，我们采用了分批的方法，将候选节点分成2，000个一批。对于每一批，我们提示GPT-4选择最可能的候选节点。在处理完所有的批次后，我们编译从每个批次中选择的候选节点，并将它们作为丢失节点的最终预测的提示。通过为GPT-4提供一组精确的候选节点，我们旨在提高其准确预测转导设置中缺失节点的能力。超参数这里我们提供了实验中使用的超参数。所有结果都是在温度为0.0、最大输出令牌数为2000的GPT-4-32k模型下提供的。为了结果的重现性，我们在附录中提供了实验中使用的所有提示。

基线我们的第一个基线涉及在没有任何上下文窗口的情况下实现一个普通的GPT-4预测，它的任务是从测试集中的每个三元组中预测正确的缺失节点(头部或尾部)。结果见表2。对于我们的第二个基线，我们实施了Chepurova等人提出的方法(Chepurova等人，2023)。在这里，我们用从ILPC直推列车图中获得的头(或尾)实体的1跳邻居来扩充推理测试集中的每个三元组。GPT 4号随后收到了这一背景信息，并被要求预测三联体缺失的尾部(或头部)。结果报告在2中。对于LLM无法访问测试实体的归纳设置，我们将我们的结果与ILPC小型和大型数据集作者报告的两条基线进行了比较(Galkin等人，2022a)。这些基线评估了NodePiece模型的两种变体(Galkin等人，2021)，这是一种用于归纳图表示学习的拟议方法。

结果在3个评估指标中报告。为了评估我们的知识图完成方法的性能，我们采用了广泛采用的Hit@k评估指标，特别关注Hit@1、Hit@3和Hit@10。Hit@k度量测量模型在前k个排序的候选中预测正确的缺失节点的准确性。在我们的评估中，我们考虑了三个不同的k值，以全面了解模型在不同精度水平下的性能。Hit@1代表最严格的评估标准，其中只有当正确的缺失实体被列为最佳候选时，模型才被认为是成功的。此指标评估模型准确识别给定查询的最可能答案的能力。Hit@3和Hit@10提供了更宽松的评估标准，允许正确的缺失节点分别排在前3名和前10名候选节点中。

结果和分析

在这一部分中，我们对我们的实验结果进行了全面的分析，并讨论了从我们的发现中得出的关键见解和启示。研究结果1:LLM在知识图完成任务中表现出色。我们的实验结果表明，GPT-4，即使没有任何额外的背景或信息，表现明显优于基准ILPC-小和ILPC-大型数据集。如表2所示，GPT-4在ILPC小数据集和ILPC大数据集上分别获得了0.132和0.146的Hit@1分数。表2进一步说明了Hit@3和Hit@10的类似性能。发现2:利用候选解决方案显著提高了LLM性能。

在直推式设置中，测试节点是训练图中节点的子集，我们基于本体生成候选解并利用LLM选择正确答案的方法产生了显著的性能增益。如表2所示，GPT-4 +候选解决方案在ILPCsmall和ILPC-large数据集上分别获得了0.172和0.177的Hit@1分数，优于GPT-4基线和GPT-4 +邻居方法(Chepurova等人，2023年)。此外，将本体信息和本体路径与候选解决方案结合在一起会带来更高的性能。然而，结果表明，添加本体提示和本体路径并不一定能提高性能。其原因是，本体路径已经包含了关于丢失节点的节点类别的信息，这是本体方法中提供的信息。

在这里插入图片描述

发现3:通过向GPT-4提供本体信息，如答案的类别和头尾类别之间的路径，合并本体信息增强了归纳设置中的LLM性能，我们观察到在ILPC小数据集和ILPC大数据集上性能的一致改善。如表3所示，GPT-4 +本体在ILPC-小数据集和ILPC-大数据集上分别实现了0.134和0.150的Hit@1得分，优于基线GPT-4模型。类似地，GPT-4 +本体路径和GPT-4 +本体+本体路径表现出甚至更高的性能，在ILPC小数据集和ILPC大数据集上，Hit@1得分分别达到0.138和0.152。

这些结果表明，整合本体知识和结构信息的图表可以指导LLM走向更准确的预测在归纳设置。发现4:我们的方法在归纳和直推设置中都优于最先进的基线，将我们的结果与最先进的基线IndNodePiece和indnodepeciegnn(Galkin et al，2021)进行比较。我们观察到我们的方法明显优于这些方法在归纳和直推设置。

如表2所示，我们的最佳性能模型，GPT-4 +本体+本体路径，在归纳设置中，在ILPC-小型和ILPC-大型数据集上分别实现了0.138和0.152的Hit@1得分，大大超过了基线。类似地，在直推式设置中，我们的方法展示了优越的性能，GPT4 +候选解+本体路径在ILPC小数据集和ILPC大数据集上分别实现了0.174和0.178的Hit@1分数。这些结果突出了我们的方法在利用LLM和结合拓扑信息来完成知识图方面的有效性。

发现5:增加上下文中给定的候选节点数量可以提高性能。表4给出了当在上下文窗口中给出不同数量的候选节点时，我们提出的方法在ILPC小数据集上的性能。括号外的数字表示我们从原始候选节点的每个子列表中选择单个候选节点的情况。相比之下，括号中的数字对应于我们从每个子列表中选择多个候选节点的情况，因此选择的候选节点总数为100。当增加上下文中提供的候选节点数量时，我们观察到性能的持续改善。

例如，当使用来自每个子列表的单个候选节点时，GPT-4 +候选解决方案分别获得0.172、0.233和0.319的Hit@1、Hit@3和Hit@10分数。然而，当使用总共100个候选节点时，分数分别增加到0.196、0.305和0.391。这种趋势也适用于所有其他方法，表明在上下文中提供大量相关候选节点增强了LLM准确预测缺失节点的能力。发现6:直接预测头节点与预测具有相反关系的尾节点产生相似的性能。

在文献中，通过考虑关系的逆，预测头节点的问题通常被转化为尾节点预测问题，表示为R1，其通过将单词inverse作为前缀添加到原始关系来构建。对于三元组(vi，r，vj)，预测首节点vi转化为预测尾节点in (vj，R1，？).然而，在我们的实验中，我们比较了直接预测头节点(？，r，vj)与逆关系方法(vj，R1，？)使用GPT-4和所提出的方法。有趣的是，当使用GPT-4和我们提出的方法时，我们发现这两种方法在性能上没有显著差异。为了验证这一发现，我们在ILPC小数据集上进行实验，使用直接头节点预测和带有普通GPT-4提示的逆关系方法和基于本体的提示。结果一致地表明，直接头节点预测的性能与在所有方法中具有相反关系的尾节点预测的性能相当。表5给出了在总共2902个头节点预测中，与使用逆关系头节点预测方法相比，由直接头节点预测方法做出的正确头节点预测的数量。

讨论和结论

在本文中，我们提出了一种在感应和直推环境中利用LLM进行KGC的新方法。我们的方法引入了使用LLMs的生成式本体创建过程，该过程直接从原始知识图数据中提取结构化知识。这个本体充当基础，为推断本体实体之间的缺失节点类别和路径提供关键线索。在归纳设置中，我们的方法利用本体和类别推理来增强缺失节点预测，在不需要额外训练的情况下证明了预测准确性的显著提高。此外，在直推式设置中，我们的方法使用本体有效地识别三元组的候选解，并通过LLM推理选择正确的解。这些初步结果是有希望的，表明了我们方法的潜力。展望未来，我们的研究方向包括整合节点之间的重要路径，探索在线学习技术以适应不断变化的三重概率知识图，将来自不同外部来源的额外信息集成到图中，以及扩展我们的实验验证以包括更多数据集。

限制

在我们的方法中构建的本体在封闭世界假设下运行，其中在初始本体创建阶段之后没有新的实体被添加。这种假设可能会限制我们的方法在新实体频繁出现的动态知识图环境中的适应性。展望未来，解决这个限制将指导我们增强框架的健壮性和适用性。我们方法的另一个限制是它的性能可能会受到图形数据集密度的影响。利用本体路径的有效性依赖于图中一组丰富的关系和连接的存在。在知识图稀疏并且节点之间缺乏足够数量的连接的情况下，本体路径可能不会为链接预测提供重要的支持。