LLM-based Multi-Level Knowledge Generation for Few-shot Knowledge Graph Completion

三月七꧁ ꧂

已于 2024-10-09 21:56:19 修改

阅读量521

点赞数 11

分类专栏：论文合集文章标签：知识图谱人工智能 boosting chatgpt 语言模型 gpt prompt

于 2024-10-09 21:52:24 首次发布

本文链接：https://blog.csdn.net/weixin_43961909/article/details/142797221

版权

论文合集专栏收录该内容

74 篇文章 0 订阅

订阅专栏

文章目录

题目

基于LLM的少镜头知识图补全的多层次知识生成

在这里插入图片描述

论文地址：https://www.ijcai.org/proceedings/2024/236

摘要

知识图(KGs)在各种NLP应用中是关键的，但经常与不完全性斗争，特别是由于长尾问题，其中不频繁、不受欢迎的关系大大降低了KG完成性能。在本文中，我们重点关注少镜头知识图完成(FKGC)，这是一个解决长尾情况下这些差距的任务。在大型语言模型的快速发展中，我们提出了一个基于生成的FKGC范式。我们的MuKDC框架采用多层次的知识提炼来完成少量的KG，生成补充知识来缓解少量环境中的数据匮乏。MuKDC由两个主要部分组成:多层次知识生成，它丰富了各个层次的知识，以及一致性评估，以确保所生成知识的一致性和可靠性。最值得注意的是，我们的方法在FKGC和多模态FKGC基准中都取得了SOTA结果，显著地推进了KG完成，并增强了LLM在结构化知识生成和评估中的理解和应用。

引言

知识图(KGs)是通过实体及其相互关系来表示信息的结构化数据库，通常被组织为由头部实体、关系和尾部实体组成的三元组[Chen等人，2024]。知识库在各种自然语言处理任务中起着关键作用，包括问题回答[陈等，2021b陈等，2022]，实体搜索[Gerritse等，2022]，推荐系统[杜等，2022]。尽管其用途广泛，但传统知识经常面临不完整的挑战，表现在实体和关系缺失或代表性不足。知识图完成(KGC)，在本文中与链接预测同义，集中于识别和推断潜在的缺失三元组，以弥补现有的差距。

在这里插入图片描述

图1:我们打破了传统的思维模式，通过LLM提炼引入了基于世代的FKGC范式。

然而，长尾问题是现实世界中的一个常见问题，它使这项任务变得复杂。它是由不同实体类型之间的关系类型的频率的显著差异和邻居数量的差异引起的。这导致许多关系被稀疏表示，导致传统KGC方法的训练数据不足。为了克服这一点，重点已经转向少数镜头知识图完成(FKGC)。FKGC旨在增强数据可用性有限的场景中的KG完井。它包括使用最少数量的包含相同关系的示例三元组(支持集)来预测具有罕见关系的三元组(查询集)中的缺失实体。这种方法与KG中的fewshot学习方法一致，解决了KG增强中数据稀疏的关键挑战。当前的方法主要集中在模型级增强。这包括诸如利用实体之间的路径来捕获复杂关系及其交互的策略，这利用了用于丰富实体学习的局部子图结构[Xu等人，2021]。此外，采用模型不可知的元学习框架也被证明有助于提取关系特定的信息[陈等，2019；牛等，2021】。

在本文中，在大语言模型(LLM)的快速发展中，我们打破常规的思维模式，通过LLM的提炼引入了基于世代的FKGC范式(图1)，旨在重新审视和评估FKGC的未来发展和潜在价值。具体来说，我们提出了一个基于LLM的多级知识蒸馏框架，用于少炮KG完井，称为MuKDC1。MuKDC为稀疏实体和关系生成额外的知识，解决了在少镜头多模态学习环境中数据稀缺的挑战，并支持进一步的FKGC任务。作为这一领域的先驱研究，我们努力使我们的方法尽可能简单有效。

该框架包括两个主要部分:多级知识生成(MKG)和一致性评估(CA)。(i) MKG旨在通过在多个层面生成额外的知识，包括三元组生成(TG)、属性生成(AG)和决策路径生成(DPG ),来丰富和扩展知识生成。这些组件共同增强了KG，为少量学习应用程序提供了更全面的基础。转换生成增加了知识生成的关系结构；AG用附加的描述性属性丰富实体；DPG创造了逻辑路径来促进推理和强大的知识发现。(ii) CA评估生成的知识的一致性和可靠性，将现有数据与新知识进行比较，以确保扩展图的完整性和一致性。

请注意，我们提出的LLM蒸馏方法自然可以作为完成和构建kg的手段。这种方法可以被视为下游FKGC的数据扩充策略，有效地将LLM中的参数知识提取为结构化知识。这不仅有助于知识验证，也有助于增强其他下游任务的可解释性。为了验证MuKDC的通用性和稳健性，我们将我们的分析扩展到多模态FKGC场景，证明我们的模型在FKGC和多模态FKGC基准中都达到了SOTA结果。

预备

在这里，我们将具有潜在多模态上下文的FKGC任务定义如下:定义1。(多模态)少镜头知识图补全。给定一个不完全KG G = (E，R，T，A，V)其中T = {TA，TR}，其中E，R和T，A分别是实体、关系、三元组、属性和值的集合。FKGC任务的目的是通过识别一组缺失的三元组T′= {(h，R，zt)|(h，R，t) ∈ T /，h，t ∈ E，r ∈ R}来完成G，只给定少数实体对(h，T)和它们对于每个关系R的潜在多模态属性TA中的属性三元组(E，a，vv)可以将来自E的实体E与属性a下的视觉值v v相关联，指定为hasImage。

当为每个关系提供K个训练示例时，定义1还涉及K-shot KGC任务。与先前假设大量训练三元组的研究不同，FKGC提出了训练数据有限的情况。具体而言，目标是在仅给定关系r的K个示例三元组(h’I，r，t’I)K I = 1的情况下，将正确的尾部实体排列得比其他候选实体更高。

对于给定的关系r ∈ R，数据集Dtrain由支持(Dsr)和查询(Dqr)集组成:Dr = Dsr，Dqr。每个支持集Dsr包含用于K-shot任务的K个三元组。查询集Dqr = {hi，r，ti，Chi，r}包括对于每个查询(hi，r)具有基本事实尾部实体ti的关系r的查询三元组，以及候选集Chi，r = {tij}，其中每个tij是g中的一个实体。数据集Dval和Dtest包括类似的结构。在充分训练之后，该模型预测新关系R′∈R′的事实。数据集中的关系标签空间是不相交的，即，r∩r′=∅，以符合K-shot学习假设。否则，该模型将在测试期间访问超过K-shot标记的数据，违反了少镜头学习前提。

在这里插入图片描述

图3 MuKDC的框架。它包括两个主要部分:多级知识生成和一致性评估。MKG通过在多个层面产生额外的知识来丰富和扩展KG；决策路径生成创建了逻辑路径来促进推理和健壮的知识发现。CA评估生成的知识的一致性和可靠性，确保扩展的KG的完整性和一致性。

框架

如图2所示，我们的MuKDC框架包括两个主要组件:多级知识生成和一致性评估。多层次知识生成旨在通过生成多层次知识来丰富和扩展知识管理。这包括:知识生成:生成额外的三元组和属性以增加原始KG的密度。这通过用描述性属性和三元组丰富实体来深化实体表征，提供对每个实体的更全面的理解；决策路径生成:构建链接实体和关系的逻辑路径。这些路径对于理解关系动态、促进推理和增强知识发现是至关重要的，同时也为图的完成提供了可解释性。

一致性评估(CA):一致性评估是MuKDC的一个重要部分，它涉及将新产生的知识与现有数据和预测进行比较。该组件使用预测的尾部实体和已知的头部实体来确保扩展图中关系的一致性和连贯性。总的来说，MuKDC旨在克服少量多模态学习环境中稀疏数据的挑战。通过生成多层次的知识，MuKDC不仅丰富了KG，还确保了其完整性和一致性，提供了对图形的整体理解。

多级知识生成我们框架中的知识生成可以被比作LLM在训练集Dtrain上的头脑风暴会议。这一过程涉及基于支持集中现有三元组及其属性的发散思维，从而将参数知识转化为结构化知识，以应对稀疏数据挑战。具体来说，三元组生成(TG)关注于创建新的关系三元组，利用采样的一跳子图中的已知实体和关系。其目标是加强知识共享的关系结构，从而扩大和加深对实体及其相互联系的理解。属性生成(AG)使用LLM以文本和潜在的视觉形式为节点生成属性。这丰富了实体的描述性属性，从而更全面地描述了图形中每个实体的特征。请注意，TG和AG这两个过程是并行操作的，不会直接相互影响。

三胞胎一代。设Tg = {TA，TR}表示Dtrain中现有三元组的集合，Eg和Rg分别表示现有实体和关系的集合。我们定义了第33届人工智能国际联合会议(IJCAI-24)的会议录Ge作为以实体e为中心的一跳子图，从T g采样，其中子KG中的每个实体包括文本和潜在的视觉属性。三元组生成过程可以公式化为TRnew = TG(Ge)，其中TRnew是新生成的三元组的集合。由LLM实现的函数TG基于现有的子KG生成新的三元组。在实践中，这是通过为LLM的输入定义适当的指令模板来实现的。具体地说，我们已经开发了一个“指令池”，下面仅给出其中的几个例子:1 .要完成知识图，请生成包含[ENT]: 2的三元组。请生成包含[REL]的适当三元组:对于每条指令，我们分别用Ge中包含的实体和关系集替换占位符[ENT]和[REL]，以形成实例Inst。然后，我们将Ge序列化为三元组(包括关系和属性三元组)的集合，以构建最终的模板Seq(Ge) || Inst。这里，“||”表示串行化三元组集合与实例化指令的串联。

这个过程持续X轮，其中X等于Eg中实体的数量，有效地迭代通过整个数据扩充的Dtrain。注意，对于可能出现的潜在视觉值v v输入，可训练投影被用于变换。属性生成。类似于三元组生成，由LLM实现的函数AG基于现有的子KG生成新的属性，以生成新的属性集TAnew。已经定义了相应的“指令池”,下面显示了一些选择的例子:1 .请为[ENT]: 2生成重要属性。【ENT】生成知识图完成的关键属性:AG的其他设置与TG一致。

决策路径生成如果知识生成代表在一个设定的框架内的头脑风暴(从现有的子KG数据中创建三元组和属性)，决策路径生成(DPG)通过更自由地推断关系来扩展这一点。DPG分析现有的关系和模式，以生成决策路径，揭示更深入的知识。例如，从“杭州在浙江”和“浙江在中国”的事实，它推断出“杭州在中国”。同样，如果“勒布朗·詹姆斯”和“安东尼·戴维斯”都是“湖人队”的球员，DPG推断他们是队友。

请注意，知识生成和DPG都可以涉及图像并得到图像的帮助，从而提供额外的信息输入。这一过程可以通过多模态LLM(例如LLava [Liu等人，2023])来实现。此外，DPG的输入是基于与现有Dtrain相结合的知识生成的输出。我们称这个组合集为ˇd train = tr new∪TAnew∪T，从dˇT train中采样的一跳子图表示为ˇGe。

决策路径生成过程可以公式化为TRdpg = DPG(Ge)，其中TRdpg是新生成的决策路径的集合。已经定义了相应的“指令池”,下面显示了一些选择的例子:1 .根据抽样规则，请为[ENT]: 2的关系生成重要的逻辑规则。请为[REL]生成知识图完成的重要决策路径:DPG的其他设置与TG和AG一致。

一致性评估MuKDC包含一个重要的一致性评估(CA)过程，以验证新生成知识的一致性和可靠性，包括三元组和属性。该过程对照现有KG数据评估预测的尾部实体与已知头部实体的兼容性。通过确保这些预测与已建立的关系一致，扩展图的完整性和准确性得以保持。

具体来说，我们采用知识图嵌入(KGE)模型在Tg上进行预训练(使用TransE [Bordes等人，2013])作为CA的基本评分模型。该模型用于对新生成的集合TRnew和TAnew中的所有三元组进行一致性检查。每个三元组被顺序地输入到CA模型中，并且那些得分低于某个阈值的被丢弃。考虑到在这个过程中遇到许多看不见的实体和关系的可能性，正如的各种零拍作品所强调的那样[陈等，2023a陈等；耿等人，2021]，我们训练KGE模型，其中所有实体和关系表示都是从通过LLM获得的嵌入中导出的。这种指定有助于CA过程的归纳方面。

损失函数给定一个查询关系r及其关联的支持三元组(h′I，r，t′I)K I = 1，我们采用负采样来构造查询三元组。具体来说，我们收集一组有效的正查询三元组{(hi，r，t+ i ) | (hi，r，t I)∈G }/，并破坏尾部实体以构造另一组负查询三元组{(hi，r，t I)|(hi，r，t I)∈G }/。与已建立的fewshot学习范例一致，我们的模型配备了铰链损失函数: 在这里插入图片描述

其中，score+ θ和scoreθ是通过[Zhang等人，2022]的度量学习模型将查询三元组(hi，r，t+I/t I)与支持三元组(h’I，r，t’I)K I = 1进行比较得出的标量值，γ表示可调超参数余量。在每个训练集中，我们从指定的训练集Dtrain中抽取Dr开始。随后，选择K个三元组作为支持集Dsr，并且选择额外的三元组来制定正查询/测试集Dqr，该正查询/测试集Dqr是从Dr中的所有已知三元组编译的。

在这里插入图片描述

实验

详细设置实现细节我们的FKGC是使用PyTorch实现的，并在Tesla V100 GPU上进行训练。在实验中，所有的实体嵌入都使用LLava模型最后一层输出的最后一个标记的嵌入来表示[刘等，2023]，这是PLMs中一种常见的实体编码方法[陈等，2023d耿等，2023】。对于基于mmkg的FKGC任务，使用LLava中的标准视觉投影头，而对于典型的KG任务，不使用该模块。在知识生成和决策路径生成过程中，所有三元组序列按照h、r和t的顺序简单地连接在一起，使用分隔符来分隔不同的三元组。一致性评估过程中TransE [Bordes等人，2013]模型的阈值设置为1.0。此处未提及的所有其他实验设置，包括的训练程序，与[张等，2022]中报道的保持一致。

FKGC数据集。我们为FKGC采用了两个公共基准数据集:NELL和Wiki [Mitchell et al，2018；Vrandeciˇ和krtzsch，2014年]。NELL是一个不断发展的KG数据集，包含了广泛的知识，而Wiki则是从维基百科的内容衍生而来。对于这两者，我们选择50到499个三元组的关系作为少量任务。NELL包括67个少数关系，Wiki包括183个。我们将NELL划分为51/5/11，将Wiki划分为133/16/34，分别用于训练、验证和测试。

多模态FKGC数据集。我们采用了另外两个公共基准数据集，MM-FB15K和MM-DBpedia，它们是为少镜头多模态KG完成而定制的[Zhang等人，2022]。这些数据集的特点是实体附有图像和至少15个单词的文字描述。为了进行稳健的评估，我们只考虑那些具有50到500个三元组的关系作为少量任务。MM-FB15K包括356个少射关系，MM-DBpedia包括69个。超过500个三元组的关系用作背景信息，增强知识拓扑。按照15:1:4的比例，MMFB15K和MM-DBpedia的训练、验证和测试任务分配为267/18/71任务关系和51/6/12任务关系，与之前的研究一致[Zhang等人，2022]。评估指标。我们使用两个标准指标来评估模型的性能:点击数@N和MRR。Hits@N量化排名在前N个预测中的正确实体的比例，N设置为1、5或10。MRR计算所有测试三元组中分配给正确实体的倒数排名的平均值。

比较法知识嵌入模型。我们对四个KGE模型进行了基准测试:TransE [Bordes等人，2013年]，DistMult [Yang等人，2015年]，ComplEx [Trouillon等人，2016年]和RotatE [Sun等人，2019年]。这些模型通过反映KGs中的关系结构的约束对关系和实体进行矢量化，在给定大量数据的情况下捕捉有效表示的基本结构特征。

FKGC。对7个模型进行了评估:GMatching(MaxP)[熊等，2018]，MetaR[陈等，2019]，[张等，2020]，[盛等，2020]，[牛等，2021]，[梁等，2022b]，P-INT[徐等，2021]。这些方法利用基于度量或优化的元学习和预训练的嵌入，专注于增强关系和实体对嵌入的局部结构和关系语义，在NELL和Wiki数据集上展示了强大的结果。

多模态FKGC。考虑了三种基线方法:TransAE [Wang等人，2019]，[Wang等人，2021a]和多种形式[Zhang等人，2022]。TransAE采用自动编码器进行多模态集成，RSME评估不同的图像编码器并认可多模态KGC的ViT，而MULTIFORM提出了多模态少数镜头关系学习框架，该框架利用多模态上下文进行实体表示，并学习将查询与少数镜头示例匹配的度量。主要结果我们在表1和表2中呈现了总体的5次FKGC结果，所有比较模型结果源自它们各自的原始论文:

我们的模型在NELL和Wiki数据集上的所有四个指标上始终优于基线模型，分别实现了3.8%和4.9%的平均改进。值得注意的是，它显示维基上的MRR至少增加了5.8%，内尔上的点击量增加了7.5%。这些改进强调了该模型从多级信息中学习的健壮表示，证实了它对于少量多模态KG完成任务的能力。
我们的模型超过了KG嵌入基线，NELL和Wiki数据集的平均增益分别为25.9%和36.9%。这个性能展示了为实体和关系生成多层次知识的好处，特别适合于少量多模态KG完成。
此外，我们的模型在所有度量上优于少数镜头KG完成基线，证明了通过生成额外的知识和使用一致性评估损失来最小化生成的知识分数中的性能差距来丰富KG的功效。
相对于NELL和Wiki上表现最好的基准GANA和YANA，我们的模型分别显示了8.5%和4.9%的最小平均改进。这归功于我们的方法对多模态KG的全面理解。

在这里插入图片描述

在多模态FKGC领域，我们的模型在所有基线上保持相当大的领先优势。相对于MM-FB15K和MM-DBpedia数据集上表现最好的基线多形式，它分别注册了7.4%和4.1%的最小平均增强。这些结果进一步证实了该模型在处理多模态FKGC任务方面的熟练程度。模型变体的讨论为了评估我们的模型中每个模块的贡献，我们在NELL和Wiki数据集上执行了变体实验，如表3和表4所示。这些实验将我们的完整模型与移除了关键模块的版本进行比较。

从这些比较中得出的观察结果如下:

多级知识生成模块显示出显著的影响，可能是因为它通过生成实体和关系表示来提高有限样本的利用率。
诸如三元组生成、属性生成和决策路径生成的组件积极地影响结果。他们有助于确定有价值的实体程序具有更大确定性的特性，突出了在各个层次生成多维知识的重要性。
取消一致性评估模块导致绩效下降，突出了其在评估扩大的知识共享范围内关系的一致性和连贯性方面的作用。这些发现共同验证了我们的模型的整体有效性的每个组成部分的重要性。

关于知识生成的讨论我们进行了实验来评估多级知识生成模块的影响，重点关注所使用的提示的数量，如图3 (a)所示。研究结果表明:(I)最佳性能:当使用三个属性提示、四个三元组提示和三个决策路径提示时，模型表现最佳。这表明平衡对于防止过度拟合是必要的，过度拟合可能会随着过多的提示而发生。过度拟合会导致概化能力下降，因为模型变得过度依赖提示中的特定模式。(ii)过多提示的影响:将提示数量增加到超过最佳范围会导致性能显著下降。过多的提示会带来混乱和噪音，削弱模型的有效性和决策能力。这些结果强调了平衡知识生成模块中的提示数量对于有效模型性能的重要性。关于一致性评估的讨论如图3 (b)所示，我们在MM-FB15K和MM-DBpedia数据集上评估了1次拍摄、3次拍摄和5次拍摄场景的一致性评估的影响。

主要发现包括:

缺乏一致性评估模块(“w/o .一致性评估”)的模型在所有指标上都显示出显著下降，突出了评估生成的事实在增强模型性能中的关键作用。
与其他基线相比，我们的模型在一次多模态KG完成任务中表现出更高的灵敏度。这种敏感性可以归因于我们的模型依赖于一致性来提炼生成的KG。
在各种少数镜头背景下，我们的模型始终优于其他模型，通过严格考虑三元组一致性和评估原始知识和生成知识之间的一致性，强调了它对于任务的能力。

在这里插入图片描述

这些见解证实了我们的模型有效地利用了多级提示，使其特别擅长于少数镜头MMKGC任务中的一致性评估。关于可解释路径的讨论为了强调决策路径在提高可解释性和支持预测中的作用，我们使用MM-FB15K和MM-DBpedia数据集分析了它们的应用，如图3 ©所示。

关键观察包括:(I)决策路径有效地引导预测。例如，考虑头部实体“比尔·马厄”和预测尾部实体“伯尼·布里斯坦”之间的关系“award_nominee”。一个可能的决策路径是:“比尔·马厄→颁奖→黄金时段艾美奖→典礼→第60届”。这条道路不仅阐明了预测的基本原理，也凸显了比尔·马厄与黄金时段艾美奖的联系。(二)决策路径揭示了各种关系和实体在预测过程中的关键作用。考察“博尔顿漫游者足球俱乐部”与预测尾部实体“EFL锦标赛”之间的关系“联赛”，一个似是而非的路径是:“EFL锦标赛→球队→博尔顿漫游者足球俱乐部→体育→协会足球”。这表明该模型依赖于特定的关系来进行预测。这些见解证实了决策路径生成促进了KGC的可解释路径，提供了对模型推理的更清晰的理解，并增强了可解释性。

结论

在这项工作中，我们介绍了FKGC mu KDC框架，通过LLM提炼解决了少数镜头场景中的数据稀缺问题。MuKDC由两个组成部分组成，即多层次知识生成和一致性评估，它不仅仅是扩展和深化知识生成；它通过严格的评估和与现有知识结构保持一致来确保它们的一致性和可靠性。这个框架展示了SOTA在FKGC和多模态FKGC任务中的表现，突出了它在长尾情况下丰富知识的功效。MuKDC在推进KG完成方面的成功及其在利用LLM完成NLP任务方面的潜力在该领域树立了一个新的基准，并为KG增强的未来研究铺平了道路。