Relations Prediction for Knowledge Graph Completion using Large Language Models

题目

使用大型语言模型进行知识图谱补全的关系预测

论文地址：https://arxiv.org/pdf/2405.02738
项目地址： https://github.com/yao8839836/kg-llm

摘要

    知识图谱已被广泛用于以结构化格式表示事实。由于其大规模应用，知识图谱存在不完整性的问题。关系预测任务通过为每对节点分配一个或多个可能的关系来获得知识图谱完成。在这项工作中，我们利用知识图谱节点名称来微调关系预测任务的大型语言模型。通过仅使用节点名称，我们使我们的模型能够在归纳设置中充分运行。我们的实验表明，我们在广泛使用的知识图谱基准上取得了新的分数。

CCS 概念：• 计算方法 → 自然语言处理；知识表示和推理；语义网络。

ACM 参考格式：Sakher Khalil Alqaaidi 和 Krzysztof Kochut。2024. 使用大型语言模型进行知识图谱完成的关系预测。在第 8 届信息系统和数据挖掘国际会议 (ICISDM '24) 论文集上。ACM，纽约，纽约州，美国，10 页。

简介

    知识图谱 (KG) 用于以实体节点和边的形式存储语义数据。边表示实体之间的有向关系。例如，詹姆斯·卡梅隆制作了《阿凡达》这一事实可以存储在 KG 中，方法是使用生成的关系（边）将詹姆斯·卡梅隆节点链接到《阿凡达》节点。这种知识表示结构称为三元组；它由头节点、关系和尾节点组成。如果交换了围绕边的节点，此三元组中的方向对于保持事实的有效性很重要。由于 KG 在表示语义事实方面的效率，KG 被用于大规模应用，例如推荐系统和信息提取 [25]。然而，由于 KG 规模巨大，因此存在不完整的问题 [26]。因此，提出了几种用于知识图谱完成 (KGC) 的方法 [18]。预测节点对之间的关​​系就是其中一种方法。关系预测 (RP) 任务旨在识别两个给定节点之间的关系； RP 任务输入中的节点顺序对于保持关系方向和区分头节点和尾节点非常重要。正式地，在 RP 任务中，函数 𝑓 被训练来预测给定节点对的一组关系 𝑅，即头节点 𝑛ℎ 和尾节点 𝑛𝑡 ，如下所示：𝑓 (𝑛ℎ, 𝑛𝑡) = 𝑅。因此，在前面给出的例子中，RP 任务还可以预测詹姆斯·卡梅隆节点和阿凡达节点之间其他合理的关系，例如 writer_for、directed、honored_for 和 nominated_for。

    KGC 的最新成果是通过将节点和边编码为数值浮点向量而获得的 [18]。这些向量通常称为嵌入，它们广泛应用于基于机器学习的模型中。最初，KGC 模型仅依靠图结构来生成节点和边的嵌入 [3, 20]。图结构信息反映了节点的拓扑细节，例如节点度、可以从节点开始的步行长度以及节点邻域的结构。然而，基于 KGC 结构的模型在归纳设置中的表现不尽如人意，即在预测模型训练期间未见过的节点关系时。

    另一方面，一系列 KGC 模型采用了从节点内容生成的嵌入，例如节点标签中的文本或节点属性中的数值 [29, 30]。然而，由于内容类型的异构性，一些 KGC 模型仅利用了语言模型易于进行文本编码所支持的文本内容。此外，能够处理模型训练期间未见过的节点文本，这使得基于语言模型的 KGC 在开放世界场景中具有优势。

    在自然语言处理 (NLP) 中，语言模型与机器学习的结合已经在各种任务上取得了惊人的成就，特别是在预训练语言模型 (PLM) 出现之后，例如 BERT、GPT2 和 Roberta [12]。最近，大型语言模型 (LLM) 凭借其庞大的训练语料库和先进的转换器 [22]，在多个 NLP 任务中表现优于 PLM。

    在这项工作中，我们利用 LL