Exploring Large Language Models for Knowledge Graph Completion

题目

探索用于知识图谱补全的大型语言模型

论文地址：https://arxiv.org/abs/2308.13916
项目地址： https://github.com/yao8839836/kg-llm

摘要

    知识图谱在许多人工智能任务中发挥着至关重要的作用，但它们经常面临不完整的问题。在本研究中，我们探索利用大型语言模型 (LLM) 来完成知识图谱。我们将知识图中的三元组视为文本序列，并引入一个称为知识图谱 LLM (KGLLM) 的创新框架来对这些三元组进行建模。我们的技术使用三元组的实体和关系描述作为提示，并利用响应进行预测。在各种基准知识图谱上的实验表明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能。我们还发现，微调相对较小的模型（例如 LLaMA-7B、ChatGLM6B）的表现优于最近的 ChatGPT 和 GPT-4。

简介

    大型知识图谱 (KG)，如 FreeBase (Bollacker 等人，2008)、YAGO (Suchanek 等人，2007) 和 WordNet (Miller，1995)，为许多关键的 AI 任务提供了强大的基础，包括语义搜索、推荐 (Zhang 等人，2016) 和问答 (Cui 等人，2017)。
KG 通常是多关系图，实体为节点，关系为边。每条边都被描绘成一个三元组 (头实体、关系、尾实体)（缩写为 (h, r, t)），表示两个实体之间的关系，例如 (史蒂夫·乔布斯，创立，Apple Inc.)。尽管知识图谱非常有效，但它仍然不完整。这个问题导致了知识图谱补全的挑战，旨在评估知识图中不存在的三元组的合理性。

    大量研究致力于知识图谱补全。一种流行的方法是知识图谱嵌入 (Wang et al, 2017)。然而，大多数知识图谱嵌入模型仅仅依赖于观察到的三元组事实的结构信息，从而导致知识图谱稀疏性的问题。许多研究整合了文本信息来增强知识表示 (Socher et al, 2013; Xie et al, 2016; Xiao et al, 2017; Wang and Li, 2016; Xu et al, 2017; An et al, 2018)。我们之前的工作 KG-BERT (Yao et al, 2019) 首先采用预训练语言模型 BERT (Devlin et al, 2019) 来编码先验知识和上下文信息。最近的几项研究（Wang et al, 2021, 2022; Lovelace and Rose, 2022; Youn and Tagkopoulos, 2023）在效率和性能方面扩展了 KG-BERT 模型，但这些研究中使用的模型相对较小。

    最近，大型语言模型（Zhao et al, 2023）如 ChatGPT 和 GPT-4（OpenAI, 2023）引起了广泛关注。研究人员发现，扩展预训练的语言模型通常可以提高下游任务的模型容量。这些大型模型表现出与 BERT 等小型模型不同的行为，并在解决一系列复杂任务方面表现出令人惊讶的能力。

    在本研究中，我们提出了一种使用大型语言模型进行知识图谱补全的新方法。具体而言，我们将实体、关系和三元组视为文本序列，并将知识图谱补全建模为序列到序列的问题。我们使用开放式 LLM（LLaMA（Touvron 等人，2023）和 Cha