大模型如何应用于知识图谱补全

©作者|Haoyang

来源|神州问学

 引 言 

信息抽取可以从结构化、半结构化和非结构化数据中进行实体、关系的提取形成三元组，将这些三元组以（头实体、关系、尾实体）的形式组织起来，称为知识图谱的构造。例如，（北京，位于，中国）这一三元组表示北京位于中国这一事实，将实体表示为节点，关系表示为两个节点之间相连的边，构成描述语义关系的图即为知识图谱。大型知识图谱如Google Knowledge Graph、YAGO等在语义搜索、推荐、问答系统等任务中不可缺少，它们作为结构化的知识模型存储了丰富的事实知识，具备一定的推理和可解释性的能力，但它们经常面临不完整的问题。

最近随着大语言模型如GPT-4、Llama等不断发展，研究人员发现随着预训练的语言模型的规模的扩大，模型所表现出来的涌现能力可以提高下游任务的模型容量，具有了解决一系列复杂任务的泛化能力。然而它们是黑盒模型，往往不能捕获和访问事实知识。

因此，将两者的优势进行互补，使知识图谱能够与大语言模型相结合将会是研究的一个重要方向。

论文链接：https://arxiv.org/pdf/2308.13916.pdf

开源代码：https://github.com/yao8839836/kg-llm

摘要

知识图谱虽然在许多人工智能任务中发挥至关重要的作用，但它们经常面临不完整的问题。在本文研究中，我们探索用大语言模型（LLM)来完成知识图谱的补全。我们将知识图谱中的三元组视为文本序列，并引入一种创新框架命名为Knowledge Graph LLM (KG-LLM)来对这些三元组进行建模。我们使用三元组的实体和关系的描述作为LLM的提示，并利用响应进行预测。在各种知识图谱基准实验上证明，我们的方法在三重分类、关系预测等任务中取得了最先进的性能。我们还发现了微调较小的模型比如LLaMA-7B、ChatGLM-6B等表现优于最近的ChatGPT和GPT-4。

介绍

知识图谱补全任务目的是在知识图谱不完整的情况下，评估知识图谱中不存在的三元组的合理性。很多研究都致力于知识图谱的补全工作，其中一种比较流行的方法是知识图谱嵌入。但是大多数知识图谱嵌入模型仅依赖于所观察到的三元组事实的结构化信息，导致出现由