论文浅尝 | 探索基于大模型的知识图谱补全

笔记整理：张溢弛，浙江大学硕士，研究方向为知识图谱

链接：https://arxiv.org/abs/2308.13916

1、动机

知识图谱在众多人工智能任务中发挥着重要作用，但它们经常面临不完整的问题。在本论文中，作者探索了如何利用大型语言模型（LLM）来完成知识图谱补全任务。作者通过将知识图谱中的三元组视为文本序列，并引入了一个名为知识图谱 LLM（KG- LLM）的框架来为这些三元组建模。本文提出的技术利用三元组的实体和关系描述作为提示，并利用LLM的回答进行判定。

2、贡献

为了解决上面提到的这个问题，在本研究中，我们提出了一种使用大型语言模型完成知识图谱的新方法。具体来说，我们将实体、关系和三元组视为文本序列，并将知识图谱补全建模为序列到序列问题。我们使用开放式 LLM对这些序列进行指令调整，以预测三元组或实体/关系的可信度。该方法在几项KG完成任务中取得了更高的性能，本文的贡献可以总结为：

• 作者提出了一种新的知识图谱补全方法，是目前为止第一项系统地研究利用大语言模型解决知识图谱补全问题的方法。

• 在多项经典的数据集上的实验结果表明，本文提出的方法在三元组分类、关系预测等任务上面达到了最优结果，作者发现对规模较小的LLM进行微调带来的性能可以超越诸如ChatGPT、GPT-4等大模型。

3、方法

作者提出的方法非常简洁明了，就是利用LLM的指令微调技术，将知识图谱中的三元组展开成文本序列，并用Instruction模版明确要完成的任务以及输入的数据，来微调LLM使其具备对知识图谱中蕴含的事实知识的感知能力。具体的模型框架可以用下面这张图概括：

在具体的实现过程中，作者采用LoRA对LLaMA模型进行微调，采用P-tunning V2对ChatGLM-6B进行，分别得到了两个模型KG-LLaMA和KG-ChatGLM。

4、实验

实验部分，作者采用了多项数据集进行了多项知识图谱补全任务，包括：

• 三元组分类：WN11/FB13

• 关系预测和实体预测：WN18RR/YAGO3-10

同时，作者采用了多项已有的方法作为基线模型(包括传统的知识图谱嵌入方法、KG-BERT、KGT5、以及LLaMA模型、ChatGPT、GPT-4等大模型)，同时由于大模型的评测成本比较高，作者在每项任务中只选择了100条数据进行大模型上的测试。

三元组分类的实验结果如下：

我们可以从数据中观察到，KG-LLaMA模型在三元组分类的准确率指标上超过了已有的绝大多数模型，相比于不具备知识图谱补全能力的原始LLaMA模型而言性能上有了巨大的提升，在小模型上进行指令微调的性能可以和ChatGPT/GPT-4等超大规模的LLM的性能相比肩。

类似地，KG-LLaMA在实体预测和关系预测上也取得了不错的效果，但是和ChatGPT以及GPT-4的能力依然有比较大的差距：

同时，作者通过一些具体的case比较了不同模型在知识图谱补全模型上的差异，可以发现，经过指令微调的模型输出的结果更能够输出满足需求的结果，而没有经过微调的模型则可能缺乏这种能力，容易输出一些答非所问的结果。

5、总结

在这项工作提出了一种名为 KG-LLM 的新型 KG 补充方法。该方法在三元分类和关系预测等 KG 补充任务中保持了最先进的性能。尽管该方法在使用 LLMs 完成 KG 方面取得了可喜的成果，但目前还缺乏处理缺乏实体和关系的文本名称或描述的 KG 的能力。传统上，我们还没有充分利用 KG 结构信息，而这种信息有可能显著改善结果，尤其是在实体预测任务中。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。