【AI论文精读5】知识图谱与LLM结合的路线图-P1

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

---

P2，P3，P4

简介

论文中英文名

Unifying Large Language Models and Knowledge Graphs: A Roadmap
统一大语言模型与知识图谱：路线图

论文地址

https://arxiv.org/abs/2306.08302

精读理由

该论文提出了一个将大型语言模型（LLMs）与知识图谱（KGs）相结合的路线图。

---

摘要

大型语言模型（LLMs），如ChatGPT和GPT-4，由于其新兴能力和广泛的泛化性，正在自然语言处理（NLP）和人工智能（AI）领域掀起新的浪潮。然而，LLMs本质上是黑箱模型，在捕捉和访问事实性知识方面往往有所欠缺。相比之下，知识图谱（KGs），例如维基百科（Wikipedia）和华谱（Huapu），是显式存储丰富事实性知识的结构化知识模型。知识图谱可以通过提供外部知识来增强LLMs的推理能力和解释性。

然而，知识图谱本质上难以构建和演进，这对现有的知识图谱生成新事实和表示未见过的知识的方法提出了挑战。因此，将LLMs和知识图谱结合起来，同时利用它们的优势是互补且必要的。在这篇文章中，我们提出了一条前瞻性路线图，以实现LLMs和知识图谱的统一。该路线图包括三种通用框架：

1. 知识图谱增强的LLMs（KG-enhanced LLMs）：在LLMs的预训练和推理阶段中融入知识图谱，或者用于增强对LLMs学习到的知识的理解。

2. LLMs增强的知识图谱（LLM-augmented KGs）：利用LLMs执行各种知识图谱任务，例如嵌入、补全、构建、图到文本生成和问答。

3. 协同的LLMs + KGs（Synergized LLMs + KGs）：在这种框架中，LLMs和知识图谱扮演同等角色，并以互惠的方式协同工作，增强LLMs和知识图谱，进行由数据和知识共同驱动的双向推理。

我们在文章中回顾并总结了现有的工作，指出了在这三种框架下未来的研究方向。

---

1 引言

大型语言模型（LLMs），如BERT [1]、RoBERTa [2] 和 T5 [3]，通过在大规模语料库上进行预训练，已经在各种自然语言处理（NLP）任务中表现出色，例如问答系统 [4]、机器翻译 [5] 和文本生成 [6]。最近，随着模型规模的显著增长，LLMs展现出了新兴能力 [7]，这为将LLMs应用于通用人工智能（AGI） 铺平了道路。先进的LLMs，如ChatGPT和PaLM2，拥有数十亿个参数，在许多复杂的实际任务中展现出了巨大潜力，比如教育 [8]、代码生成 [9] 和推荐系统 [10]。

尽管LLMs在许多应用中取得了成功，但它们因缺乏事实性知识而备受批评。具体而言，LLMs会记住训练语料库中包含的事实和知识 [14]，然而，进一步的研究表明，LLMs无法可靠地回忆这些事实，并且经常出现生成错误事实的现象，即所谓的“幻觉” [15, 28]。例如，当被问及“爱因斯坦什么时候发现了引力？”时，LLMs可能会错误地回答“爱因斯坦在1687年发现了引力”，而实际上是牛顿在那一年提出了引力理论。这种问题严重削弱了LLMs的可信度。

此外，作为黑箱模型，LLMs还因缺乏可解释性而受到批评。LLMs在其参数中隐式表示了知识，因此难以解释或验证它们获得的知识。更糟糕的是，LLMs通过概率模型进行推理，这是一个不确定的过程 [16]。LLMs用于做出预测或决策的具体模式和功能并不容易被人类理解或解释 [17]。尽管某些LLMs能够通过思维链（Chain of Thought, CoT） 解释其预测 [29]，但它们的推理解释同样会受到幻觉问题的影响 [30]，这在高风险场景（如医疗诊断和法律判决）中尤其成问题。例如，在医疗诊断场景中，LLMs可能会错误地诊断疾病，并提供与医学常识相矛盾的解释。这进一步揭示了LLMs在面对特定领域知识或新知识时，可能因为缺乏领域特定的知识或缺乏新训练数据，而无法很好地泛化 [18]。

为了解决上述问题，一个潜在的解决方案是将知识图谱（KGs）引入LLMs。知识图谱以三元组的形式（即实体、关系、目标实体）存储大量事实，是一种结构化且明确的知识表示方式（例如，Wikidata [20]、YAGO [31] 和 NELL [32]）。知识图谱在各种应用中至关重要，因为它们提供了准确的显式知识 [19]，并以其符号推理能力 [22] 而闻名，能够生成可解释的结果。知识图谱还可以随着新知识的不断加入而主动演化 [24]，此外，专家可以构建领域特定的知识图谱，以提供精确且可靠