“新KG”视点 | 知识图谱与大语言模型协同模式探究

OpenKG

大模型专辑

导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期特别邀请到天津大学王鑫教授、同济大学王昊奋研究员和天津大学陈子睿博士共同分享“知识图谱与大语言模型协同模式探究”，本文发表于CCF计算机学会通讯2023年第11期。

分享嘉宾 | 王鑫（天津大学）、陈子睿（天津大学）、王昊奋（同济大学）

笔记整理 | 邓鸿杰（OpenKG）

内容审定 | 陈华钧

---

摘要：本文探讨了知识图谱与大语言模型的协同模式。首先介绍了背景与现状，然后分别探讨了知识图谱增强的大语言模型、大语言模型增强的知识图谱以及知识图谱与大语言模型交互融合，并给出交互融合的具体案例。最后探讨了知识图谱与大语言模型协同模型的未来发展方向。

01

背景与现状

随着ChatGPT为代表的大语言模型（Large Language Model, LLM）兴起，及其对知识图谱（Knowledge Graph, KG）技术影响的深入探讨^[1]，LLM和KG的关系及其相互作用已成为人工智能领域的一个研究热点问题。LLM正在人工智能的多个领域产生深刻影响，可以认为是“联结主义”的最新进展；而KG代表人工智能知识工程领域的前沿发展，是“符号主义”的集大成者。一方面，LLM涵盖范围广泛，能够适应不同的语境及上下文，生成更加自然贴切的语言，可用于文本摘要、问答系统、机器翻译等多种不同的自然语言处理任务，但LLM为参数化隐式知识，会存在事实编造、缺乏可解释性等问题；另一方面，KG是结构化显式知识，天然就具有可解释性，领域特定的知识质量高，但其构建开销大，往往不够完备，且缺乏自然语言处理能力。LLM与KG协同工作可以克服各自缺陷、发挥互补优势，共同提升自然语言处理能力，扩大应用范围。KG可以提供额外的、结构化的、高质量的知识，提高模型泛化能力，其结构化知识可以帮助人们理解模型输出；LLM可以自动从文本数据中提取知识，从而降低KG的构建和维护成本。

目前，KG和LLM的协同仍处于起步阶段，其协同设计模式存在很多待解决的问题，有必要对这些问题进行梳理总结，以便研究人员和开发人员更好地理解这一领域的现状和发展趋势，共同讨论KG与LLM相结合的潜力与未来。

02

知识图谱增强的大语言模型（KG4LLM）

LLM能从大规模语料库中学习知识，并在诸如实体识别，关系抽取等多种自然语言处理任务中取得最先进的性能。然而，LLM在生成文本时可能产生看似合理而实际错误的内容，被称为“幻觉问题”；其次，尽管LLM可以从大规模语料库中学习大量知识，但这些知识基于统计模式，不是真正的实际知识，可能导致在处理特定领域问题时缺乏深刻理解和准确知识；最后，LLM生成的结果通常缺乏可解释性，用户很难理解模型如何得出特定结论或生成特定文本，结果缺乏可解释性限制了模型在关键任务中的可用性。

为解决这些问题，鉴于KG以明确且结构化的方式存储大量知识，可用于提升LLM的性能，如图1所示，研究人员提出将KG整合到LLM中，以增强LLM的性能表现。

图1  KG4LLM协同模式示意图

模型预训练

KG增强LLM进行预训练的主要目的是利用外部知识，例如KG、词典或其他文本描述，加强模型的语言表示能力。预训练有两类实现方法，第一类集中于利用KG中的实体和关系信息，如GLM^[2]、K-Adapter^[3]等，直接将文本中的实体与KG实体对齐，从而捕捉文本中未明示的知识，利用实体关系的描述增强语言模型的表示能力。通过该方法，模型能够理解处理更复杂的关系，捕捉文本中未明示的知识，但效果依赖于KG的质量和完整性，在许多实际应用中，这对KG的更新和维护是一个挑战。第二类侧重于使用词典或其他形式的文本描述为模型提供丰富的背景知识，如E-BERT^[4]、K-BERT^[5]等，帮助模型更好地理解文本中的罕见词或实体，与其在词典中的定义描述对齐，提供更丰富的上下文信息及背景知识，有助于更好地理解和解释文本，但该方法依赖于词典或描述文本的质量和完整性，对于非常专业或领域特定的文本，可能缺乏足够的描述信息。

模型知识融合

在KG增强LLM的知识融合研究中，主要有两大类方法。基于检索增强的方法利用KG增强LLM的预测能力，该方法在生成结果或推理过程中，从大型外部KG中抽取与输入相关的外部信息辅助推理，主要优点在于能够动态利用丰富的外部知识，但可能需要更多的计算资源。QA-GNN^[6]尝试从大型KG中识别信息，捕获问题上下文的细微差别，通过KG节点的相关性评分和联合推理，提高答题的效率和准确性，但其可能引入与问题上下文不相关的实体。JointLK^[7]尝试解决子图中噪音节点的问题以及语言表示和KG表示之间互动有限的问题，支持语言模型和KG之间的多步联合推理，能够在两种模态间进行深入信息交互，但实际操作中可能需要更多的计算资源。其次是深度集成方法，这类方法在模型架构的多个层次上融合语言模型和KG的信息，使两者能够深入交互并相互补充，优点在于允许在整个模型架构的深入整合和交互，但可能需要大量的计算资源和复杂的模型设计。GreaseLM^[8]尝试实现KG和LLM之间真正统一的融合，允许在架构的所有层面上进行深入整合和交互。

模型可解释性

为了更好理解和解释LLM的内部知识结构和行为^[9]ÿ