LLM与知识图谱的协同与互补

背景介绍

论文地址：Unifying Large Language Models and Knowledge Graphs: A Roadmap

LLM影响力与潜在问题

自从2017年Transformer提出后，Bert系列、GPT系列及T5等在大规模语料库上预训练的大型语言模型已经可以在一些自然语言处理任务上发挥很好的效果了，如：文本分类，机器翻译，摘要生成，命名实体识别，智能问答等。随着模型规模的急剧增长，如GPT3、PaLM等模型具有数百上千亿的参数量，LLM进一步获得了涌现能力，可以解决更多更加复杂的任务，比如优秀的上下文学习能力，复杂的推理能力（数学推理、代码生成等）。
下图为近年来基于不同架构的模型演变过程。

上图中，实心方框表示开源模型，空心方框则是闭源模型。

随着2022年年底ChatGPT的提出，国外及国内相继提出各种各样的LLM，如LLaMA、Bloom、ChatGLM、Baichuan、Qwen等，在人工智能领域引起了新的浪潮，也标志着AIGC时代的到来。

然而，尽管LLM拥有多种强大的能力，但毕竟是黑盒模型，且存在无法充分捕捉和获取事实知识时，会容易生成具有错误事实的表述，也就是幻觉问题。例如，对 LLM 提问：「爱因斯坦在什么时候发现了引力？」它可能会说：「爱因斯坦在 1687 年发现了引力。」但事实上，提出引力理论的人是艾萨克・牛顿。这种问题会严重损害 LLM 的可信度。

对于黑盒模型的LLM来说，是以参数的方式隐含地表示知识，很难解释或验证LLM获取的知识。此外，LLM通过概率模型进行推理，这是一个犹豫不决的过程。LLM用于预测或决策的具体模式和函数对人类来说是不可直接访问或解释的。即使一些LLM能够通过应用思维链（chain-of-thought）来解释其预测结果，它们的推理解释也会出现幻觉问题。特别是在医疗、金融、法律等一些对准确性要求比较高的领域，是不容易被接受的。举个例子，在医疗诊断场景中，LLM 可能也会产生误诊，或者提供与医疗常识相悖的解释。

对于知识图谱，通常会以三元组的方式（头实体、关系、尾实体）存储大量的事实知识，是一种结构化和确定性的知识表示方法，因此，KG可以为各种应用提供更为准确的显式知识。能够生成可解释的结果，还可以随着新知识的不断添加而不断演化。此外，通过让专家来构建特定领域的知识图谱，就能具备提供精确可靠的特定领域知识的能力。

而知识图谱也存在一些问题，比如在知识图谱的构建过程中，很难处理KG的完整性和动态变化的特性，对于一些未知的或新的实体进行建模。同时，现有的一些KG构建的方法通常会对一些特定的任务进行定制，而导致缺乏足够的通用性和泛化性。

LLMs和KGs的优缺点

LLMs和KGs的优缺点总结如下：
LLM的优点包括：通用知识、语言处理、泛化能力；
LLM的缺点包括：隐含知识、幻觉现象、无法决断问题、黑盒问题、缺乏领域特定/新知识；
KG的优点包括：结构化知识， 准确性, 决策能力, 可解释性, 领域特定知识, 不断发展的知识;
KG 的缺点包括: 不完整性，缺乏语言理解能力，未见过的知识。

因此，可以考虑引入外部知识和约束，来缓解LLM模型幻觉问题。例如，结合知识图谱、实体识别或逻辑推理等技术，将先验知识和约束融入到生成过程中。

知识图谱（KG），例如维基百科和华普，是明确存储丰富事实知识的结构化知识。可以通过提供外部知识来增强LLM的推理和可解释性。与此同时，由于知识图谱的建立困难且不断发展，这对现有的知识图谱方法在生成新事实和表示未见知识方面提出了挑战。因此，统一LLM和KG，同时利用它们的优势，是互补的。

LLM与KG统一的可能性引起了研究人员和实践者的越来越多的关注。LLM和KG天然相互关联，并且可以相互增强。在增强的KG-LLM中，KG不仅可以在LLM的预训练和推理阶段中融入，提供外部知识，还可以用于分析LLM并提供可解释性。在LLM增强的KG中，LLM可以被用于各种与KG相关的任务，如KG嵌入，KG补全，KG构建，知识图谱到文本生成以及KG问答，以改进KG的性能并促进应用。在协同的LLM + KG中，研究人员将LLM和KG的优点相结合，相互增强知识表示和推理。尽管有关增强型LLM的一些调研主要集中在使用KG作为外部知识增强LLM，但它们忽略了在LLM中整合KG的其他可能性以及LLM在KG应用中的潜在作用。

论文作者提出了统一LLM和KG的前瞻性路线图。路线图包括三个通用框架，即：
1）增强的KG-LLM，将KG融入LLM的预训练和推理阶段，或用于增强LLM所学知识的理解；
2）LLM增强的KG，利用LLM进行不同的KG任务，如嵌入、补全、构建、图文生成和问答；
3）协同作用的LLM+KG，其中LLM和KG发挥相等的作用，并以数据和知识驱动的双向推理方式相互增强LLM和KG。

大语言模型（LLMs）

基于大规模语料库预训练的大型语言模型（LLMs）在各种自然语言处理任务中显示出了巨大潜力，而大多数LLMs都源自Transformer设计，它包含由自注意力机制增强的编码器和解码器模块。根据体系结构，LLMs可以大致分为三种：1）编码器（only-encoder）LLMs，2）编码器-解码器（encoder-decoder）LLMs，3）解码器（only-decoder）LLMs。

only-encoder架构

only-encoder 的大型语言模型仅使用编码器对句子进行编码并理解单词之间的关系。这些模型的常见训练范式是预测输入句子中的掩码单词。这种方法是无监督的，并且可以在大规模语料库上进行训练。像BERT、ALBERT、RoBERTa和ELECTRA这样的only-encoder LLMs需要添加额外的预测头来解决下游任务。这些模型可以很好的做NLU（自然语言理解）类的任务，如文本分类，文本匹配，命名实体识别等任务。

encoder-decoder架构

encoder-decoder 的大型语言模型采用编码器和解码器模块。编码器模块负责将输入句子进行编码，解码器用于生成目标输出文本。编码器-解码器LLMs的训练策略可以更加灵活。例如，T5通过掩码的方式和预测屏蔽单词的范围进行预训练。UL2 统一了多个训练目标，如不同的掩码范围和屏蔽频率。编码器-解码器LLMs（例如T0 、ST-MoE和GLM-130B）能够直接解决基于上下文生成句子的任务，例如摘要、翻译和问答。

decoder-only架构

decoder-only 的大型语言模型仅采用解码器模块来生成目标输出文本。这些模型的训练范式是预测句子中的下一个单词。很多 decoder-only的LLMs通常可以根据少量示例或简单指令执行下游任务，而无需添加预测头或微调。许多最先进的LLMs（例如Chat-GPT和GPT-4）采用decoder-only的架构。然而，由于这些模型是闭源的，学术研究人员很难进行进一步的研究。最近，Alpaca和Vicuna6作为开源的decoder-only LLMs发布。这些模型基于LLaMA进行微调，并且在性能上与ChatGPT和GPT-4相当。

上图为一个情绪分类 prompt 的示例。

提示工程

提示工程是一个新兴领域，专注于创建和优化提示，以最大化大型语言模型（LLM）在各种应用和研究领域中的效果[63]。如图4所示，提示是为LLM指定的任务（例如情感分类）而创建的一系列自然语言输入。提示可以包含以下几个元素：1）指令，2）上下文，3）输入文本。指令是一个短句，指示模型执行特定任务。上下文提供输入文本或少量示例的背景信息。输入文本是需要模型处理的文本。

提示工程旨在提高大型语言模型（如ChatGPT）在各种复杂任务中的能力，例如问答、情感分类和常识推理。**思维连（CoT）**提示可以通过中间推理步骤来实现复杂推理能力。另一种方法是将外部知识引入来设计更好的知识增强提示。自动化提示工程（APE）提出了一种可以提高LLM的性能的自动生成提示的方法。提示工程提供了一种简单的方式来利用LLM的潜力，而无需微调。因此，精通提示工程有助于更好地理解LLM的优势和局限性。

知识图谱

知识图谱（KGs）以三元组的形式存储结构化知识，其中KG = {(h, r, t) $\subseteq$ E × R × E}，E和R分别表示实体和关系的集合。现有的知识图谱（KGs）根据存储的信息可以分为四类：1）百科知识图谱，2）常识知识图谱，3）领域特定知识图谱，4）多模态知识图谱。

• 百科知识图谱：代表了现实世界中的常识知识。百科知识图谱通常通过整合来自不同且广泛的信息源构建，包括人类专家、百科全书和数据库。Wikidata 是最广泛使用的百科知识图谱之一，它包含从维基百科文章中提取的各种知识。其他典型的百科知识图谱，如Freebase、Dbpedia和YAGO，也源自维基百科。
• 常识知识图谱：描述了关于日常概念（如对象和事件）及其关系的知识。
• 领域特定知识图谱：通常用于表示特定领域（如医学、生物学和金融）中的知识。与百科知识图谱相比，领域特定知识图谱通常规模较小，但更准确可靠。例如，UMLS 是医学领域的一个领域特定知识图谱，包含生物医学概念及其关系。此外，其他领域的领域特定知识图谱还包括金融、地质学、生物学、化学和家谱学等。
• 多模态知识图谱：与传统的只包含文本信息的知识图谱不同，多模态知识图谱以多种形式（如图像、声音和视频）表示事实。例如，IMGpedia 、MMKG 和Richpedia 将文本和图像信息都整合到知识图谱中。这些知识图谱可以用于各种多模态任务，如图像文本匹配、视觉问答和推荐。

LLM和知识图谱的代表性应用

分类

为了更好地了解统一LLMs和KGs的研究，作者进一步为路线图中的每个框架提供了细粒度的分类。具体而言，根据关注不同的KGs和LLMs集成方式，即KG增强的LLMs，LLM增强的KGs和协同LLMs + KGs。研究的细粒度分类如下图所示：

KG增强的LLMs：集成KGs可以增强LLMs在各种下游任务中的性能和可解释性。将KG增强的LLMs的研究分为三部分：

1）KG增强的LLM预训练：包括在预训练阶段应用KGs的工作，以改善LLMs的知识表达能力。
2）KG增强的LLM推理：包括利用KGs在LLMs的推理阶段使用KGs，使LLMs能够在无需重新训练的情况下访问最新的知识。
3）KG增强的LLM可解释性：包括使用KGs来理解LLMs学到的知识以及解释LLMs的推理过程的工作。

LLM增强的KGs。LLMs可以用于增强各种与KG相关的任务。我们根据任务类型将LLM增强的KGs的研究分为五部分：

1）LLM增强的KG嵌入：包括将LLMs应用于通过编码实体和关系的文本描述来丰富KGs表示的研究。
2）LLM增强的KG补全：包括利用LLMs对文本进行编码或生成事实，以提高KG完成任务的性能的论文。
3）LLM增强的KG构建：包括利用LLMs来处理实体发现、共指消解和关系提取等任务，用于KG构建的研究。
4）LLM增强的KG到文本生成：包括利用LLMs生成描述KGs事实的自然语言的研究。
5）LLM增强的KG问答：包括将LLMs应用于连接自然语言问题并从KGs中检索答案的研究。
协同LLMs + KGs。LLMs和KGs的协同旨在将LLMs和KGs统一到一个框架中，以相互增强。在这个分类中，我们从知识表示和推理的角度回顾了最近的协同LLMs + KGs的尝试。

用知识图谱增强 LLM

大型语言模型在许多自然语言处理任务上都表现出色。但是，由于 LLM 缺乏实际知识而且常在推理时生成事实性错误，因此也饱受批评。解决该问题的一种方法是用知识图谱增强 LLM。

具体的方式有几种，一是使用知识图谱增强 LLM 预训练，其目的是在预训练阶段将知识注入到 LLM 中。二是使用知识图谱增强 LLM 推理，这能让 LLM 在生成句子时考虑到最新知识。三是使用知识图谱增强 LLM 可解释性，从而让我们更好地理解 LLM 的行为。

用知识图谱增强 LLM 预训练

现有的 LLM 主要依靠在大规模语料库上执行无监督训练。尽管这些模型在下游任务上表现卓越，它们却缺少与现实世界相关的实际知识。在将知识图谱整合进 LLM 方面，之前的研究可以分为三类：将知识图谱整合进训练目标、将知识图谱整合进 LLM 的输入、将知识图谱整合进附加的融合模块。

将知识图谱集成到训练目标中

这个类别的研究工作侧重于设计新颖的知识感知训练目标。一种直观的想法是在预训练目标中暴露更多的知识实体。GLM 利用知识图谱的结构为掩码概率分配权重。具体而言，对于可以通过一定数量跳跃到达的实体，被认为是学习的最重要实体，并且在预训练过程中给予更高的掩码概率。此外，E-BERT进一步控制了标记级和实体级训练损失之间的平衡。训练损失的值被用作标记和实体的学习过程的指示，动态确定它们在下一次训练周期中的比例。SKEP在LLMs的预训练过程中也采用了类似的融合方式来注入情感知识。SKEP首先通过利用PMI和预定义的种子情感词识别具有积极和消极情感的单词。然后，它在词掩码目标中对这些被识别为情感词的单词分配更高的掩码概率。

还有一些研究明确利用与知识和输入文本之间的连接。ERNIE 提出了一种新颖的单词-实体对齐训练目标作为预训练目标。具体而言，ERNIE将句子和文本中提到的相应实体输入到LLMs中，然后训练LLMs来预测文本标记和知识图谱中实体之间的对齐链接。

将知识图谱集成到LLMs的输入中

这类研究工作侧重于将相关的知识子图引入到LLMs的输入中。给定一个知识图谱三元组和相应的句子，ERNIE 3.0 将三元组表示为一个标记序列，并将其直接与句子拼接在一起。它进一步随机掩盖三元组中的关系标记或句子中的标记，以更好地将知识与文本表示相结合。然而，这种直接知识三元组拼接的方法使得句子中的标记与知识子图中的标记密集地相互作用，可能导致知识噪声。为了解决这个问题，K-BERT [36]通过可见矩阵将知识三元组注入到句子中，只有知识实体可以访问知识三元组信息，而句子中的标记只能在自注意力模块中相互作用。

通过附加的融合模块将知识图谱整合到 LLM 中

用知识图谱增强 LLM 推理

以上方法可以有效地将知识与 LLM 的文本表征融合到一起。但是，真实世界的知识会变化，这些方法的局限是它们不允许更新已整合的知识，除非对模型重新训练。因此在推理时，它们可能无法很好地泛化用于未见过的知识。

一些研究关注的正是分离知识空间与文本空间以及在推理时注入知识。这些方法主要关注的是问答（QA）任务，因为问答既需要模型捕获文本语义，还需要捕获最新的现实世界知识。

用于 LLM 推理的动态知识图谱融合

通过检索外部知识来增强 LLM 生成

用知识图谱增强 LLM 可解释性

尽管 LLM 在许多 NLP 任务上都表现不凡，但由于缺乏可解释性，依然备受诟病。LLM 可解释性是指理解和解释大型语言模型的内部工作方式和决策过程。这能提升 LLM 的可信度并促进 LLM 在事关重大的场景中的应用，比如医疗诊断和法律评判。由于知识图谱是以结构化的方式表示知识，因此可为推理结果提供优良的可解释性。因此，研究者必然会尝试用知识图谱来提升 LLM 的可解释性；相关研究大致可分为两类：用于语言模型探测的知识图谱、用于语言模型分析的知识图谱。

用于语言模型探测的知识图谱

用于语言模型分析的知识图谱

用 LLM 增强知识图谱

知识图谱的显著特点就是结构化的知识表示。它们适用于许多下游任务，比如问答、推荐和网络搜索。但是，传统知识图谱往往不完备，并且已有方法往往不会考虑文本信息。

为了解决这些问题，已有研究者考虑使用 LLM 来增强知识图谱，使其能考虑文本信息，从而提升在下游任务上的表现。使用 LLM 对知识图谱进行不同增强的方法，包括知识图谱嵌入、知识图谱补全、知识图谱到文本生成、知识图谱问答。

用 LLM 增强知识图谱嵌入

知识图谱嵌入（KGE）的目标是将每个实体和关系映射到低维的向量（嵌入）空间。这些嵌入包含知识图谱的语义和结构信息，可用于多种不同的任务，如问答、推理和推荐。传统的知识图谱嵌入方法主要依靠知识图谱的结构信息来优化一个定义在嵌入上的评分函数（如 TransE 和 DisMult）。但是，这些方法由于结构连接性有限，因此难以表示未曾见过的实体和长尾的关系。
为了解决这一问题，该方法使用 LLM 来编码实体和关系的文本描述，从而丰富知识图谱的表征。

用 LLM 增强知识图谱构建

知识图谱构建涉及到为特定领域内的知识创建结构化的表示。这包括识别实体以及实体之间的关系。知识图谱构建过程通常涉及多个阶段，包括：实体发现、共指消解和关系提取。下图展示了将 LLM 用于知识图谱构建各个阶段的一般框架。

近期还有研究探索了端到端知识图谱构建（一步构建出完整的知识图谱）以及直接从 LLM 中蒸馏出知识图谱。

LLM与KG的协同

知识表示

文本语料库和知识图谱都包含大量知识。但是，文本语料库中的知识通常是隐式的和非结构化的，而知识图谱中的知识是显式的和结构化的。因此，想要以统一方式来表示这些知识，就必须对齐文本语料库和知识图谱中的知识。下图给出了针对知识表征任务统一 LLM 和知识图谱的一般框架。

推理

为了充分利用LLM和KG的优势，研究人员将LLM和KG相互协同，进行各种应用的推理。在问答任务中，QA-GNN首先利用LLM处理文本问题，并引导KG上的推理步骤。通过这种方式，它可以弥合文本和结构信息之间的差距，为推理过程提供可解释性。在知识图推理任务中，LARK 提出了一种以LLM为指导的逻辑推理方法。它首先将传统的逻辑规则转换为语言序列，然后要求LLM对最终输出进行推理。
此外，Siyuan等人在统一框架中统一了结构推理和语言模式预训练。给定一个文本输入，他们采用LLM生成逻辑查询，并在KG上执行以获得结构上下文。然后，将结构上下文与文本信息融合起来生成最终的输出。RecInDial 将知识图谱和LLM结合起来，在对话系统中提供个性化推荐。KnowledgeDA 提出了一个统一的领域语言模型开发流程，利用领域知识图谱增强任务特定的训练过程。

未来方向

在联合知识图谱和大型语言模型方面还有诸多挑战有待解决，下面简单给出了这一研究领域的一些未来研究方向：

将知识图谱用于检测 LLM 的幻觉；
将知识图谱用于编辑 LLM 中的知识；
将知识图谱用于黑箱 LLM 知识注入；
将多模态 LLM 用于知识图谱；
将 LLM 用于理解知识图谱的结构；
将 LLM 和知识图谱协同用于双向推理。