【论文解读|Data Intelligence】 Large Knowledge Model: Perspectives and Challenges

摘要

人类对世界的认识与我们的感知和认知有着根本的联系，人类语言是世界知识的主要载体之一。在
这种情况下，像ChatGPT这样的大型语言模型(LLM)将广泛的、基于序列的世界知识的预训练集中到神经网络中，促进了这些知识在参数空间中的处理和操作。本文通过“知识”的视角探索大模型。首先，我们研究了符号知识(如知识图谱(KGs))在增强LLM中的作用，涵盖了知识增强语言模型、结构诱导预训练、知识提示、结构化CoT、知识编辑、LLM和知识丰富的人工智能代理的语义工具等方面。随后，我们研究了LLM如何增强传统的符号知识库，包括使用LLM作为KG构建者和控制器、结构化知识预训练和LLM增强的符号推理等方面。考虑到人类知识的复杂性，我们提倡创建大知识模型(LKM)，专门用于管理各种知识结构。这一有希望的事业将带来几个关键的挑战，例如从语言模型中分离知识库，与人类知识的认知对齐，感知和认知的整合，以及建立与物理世界交互的大型常识模型等。最后，我们提出了五个“a”原则来区分LKM的概念。

关键词：大语言模型；知识图谱；大知识模型；知识表示；知识增强

1. 语言与知识

1.1 人类语言与世界知识

人类在感知世界的过程中积累关于世界的知识，自然语言是世界知识的主要载体[1]。历史上，世
界上绝大多数的知识都是通过自然语言来描述、记录和传递的。除了记录常识性知识的自然语言外，人类还发明了各种科学语言来描述专门的科学知识，例如描述数学模型的数学语言[2,3]，描述分子结构的SMILE等化学语言[4,5]，以及模拟生物体组成的遗传语言[6,7,8].

然而，自然语言仅仅通过单词序列来编码世界知识，而人类的认知过程远远超出了简单的单词序列。因此，自人工智能诞生之初，探索机器友好的知识表示(KR) 格式[9]一直是一个基本目标。这些努力的典型例子包括用于表示本体知识的描述逻辑[10]、用于基于规则的逻辑的 Prolog [11]、用于描述概念关系的语义网络[12]以及各种其他格式。

在传统的符号人工智能研究中，知识图谱的逻辑结构和表达能力对推理机的推理能力至关重要 [9,10]。一般认为，由简单的单词或概念组成的自然语言序列不利于机器进行推理，而层次化的分类体系、复杂的本体和基于规则的逻辑更有利于机器推理。正如后面所强调的，即使在大模型时代，数据表示的复杂程度与大模型的推理能力之间仍然保持着正相关的关系。

1.2 语言模型与知识图谱

知识图谱(KG) 以图形结构的形式对世界实体、心理概念及其关系进行建模，这些图形结构通常从自然语言描述中提取或派生而来。知识图谱从传统符号 AI 中汲取了许多灵感，将自然语言描述与结构知识融为一体。典型的结构形式包括：层次结构（例如概念图）、关系结构（例如关系实体图）、时间结构（例如事件逻辑图）等。与自然语言类似，知识图谱以符号形式对知识进行编码，确保可靠性强、推理可追溯以及以人为中心的可解释性。

大型语言模型(LLM) [13, 14]（例如 ChatGPT）标志着知识表示和处理的范式转变。通过自主压缩
或将大量以人类语言形式呈现的文本知识投影到神经网络中，LLM 实现了世界知识的参数化表示和处理。LLM 内化了来自大量文本语料库的深度词模式和交互，建立了比传统符号知识库更广泛的知识覆盖范围。提示或指令调整等高级技术进一步将人类先前的知识融入 LLM，从而扩展了它们的泛化能力和对新任务的适应性。与自然语言和 KG 不同，LLM 在完全参数化、机器友好的基础上运行，尽管对人类来说不太容易理解。

如图 1 所示，LLM 和 KG 都是专门为知识的表示和操作而开发的。KG 提供高度准确且相互关联的
知识，从而实现受控推理并增强人类可读性。相反，LLM 提供广泛的知识覆盖范围，表现出增强的任务泛化能力，并利用神经表示来优化机器效率。然而，KG 面临着可扩展性的挑战，其推断能力有限，并且在推理可转移性方面存在困难。尽管 LLM 功能强大，但它需要花费大量训练成本，难以进行深度逻辑推理，并且容易出现幻觉错误。

在本文中，我们旨在通过“知识”的视角来研究大型模型。我们首先关注的是 KG 如何增强 LLM。主
题包括知识增强语言建模、结构诱导预训练、知识提示、结构化思维链 (CoT)、LLM 的语义工具、大模型中的知识编辑以及知识型 AI 代理的开发。我们进一步研究了 LLM 在丰富传统符号知识库方面的作用，包括利用 LLM 作为 KG 构建器和控制器、结构化知识预训练、LLM 驱动的符号推理。认识到人类知识的复杂性，我们概念化了一个大知识模型(LKM)，目的是处理人类知识结构的多样性。这可能涉及将知识与语言模型分离的方法、使用结构知识重构预训练、构建大型常识模型等。为了区分 LKM 的概念，我们从增强预训练、真实知识、可靠推理、丰富的知识覆盖和与知识一致方面提出了五个“A”原则。

2. 知识增强大型模型

迈向大知识模型的第一步是用知识增强 LLM。在这种情况下，“知识”具体指更标准化的语义表示，例如领域术语或本体，更结构化的知识表示，例如 KG，或更丰富的逻辑描述，例如具有 CoT 的文本。我们将讨论如何在 LLM 生命周期的各个方面有效地应用知识，包括预训练、使用指令进行微调、提示工程、思维链、AI 代理等。

2.1 表达力与尺度定律：知识表示的二分法

传统的符号知识表示研究主要关注表示表达能力与推理能力之间的联系，认为表达能力越强或越复杂的表示，推理能力越强。然而，这种观点往往忽略了一个重要因素：知识的规模也对推理能力有显著影响。例如，大模型中的缩放定律[15] 表明，只有当模型达到一定规模时，才会出现多样化的推理能力。这种现象可以归因于模型规模的增加导致知识覆盖范围的增加，从而使得更复杂的推理任务成为可能。

事实上，如图 3 所示，表达力和规模都是推理能力的平衡因素。更复杂的表示会产生更精确的知识，就像 KG 的本体一样，从而实现更强的推理，但获取大规模知识也更具挑战性。

相比之下，更简单的表示（例如用于训练大型模型的文本序列）有利于广泛覆盖知识，但由于精度降低而损害了精细推理。随着我们深入研究，这种内在矛盾构成了知识图谱和大模型互补性的基础，推动了使用传统符号知识推理增强大模型的进步。

2.2 基于知识结构的LLM预训练

让我们首先讨论一下如何利用各种形式的知识来增强预训练阶段。

2.2.1 代码结构与思维逻辑

大量研究表明，增强语料结构或在训练语料中加入更多逻辑可以提升大模型的推理性能[16, 17,
18, 19, 20, 21]。例如，代码语言具有结构化和丰富的计算逻辑的特点，与自然语言相比更有利于激发大模型的推理能力[22, 23]。同样，思维链（CoT）提示[24, 25]比普通文本包含更多的逻辑描述，因此更能激发模型推理能力。进一步的研究表明揭示了当模型扩展到一定规模时，CoT 提示会更加有效，这可以解释为更大的模型包含更多的推理知识，而这些知识的激活需要更多的逻辑提示。

为了深入探究代码结构与模型推理之间的关联，我们引入了一项关于“思维程序推理”的研究 [23]。这项研究首先建立量化代码结构和代码逻辑复杂性的指标。例如，具有循环操作的代码被认为具有更丰富的计算逻辑，并且与仅具有变量赋值操作的代码相比具有更高的分数。随后，我们编写了一系列具有不同结构或逻辑分数级别的代码提示，并评估它们对模型推理性能的影响。在各类基准测试上的实验分析表明，结构或逻辑分数较高的代码提示更有利于提高模型推理性能.虽然代码结构和 CoT 逻辑的表示还停留在比较简单的层面，但仍然有助于提升大模型的推理能力。可以预见，利用逻辑更深、结构更复杂的数据表示（如知识图谱）可以进一步增强模型的能力。

2.2.2 知识注入预训练

大模型通过理解单词序列来增强推理能力。要实现与人类认知过程类似的深度推理，必须超越基本的单词语义，形成和理解高级概念、实体及其相互联系。

将知识图谱与预训练模型相结合是一种很有前途的策略，可以实现这种更丰富的理解，并超越简单词语共现的限制，以涵盖高阶推理的复杂性。将知识图谱集成到预训练语言模型中的策略有多种，根据集成阶段大致可分为：输入层、架构层和目标层，如图 4 所示。

输入层注入。在输入层，最简单的策略是将知识图谱转换为自然语言描述，从而在不改变模型架构或训练过程的情况下扩展模型的输入。值得注意的例子包括 K-BERT [26] 和 Co-LAKE [27] 等。核心思想围绕利用知识图谱中实体之间的关系来丰富句子中实体的上下文信息。通常，该过程首先使用实体链接技术建立句子中的实体和知识图谱中的实体之间的联系。随后，用与这些知识图谱实体相对应的三元组扩展句子，然后将其输入到大模型中。在输入层注入知识从根本上来说是一种数据增强的形式。这些方法不需要修改模型的架构，并且与各种现成的模型兼容，因此易于实现。此外，由于结构化和文本知识都是在同一模型中训练的，因此这种方法避免了文本表示空间和结构化表示空间之间的不匹配。然而，将固有结构化的图转换为文本序列不可避免地会导致一些语义表示的丢失，并且结构信号的利用尚未得到充分实现。
中间层注入。第二种策略是先采用结构化的知识表示学习方法，比如 KG Embedding，得到实体和关系的向量表示，然后将其集成到语言模型中。著名的例子包括 ERNIE [28]、KnowBERT[29]、KG-BART [30]、KT-NET [31] 和 BERT-MK [32]。例如，ERNIE 首先使用 TransE 预训练实体表示。原始文本输入保持不变，然后在模型的中间层通过简单的注意机制与这些实体向量进行对齐和交互。由于实体向量表示已经从原始知识图谱中学习到了结构化特征，因此这种方法可以更好地保留图的结构语义。然而，由于文本语义和图结构表示来自两个不同的预训练模型，文本语义信号和知识结构信号之间可能会相互干扰，从而可能互相产生噪声。
目标层注入。第三种策略是在目标层注入知识，通常是通过多任务学习和精细的 LOSS 优化来实现的。值得注意的例子包括 KEPLER[33]、WKLM [34]、JAKET [35] 和 BERT-MK [32]。例如，KEPLER 在标准掩蔽预测损失之上添加了 KG 嵌入损失，使用多任务学习框架进行同时训练。由于文本和实体信息使用相同的编码器，并且单个损失控制 KG 嵌入和语言模型预训练的学习，因此与输入层注入相比，此方法保留了更多的结构信号，并且避免了架构层注入所需的文本和 KG 之间的显式对齐。

2.2.3 结构诱导预训练

我们已经提到，人类知识不是简单的文本序列，而是具有丰富的结构。在一项名为“结构诱导预训
练” [36] 的研究中，研究了在预训练语言模型中强加关系结构的作用。基本思想涉及在样本间或样
本内级别构建连接，以对训练样本内或之间的几何关系施加额外的结构约束。这些约束范围从通过辅助预训练目标实现的浅层约束，到通过数据增强或样本级对比学习等策略隐式集成的更复杂的约束。

样本间结构约束的典型例子是将蛋白质-蛋白质相互作用网络注入到蛋白质语言模型的预训练中。这种注入为模型注入了样本级的结构洞察，即蛋白质相互作用的关系结构。样本内结构的一个典型例子是将句子内的实体链接到外部知识图谱，从而将知识图中的关联信息引入训练句子中。进行了理论分析和实验验证，结果表明在各种基准上，结构诱导的效果都得到了持续的改进。

2.2.4 重构预训练

另一项相关研究是所谓的重构预训练 [37]。重构方法并不像那些结构诱导方法那样强加外部结构知
识，而是深入研究数据本身固有的结构信号。世界上的数据充满了各种不同格式的结构信号。例如，它可以像句子中的“下一个标记”信号、给定文本的元数据、三重格式的事实知识、实体或关系注释、单词之间的依赖结构以及许多其他信号一样简单。为了让 LLM 更好地接受教育，有必要自动或半自动地挖掘这些结构信号，并将它们全部重构为预训练模型的统一形式。

2.3 知识提示

接下来，我们将探讨如何利用知识来增强提示指令。

2.3.1 提示工程即知识工程

提示是指描述人工智能应该执行的指令、人工智能可以询问的指令上下文或人工智能可以遵循的思
考指导的自然语言文本[38, 24, 39]。大量实践证明 [40, 41, 42, 43]，提示的质量对模型输出的影响巨大。通过提供更具体细节的提示或指令，模型可以更准确地理解人类的意图，从而产生更符合人类指令的输出。

提示工程本质上与知识工程类似。越来越多的研究表明，提示的复杂度与模型推理能力密切相关。提示的演变范围从单纯的文本提示、带有更多逻辑描述的CoT提示，到思维程序[22]、思维树[44]、思维图[45]等更加结构化的提示，甚至直接使用逻辑规则作为提示[46]。随着提示表征的复杂度和表现力的提升，可以观察到模型推理能力的提升。然而，提示表征的丰富度与提示获取的可扩展性之间存在着一种权衡：提示的表达力越高，获取的难度也就越大，这与传统的知识工程本质上是相似的。与知识工程一样，高质量的提示工程也是费时费力的。

2.3.2 结构化思维链

思维链 (CoT) 是一种特殊的提示，它描述了可以指导大模型模仿人类逻辑思维的思维过程。如前所
述，采用结构更复杂的 CoT 表示，如思维树 [44] 或思维图 [45]，将增强模型的推理能力。

此外，知识图谱显然有利于增强概念与主题提示的结构化。一方面，知识图谱中的结构化知识可用于制定和生成结构化的概念与主题提示[19, 16, 17]，形成概念与主题知识图谱（KGoT）；另一方面，通过实体链接技术，可以利用知识图谱中概念和实体之间的结构关联来扩展和增强自然语言形式的概念与主题，使得文本形式的概念与主题更符合人类基于联想的思维模式，从而提升其指导人工智能推理的有效性。

2.3.3 KG 到指令

指令调优 [38, 39] 是指使用特定于任务的指令进一步训练基础模型，这些指令通常是从特定于任务的训练数据转换而来。由于来自各种任务的数据被转换为统一的输入形式作为指令或提示，因此使用大量下游任务进行指令调优将显著提高模型的泛化能力，即解决新问题或完成新任务的能力。

知识图谱具有增强指令调整的双重作用。一方面，知识图谱可以直接注入指令提示中。例如，KnowPrompt [ 4 7 ] 利用知识图谱中的关系数据来增强指令提示的上下文深度。同样，KANO [48]整合了来自维基百科的化学知识图谱的结构化知识来完善功能提示，从而改进分子预训练的学习过
程。

另一方面，知识图谱可以直接转换为指令数据集。以 DeepKE-LLM [49] 为例，从 WikiData 提炼而来的知识图谱被用于自动生成大量用于知识提取的训练指令。本质上，这些从知识图谱转换而来的指令代表了一种新型的远程监督形式，它利用知识图谱中的结构化信息来生成指令，指导模型理解和提取不同情境中的相关信息。如图 6 所示，InstructProtein [50] 引入了一个基于知识图谱的指令生成框架，以构建用于训练蛋白质语言模型的高质量指令数据集。具体而言，指令继承了蛋白质知识图谱中蛋白质与功能注释之间的结构关系，这使模型能够参与蛋白质功能的因果建模，类似于自然语言中的思维链过程。

图 6 InstructProtein：使用 KG 构建指令数据集的示例 [18]

相较于自由文本，知识图谱是逻辑结构更加丰富、知识密度更高的数据语料。知识图谱数据很多领域都来自于长期的人工积累（如Gene Ontology）或自然的结构化数据改造。充分挖掘和利用知识图谱中所蕴含的知识结构（如层级概念、实体关系、时间因果关系、规则逻辑等）来增强和丰富提示指令或辅助构建更具逻辑性的指令数据集，可以帮助模型完成更复杂的任务。

2.4 KG-RAG：基于知识的检索增强生成

检索增强生成 (RAG) 是指通过查询外部知识库（可以是外部搜索引擎、特定领域的语料库、结构化数据库或知识图谱）来增强大模型的生成能力。由于其训练成本效益高、避免模型幻觉以及符合隐私和版权标准，RAG 已成为大模型应用中必不可少的工具。

知识增强型 RAG 利用知识图谱中的概念层次结构、实体连接和逻辑规则来改进检索过程。RAG 的本质是将文档或图片分割成数据块，然后嵌入并存储在矢量数据库中以供检索。分块的主要问题在于可能会丢失文档的固有逻辑和上下文关系。这些分块的向量表示仅为相似度计算提供基本的特征向量，无法捕捉实体或概念之间更深层次的语义联系知识图谱旨在弥补这一差距。

应用 KG-RAG 的一种实用方法是创建实体或概念树，将 RAG 增强为 Entity-RAG 或 Topic-RAG等版本。使用知识图谱构建概念、主题或实体的层次结构，并将文档块内的这些元素连接到知识图谱，可以通过这些有组织的知识层次结构显著改善检索过程。一个典型的例子是 Tree-RAG [51]，它将 RAG搜索与实体树合并，实体树与向量数据库一起增强了上下文检索。该实体树对组织结构及其类别的层次结构进行分类，例如部门及其细分部门。实体树不仅阐明了实体在组织内的上下文，而且还在实体级别促进了跨文档块的搜索，从而加深了模型对实体关系的理解。

另一种 KG-RAG 方法使用实体图来增强 RAG。最初，使用知识提取处理文档块以创建临时的、特定于文档的知识图以增强 RAG。当有外部知识图（如 WikiData）可用时，它会与本地图合并并存储到图数据库中。在检索过程中，查询会访问向量和图数据库以查找相关的文档块和相关三元组，为大模型生成响应提供上下文。KG-FiD [52] 通过将检索到的段落与外部知识图融合在一起来举例说明这一点。

它首先创建一个包含段落特定知识和外部知识的综合知识图谱。然后使用图神经网络 (GNN) 对段落进行语义分析，并根据其相关性迭代重新排序，过滤掉不相关的内容。然后将这些过滤后的内容作为上下文输入到解码器中，从而显著提高响应准确率。

外部知识也可以增强大型模型的泛化能力。正如 RetroPrompt [53] 所讨论的那样，大模型通常依
靠“机械记忆”来处理长尾或孤立样本，而不是真正学习底层模式。这是许多大型模型在少样本场景中泛化能力较差的根本原因之一。这就像一个只知道如何机械记忆东西的学生，从一个实例进行推断的能力相对较弱。

RetroPrompt 通过将知识与记忆分离来解决此问题，并独立训练外部知识库（这里不一定是KG）。然后通过从预训练知识库中检索相关知识来丰富提示。实验表明，RetroPrompt 能够有效提高模型的泛化能力，特别是在少样本场景中。

2.5 KGs作为缓解幻觉的参考

大模型的一个众所周知的问题是幻觉 [54, 55]，即模型不是基于明确的文本证据而是基于神经网络内隐式参数的融合来生成响应。解决这些问题需要首先检测出这些幻觉。知识图谱以其高准确度和由于人工验证而具有清晰的逻辑定义而闻名，是检测此类问题的有效参考。它们的效用涵盖三个关键领域：

事实核查：此步骤将模型的响应与知识图谱的三元组进行比较，以验证准确性，依靠图谱的全面覆盖范围。
逻辑一致性：利用知识图谱的逻辑结构来增强通过检查答案的逻辑一致性来识别不准确之处。
验证模型训练：可以利用强大的语义和逻辑完整性来训练可以评估或判断生成内容准确性的鉴别器模型。

因此，知识图谱在提高大型模型的可靠性方面发挥着至关重要的作用，它能识别幻觉并有效地检测不准确性。

2.6 大模型知识编辑

除了检测幻觉，解决这个问题还延伸到直接纠正幻觉。就像我们可以在符号空间中查询和与知识图谱交互一样，我们也希望通过查询、编辑、修改、删除或更新来询问和操作存储在大型模型参数化空间中的知识。

知识编辑 [56] 就是为了实现这一目的，旨在纠正错误的知识、消除有害内容或参数化更新过时的信息。然而，在大规模神经模型的广阔参数空间中执行编辑并非易事。它首先需要找到错误的知识，然后确定必要修改的范围和边界。至关重要的是，由于这些模型中的知识是高度互联的，改变一条信息可能会产生深远的影响。

人们已经努力利用知识图谱来生成结构化数据并增强大型模型优化的奖励反馈信号。KnowPAT[57] 框架引入了一种新方法，将特定领域的知识图谱集成到模型对齐过程中，从而实现了知识驱动的人机对齐。该方法分为三个简洁的步骤：首先，它根据输入查询从知识图谱中检索相关信息；其次，通过使用不同质量的知识三元组来构建知识偏好集，以使模型输出与人类偏好保持一致；最后，应用该偏好集来微调和调整模型，从而提高其性能并与人类知识和偏好保持一致。

知识图谱可以通过三种方式增强大模型知识编辑。首先，经过验证的准确内容可作为编辑的主要参
考输入。其次，它们有助于理解修改模型知识所必需的复杂逻辑关系，为调整参数提供逻辑路线图。然而，与知识图谱不同，由于大模型知识的编码基于注意力机制，变化并不总是能够完全恢复，从而导致潜在的错误或幻觉。最有效但最具挑战性的方法是从一开始就使用知识图谱（在预训练或微调期间）来指导模型知识的组织和存储，与知识图谱的符号表示紧密相关。这不仅可以改善模型内的知识连通性，还可以通过明确定义修改的范围和效果来简化编辑过程 [60]。

2.6.1 基于知识的人类校准

将大模型与人类期望相一致是一种对抗幻觉和错误信息的策略，它涉及定制模型输出以符合人类价
值观和道德观。这通常从使用精选的响应进行监督微调开始，然后对响应进行排名以训练反映人类价值优先级的奖励模型。然后，该奖励模型为强化学习过程提供信息，优化模型与人类价值观的一致性，这是与人类道德知识保持一致的关键一步。

知识图谱 (KG) 因其经过彻底的人工审核而具有高标准化和准确性，为对齐大型模型提供了坚实的基础。通过将大型语言模型 (LLM) 的输出与 KG 的事实数据、结构化关系和逻辑约束进行比较，这种高度的可靠性使得KG 非常适合生成反馈信号来通知奖励模型。这种比较不仅可以提高 LLM 的输出准确性和可靠性，还可以提供评估模型性能的指标。

在此基础上，如图 8 所示，KnowPAT [57] 框架利用知识图谱通过创建偏序训练数据和增强奖励反馈信号来优化大型模型对齐。KnowPAT 的创新策略是将特定领域的知识图谱集成到对齐过程中，实现知识驱动的人工对齐。该过程分为三个步骤：首先，根据输入查询提取相关的知识图谱信息；其次，从各种质量知识三元组中构建知识偏好集，以使 LLM 输出与人类偏好对齐；最后，使用该偏好集进行模型微调，从而提高性能并使其与人类知识和偏好对齐。

OpenAI 的“从弱到强”泛化 [61] 揭示了 AI 超越人类能力的未来，凸显了用较弱的人类输入指
导更强大的 AI 的新挑战。这与传统模型形成了鲜明对比，传统模型中更强大的人类老师指导较弱的AI。知识图谱虽然范围有限，但提供了一种有针对性的方法，使 AI 与人类知识保持一致。挑战在于使用这些精确但较小、较弱的知识图谱来指导更广泛、准确性较低的 AI 模型。该研究方向专注于通过详细的知识图谱完善 AI 对人类知识的理解和应用，努力打造既强大又符合人类价值观的 AI 系统。

2.7 LLM 的语义工具

工具增强语言模型 [62, 63] 旨在通过集成调用外部工具来解决超出其原生解决方案范围的问题的
能力来扩展大型模型的功能。这些外部工具可以是数学计算器、数据库接口，也可以是具体的功能API，一个复杂的任务可能需要调用多个工具，形成复杂的工具调用逻辑。

大模型在自主学习如此复杂的工具调用逻辑方面仍面临困难，而利用知识图谱来建模复杂 API 组合背后的逻辑，这在传统服务计算架构领域已经颇为流行 [64]。但相较于传统软件工程领域，利用知识建模 API 调用逻辑，进而指导 API 组合的过程，借助大模型的语言理解能力，我们可能不需要对API 关系进行非常精细的建模，只需要提供工具功能和调用方式的文本描述，以及工具间关系的简单描述，如工具的层级分类、简单关联等，大模型就能自行学习到合理的工具调用和组合逻辑。

诸如 ChatGPT 之类的 LLM 可以构建自主代理 [65、66、67、68]，这些代理可以通过相互通信来解决复杂问题。KG 和代理之间的深厚关系根植于历史。早期的 KG 技术（例如 RDF/OWL [69]最初是为了增强基于 Web 的代理之间的交互并充当知识交换格式 [70] 而开发的。例如，OWL 语言的前身 DAML [71] 代表代理标记语言，强调了这种联系。

2.8 知识丰富的人工智能代理

新的 LLM 技术的出现将彻底改变代理之间的知识交换和交互模式。当代理自身的知识不足以解决问题时，它可以自主地向其他代理寻求帮助，而无需手动和精确地设计知识交换格式。LLM 的这种能力，加上 KG 的问责制，促进了更自主的知识协作，并为更强大、更有效的代理协作社区铺平了道路。

2.9 KG 增强大型多模态模型

大模型正在朝着集成多种模态的方向发展，使人工智能能够掌握看、听、说等技能，并增强与物理世界的互动。目前已经有大量研究利用知识图谱来增强多模态处理。例如，在零样本视觉推理任务中，知识图谱被广泛用于建立新类型实体之间的联系。通过使用知识图谱作为迁移学习的桥梁，帮助模型快速获得识别新类型实体的能力[73]。

当然，知识图谱也可以用来增强大模型的多模态生成能力。比如，我们可以从外部知识图谱中取出与提示相关的三元组，然后使用大模型根据用户的输入对这些三元组进行扩展，使得大模型能够生成内容更丰富、更符合人类预期的图像。其实，现有的多模态大模型在生成符合人类认知概念和意图的内容方面还相当薄弱。我们认为其中一个原因是这些多模态大模型中缺乏知识来约束和控制生成过程。这就好比人类的画家首先对客观世界形成一个概念性的理解，然后利用这些概念之间的逻辑关系来约束创作过程，确保创作出的内容符合人类的认知。

3. LLM 增强型符号知识库

迈向大知识模型的第二步是使用 LLM 增强传统的符号知识库。在此背景下，我们将知识图谱作为此类符号知识库的典型类型。我们将探索 LLM 在增强 KG 生命周期各个阶段的多方面作用，包括 KG构建和管理、结构化知识预训练、符号推理等方面。

3.1 符号知识库：必需品

GPT 等大型语言模型展示了令人印象深刻的知识表示和处理技能。然而，它们并不是万能的解决方案。在许多实际情况下，符号系统被证明是足够的，甚至是更优越的。在需要高可靠性的关键场景中，基于符号的知识库的构建将确保准确性，为其内容提供可追溯的来源，并提供增强的可解释性。重要的是，大多数现有的信息系统都是使用符号表示开发的。

通常，无需将它们转换为神经网络表示以集成到大型模型中，这可能会导致透明度的丧失，因为它们具有“黑箱”性质。展望未来，智能系统的未来可能在于结合神经网络和符号系统的混合方法，充分利用两者的优势。一个实际的例子是用大模型增强传统的符号知识库，这可能是许多现实场景中更可行、更可扩展的应用程序。

3.2 LLM 作为 KG 构建者

目前研究人员已经对 ChatGPT 构建 KG 的能力进行了深入评估 [75]。报告指出，ChatGPT 确实具有出色的 KG 构建能力。例如，ChatGPT 只需给出“为浙江大学创建KG”等简单指令即可有效生成 KG，并轻松将其格式化为 RDF/OWL 等所需格式。然而，由于 GPT 严重依赖 AIGC 模型来生成知识图谱，由于存在幻觉问题，其在常见领域的平均正确率约为 70-80%，在长尾领域甚至不到 20% [75]。在从提供的文本中提取知识时，ChatGPT 的准确率可以超过 90%。尽管如此，其性能仍未达到该领域现有小型模型的当前最佳 (SOTA) 成就 [76, 77, 78]。这种差异凸显了基于 LLM 的 KG 构建和信息提取方法需要进一步改进，特别是在平衡准确性和生成能力的广度方面。

为了验证 chatGPT 的正确提取不是来自之前见过的知识，即训练语料库中有相关知识，我们设计并生成了一个虚构的 KG [75]。随后，我们根据这些虚构的实体和关系生成文本，并将它们呈现给
ChatGPT 进行实体和关系提取。结果值得关注：ChatGPT在识别这些虚构的实体和关系方面表现出了很高的准确性。这种广义知识提取能力可能归功于其指令驱动的调整和基于奖励的反馈学习机制。

事实上，提取是一项相当基础的人工智能任务。它与理解的概念密切相关，因为从文本中提取有效的知识表明了模型的语义理解能力。因此，可以预见，以提取指令为重点进行微调的模型不仅会在提取任务中表现出色，而且还会在更广泛的任务范围内表现出增强的性能 [79, 80]。

我们总结了LLM作为通用KG构建器的独特优势如下：

以模型为中心的知识提取：与传统的知识图谱构建方法相比，ChatGPT 利用其广泛的“模型知识”和“生成推理”作为提取的附加组件。这意味着 GPT 可以提取嵌入在其自身参数中的知识或生成额外知识以增强提取结果。这种方法允许在结果中包含可能未明确存在于源文本中的额外知识。这种策略标志着从以文本为中心的提取转向以模型为中心的方法。
指令驱动的知识提取：如前所述，LLM 在识别以前未见过的实体类型和关系方面表现出了卓越的精确度。这种高准确度主要归功于指令驱动学习所实现的高级泛化能力。这种适应性使 LLM 能够有效地处理和识别新的数据输入，超越了严重依赖费力的标记工作的传统提取方法的局限性。
生成式知识图谱构建： LLM 具备强大的生成能力，在模型或源文本中缺少或不足知识的情况下，大模型仍可以为 KG 合成新知识。但值得注意的是，AIGC 在扩展 KG 的深度和广度的同时，也存在引入错误知识的风险。

3.3 LLM 作为 KG 控制者

大模型可以充当管理和与结构化知识交互的强大控制器，主要通过其增强的语言理解能力。这可以体现在以下三个方面：

查询模板增强：传统的符号知识查询回答方法通常依赖于手工制作的查询模板。此过程需要大量维护模板。大型模型通过自动生成高质量模板来提供有效的解决方案，从而确保更高的一致性并降低与模板维护相关的成本。
文本到逻辑查询解析：利用大模型的语言理解能力将自然语言查询转换为结构化查询格式（如SPARQL、Cypher、Gremlin等）提供了一种更直接的解决方案[19, 81]。这种方法将程序员从繁琐费力的手动设计查询组合任务中解放出来，大大简化了流程。
基于 RAG 的 KBQA [82]：最后，大模型可以利用基于嵌入的技术来增强从结构化知识库中检索的过程。这涉及在高维空间中表示查询和知识库，以提高检索信息的准确性和相关性。

总的来说，这些方法利用大模型的高级语言理解能力，使与结构化知识的交互更加容易访问、高效且用户友好。

3.4 利用大模型增强符号推理

3.4.1 LLM 推理与 KG 推理

“推理”是指人们从观察到的现象，结合已知的事实、经验或规则得出结论的认知过程 [83, 84]。这
一基本人工智能挑战在哲学、计算机科学和心理学领域得到了广泛研究。然而，本文仅关注语言模型和知识图谱中的推理。

知识图谱 (KG) 和大语言模型 (LLM) 都支持各种推理任务。LLM 处理数学、常识、符号、逻辑和多
模态推理 [83]。 KG 参与概念推理、知识补全、多跳查询推理、规则学习、不一致性推理和类比推理[85、86、87、84]。KG 中的推理基于明确获得的符号知识，因此可解释且可靠。图神经网络或 KG 嵌入等技术可以在向量空间中进行推理，但由于知识覆盖范围有限，KG 往往缺乏 LLM 的稳健性和泛化能力。

LLM 推理 [83] 发生在参数化的隐式空间中，严重依赖于嵌入的知识。与传统方法不同，LLM 的推理能力会随着模型大小而扩展 [88, 89]，从而提高其在新任务上的有效性。然而，这种生成性推理可能会导致幻觉，从而破坏结果的可靠性。

LLM 推理主要侧重于利用文本语义，而 KG 推理则结合了文本语义和图的结构知识。在这里，我们特别探讨了大模型如何增强 KG 推理，大致可分为以下几节中详述的三种策略。

3.4.2 以 LLM 为中心的 KG 推理

第一种是以LLM 为中心的推理，它强调大模型的推理能力，以直接增强 KG 推理。一种简单的方法是使用快速工程来推理知识图谱，其中知识图谱中的结构化数据被呈现给大模型上下文提示用于上下文学习。然而，研究表明，这种方法的表现通常比 TransE 等传统模型更差，尤其是在不包含实体的文本信息时 [75, 90]。这种表现不佳凸显了当前大模型从结构化数据中有效学习的能力有限，这导致了专门针对图形数据进行训练的新模型的开发，以提高性能。

提示工程涉及创建复杂的提示，但大语言模型 (LLM) 可能难以掌握知识图谱中的结构化数据。更好的策略是使用知识图谱中的结构化数据来创建指令，并采用指令微调来改进 LLM 训练 [57]。图 11显示了一个例子。这种方法将结构化信号与指令数据相结合，以增强模型对图结构的理解。它首先使用传统的 KG 嵌入模型进行预训练，以获得包含结构化信息的初始实体和关系嵌入。然后将这些嵌入与文本指令相结合，以微调 LLM。以这种方式微调的模型通常优于没有结构调整的模型，甚至可以在对结构细节敏感的任务中超越传统的 KG 嵌入模型。性能的提高源于 LLM 强大的语言理解能力和处理结构化信息的能力，而模型中嵌入的结构化知识进一步丰富了这些能力。

3.4.3 使用 LLM 进行以 KG 为中心的推理

第二种是以知识图谱为中心的推理，利用大模型的语言理解能力和结构化的训练机制来改进知识图谱本身的推理能力。

这种方法建立在传统知识图谱推理模型（如 KG 嵌入、图神经网络和经典符号推理）的基础上。但
是，它通过集成大语言模型的功能来增强这些模型，这些模型具有多种支持功能。首先，大模型大大增强了对知识图谱中语言和语义的理解，改善了文本语义的处理方式。此外，它们通过整合训练数据中固有的常识知识来丰富推理过程。此外，大模型还有助于生成多样化且合理的推理链，增加知识图谱中可用的推理路径的深度和广度。这种大模型的集成增强了传统的推理能力，使流程更加动态和富有情境性。

另一种方法是结构化知识预训练，我们将在即将讨论大型图模型时进一步探讨。这种方法并不严格要求 LLM 的参与。相反，它利用 Transformers 之类的架构在知识图上进行预训练。该模型完全在结构化信号上进行训练，然后在知识图上进行推理。KGTransformer [92] 就是这种方法的一个例子它采用了 KG 的几个基本任务，例如三重分类或头尾部预测，预训练结构化知识图谱。对于图像分类等下游应用，KGTransformer 集成了及时的微调机制，有效地利用了预训练的 KG 中的知识，从而提升了下游任务的性能。

3.4.4 KG与LLM的协同推理

最后，协作策略结合了大模型和知识图谱的优势，使它们以交互方式协同工作，实现更复杂的推理。一方面，大语言模型可以使用符号知识图谱作为外部可访问的工具。当需要给出明确、可靠的答案时，可以采用符号知识图谱进行推理。另一方面，当符号知识图谱推理由于缺乏知识而无法得出答案时，可以利用大语言模型的广泛知识和高泛化能力进行粗粒度推理。此外，LLM（参数化的，但不完全可靠）和KG（符号化的，更易于解释）之间的相互作用使它们相互增强和互补。

3.5 大图模型与结构化知识预训练

研究表明，在依赖结构化知识的任务中，当前的大模型通常不如传统的小型模型，例如链接预测、关联图挖掘、子图分析或时间序列预测 [75, 93]。然后提出了大型图模型[94, 95]，用于从复杂的图结构数据中获取见解，这对于各种高级应用至关重要，包括社交网络分析、生物网络分析和网络安全等。按照这种思路，我们可以开发专门的预训练机制，专门用于编码结构化知识，将结构化知识转换为指令格式以提高模型的通用性，或者为图计算任务设计特定的奖励模型。这种方法对于依赖图结构数据的大数据分析应用尤其有价值。

大型图模型的实现可以分为三种主要方法，本文对此进行了详细概述[94]。

以图为中心的方法。第一种方法采用图神经网络（基于 GNN 的模型），主要关注两个主要阶段的传统 GNN 算法：预训练和微调训练。核心架构通常使用传统的 Message Passing 模型或专门为图结构设计的 Transformer 模型。Transformer 模型利用注意力机制来评估图中元素之间的交互权重。在预训练阶段，可以使用对比损失等方法，其中图数据被增强、变形或修改以创建对比学习样本。然后使用这些自我增强的对比样本对模型进行预训练。在微调阶段，可以解决各种下游图任务，并且可以使用基于提示的指令针对这些任务微调模型参数。
以 LLM 为中心的方法。第二种方法利用大语言模型（基于 LLM 的模型），涉及将图形数据转换为模仿自然语言的序列，以便使用语言模型进行训练。此方法包含两种技术：图形到标记和图形到文本。在图形到标记技术中，图形结构中的节点和关系被合并到自然语言描述中，同时保留图形的标记格式。这允许语言模型处理信息，同时保留结构元素。相反，图形到文本方法将图形描述转换为全文叙述。这种技术在知识图谱中尤为流行，其中每个数据三元组自然对应一个句子，便于直接转换为文本。这两种方法都将输入转换为自然语言序列，允许在预训练期间应用标准语言模型损失函数，例如下一个标记预测或掩码预测。必须认识到这些方法可能涉及一些语义损失，因为图形结构中存在的丰富逻辑和语义细节在简化为顺序格式时可能会减少。
协同方法。为了减轻仅依赖大语言模型 (LLM) 所带来的语义损失风险，第三种方法结合了图神经网络 (GNN) 和LLM 的功能。在这种混合模型中，LLM 可以通过在将图数据输入 GNN进行预测之前增强图数据来增强 GNN，从而利用 LLM 的语言能力来丰富数据。或者，GNN 可以通过提供结构化信号来指导语言模型的推理过程，从而提高 LLM 的性能。这种协同作用还可以扩展到双向增强，其中 GNN 和 LLM 可以相互协调和改进彼此的预测，从而提高结果的整体准确性和连贯性。这种综合方法利用两个系统的优势来克服各自的局限性并提高其预测能力。

4. 从LLM到LKM

人类知识的特点是其复杂性，仅靠自由文本序列无法最佳地表示出来。我们对世界的描述往往需要各种结构化形式。一个可能的目标是创建更先进的大知识模型(LKM)，能够熟练地处理和解读知识表示的无数结构。本节旨在阐明路线图并确定开发这种大知识模型的关键挑战。

4.1 知识汤：人类知识的复杂性

处理知识的能力是人类智力区别于其他物种的显著特征之一。例如，较低级的生命形式只能直接对环境刺激作出反应，而像猫和狗这样聪明的动物则能够基于感知、记忆和类比做出选择性行为。而人类可以从对客观世界的观察中抽象和归纳出知识，并通过演绎、因果、类比和归纳进行复杂的推理，从而产生更理性的行为。这些高级智力活动都是通过知识来完成的，自然语言只是表示、承载和传递这些知识的一种形式。但人类的知识是高度复杂的。

在早期人工智能知识表示研究中，著名知识工程学者约翰·索瓦[96]提出了“知识汤”的概念。他认为，人类的知识在认知行为中起着核心作用，但现实中很难准确地表示和刻画。他把人类的知识比喻为一碗汤：流动而非凝固，松散组织而非严格定义，动态变化而非静态。“汤”中有大块固体、碎片颗粒和流动的无定形液体。由于外界加热或人为影响，大颗粒被分解成小颗粒，小颗粒溶解在液体中，而液体本身则不断蒸发和变化。这类似于拥有大块的多模态知识，以及细粒度的三元组知识或结构化、逻辑性、概念性和基于规则的知识，以及可以表示参数化神经网络知识的流动和无定形的液体。我们可以将大块文本分割成细粒度的知识，并进一步将这些知识与现代神经网络相结合，将各种类型的知识像流体一样融合在一起。

4.2 将世界知识与大模型分离

LLM 之所以“庞大”，其根本原因在于需要大量参数来存储大量的世界知识。正如 Bengio 在最近
的一篇博客文章 [97] 中强调的那样，这些大模型中的参数包括两个部分：世界模型和推理机。世界模型用于存储世界知识，实际上神经网络参数的很大一部分就是用于此目的。推理机负责推理计算，通过语言模型的功能进行操作。

或许是因为人类的推理能力也严重依赖语言理解能力，在典型的大语言模型中，“语言”和“知识”其
实是密不可分的。大型模型中这种语言与知识的融合，与传统的符号人工智能系统（如专家系统）不同，后者的知识库和推理引擎等组件被实现为独立的模块。然而，Bengio 也指出，未来的大模型可能应该将世界模型与推理机解耦，这样存储的部分知识就可以被独立验证和维护。

这意味着需要训练一个单独的、可能非常大的知识模型来处理广泛的世界知识，而相反，需要训练一个不同的语言模型来执行推理任务，而这个模型不一定非要像现在的 LLM 那样大。这种划分允许根据模型的主要功能有效地分配模型大小。这种分离将允许知识存储组件进行独立验证和维护，从而提供一种管理模型大小和增强模型知识的可验证性和可靠性的潜在方法。

事实上，RAG（检索增强生成）方法可以看作是一种将知识库与大模型分离的方法。在这种设置中，特定领域的知识库独立于大模型进行维护和训练。这允许在这些特定领域内更有针对性和更专业地处理知识。

4.3 与人类知识的认知一致性

许多认知科学家认为，人类天生喜欢结构化思维，倾向于通过联想思维来回忆、推理和计划。最近的研究表明，大模型存储知识的方式缺乏像知识图谱那样可辨别的模式[98]。换句话说，那些应该结构化关联的知识并没有在参数空间中表现出预期的关联，这使得模型很难在知识片段之间建立可行的关联。大型模型中知识存储的形式和人类思维中知识的组织形式之间可能存在某种“认知差距”。当我们期望模型具有更高的可控性，或者处理更深层、更复杂的联想推理时，这种认知差距在许多关键场景中都会成为问题。

缓解此问题的一种方法是在预训练阶段增强训练语料库的结构，称为重构预训练[95]或结构诱导预
训练[36]。也就是说，我们可以使用自动化或半自动化方法来增强文本的结构化特征。例如，我们可以更有逻辑地组织句子（本质上，CoT 是一种增加文本结构和逻辑的方法）。我们可以更连贯地组织段落，在单词之间添加链接，创建训练样本之间的连接，或者直接加入外部结构化 KG 来从结构上强化整个训练语料库。

这就提出了一个有趣的问题：知识在大模型中是如何存储和激活的？这一领域的研究被称为“回
路”[99]，旨在探索神经子结构如何形成为参数并在预测过程中逐渐激活。更具体的研究试图揭示三元组事实的组成部分是如何存储和激活的[100]。深入研究大型语言模型中知识存储和推理的深层机制超出了本文的范围，但它提出了几个重要的问题：哪些因素塑造了这些模型中的知识回路？人类大脑中的知识是否与文本序列的组织方式相似？答案很可能是否定的，这表明学习和激活这些知识需要更先进的训练技术。

我们需要将大模型的表示、存储和推理机制与人脑的知识结构和认知过程结合起来。这种结合不仅
仅涉及添加结构信号或增强知识；它需要从根本上改变知识在训练数据、优化函数和约束中的呈现方式。通过使训练数据与人类认知结构更加紧密地结合起来，我们可以弥合大模型与人脑之间的认知鸿沟，增强模型知识的清晰度、连通性和可验证性。这种转变可以有效地将大语言模型 (LLM) 转变为大知识模型 (LKM)，使其知识结构更自然地与人类认知过程相结合。

4.4 感知与认知的融合

知识图谱从根本上建模了关于世界的抽象概念或本体。这些本体在人类头脑中是通过抽象思维的认
知过程形成的，通过这一过程，人们首先认识了无数的世界元素，然后进一步从对这些元素的理解中抽象出层次化的概念或本体类别。大模型从海量文本语料中学习到丰富的关于单词和概念的知识，在概念识别和抽象方面表现出色。这使得诸如概念层次结构的自动构建、本体类别扩展、属性完成、本体对齐和概念规范化等任务能
够得到更先进的方法。

DeepMind联合创始人Demis Hassabis提出了一个令人深思的问题：“我们能否从我们自身的感知出
发，利用深度学习系统，从基本原理中学习？能否建立更高层次的思维和符号思维？”目前的大模型仍然从人类生成的文本语料库中学习世界，未来的大模型能否更多地依靠模型本身从感知与物理世界的交互中学习世界知识，自主地抽象出关于世界的概念和本体，并直接利用这种对物理世界的理解进行决策，从而实现感知与认知的深度融合。

4.5 常识知识与大世界模型

“世界模型”是指能够准确感知和理解客观世界中的一切事物及其复杂关系的综合模型[101]。与主要
用于理解人类语言的语言模型和主要用于理解视觉数据的视觉模型不同，世界模型需要在时间和空间维度上处理跨各种模态的数据。它们旨在形成对世界的认知并与物理环境交互以执行特定任务。世界模型对于实现通用人工智能至关重要。它们不仅要处理多模态感官数据，还要有效地学习世界的时空表征。重要的是，世界模型最终需要建立关于世界的常识性知识模型，使其能够准确地掌握和理解世界上万物之间的复杂关系，从而让人工智能能够在物理世界中做出正确的反应和行动。

知识模型，尤其是常识性知识模型，是构建世界模型的重要组成部分。常识性知识囊括了对日常情况的实际技能和合理判断，几乎为人类所共有。根据马文·明斯基 [102] 的定义，常识性知识包括“关于随时间发生的事件的事实、关于认知者和他人的行为的影响、关于物理对象及其感知方式的事实、关于它们的属性及其相互关系的事实”。

从历史上看，创建常识性知识库一直是人工智能面临的一项关键挑战，从 Cyc [103] 等早期项目开
始，一直延伸到 Concept-Net [104]、Yago [105]、DBPedia [106]、Wikidata [107]、BabelNet
[108]、ATOMIC [109] 和 ASTER [110] 等计划。这些努力旨在为人工智能配备强大的常识性知识库。然而，这些系统往往难以应对有限的知识覆盖范围和机器的推理能力。 ChatGPT 等大语言模型的最新进展凸显了积累和应用常识性知识的巨大潜力，尤其是由于它们广泛的知识覆盖范围。尽管这些模型有其优势，但它们也面临着诸如生成不可靠信息（幻觉）和仅支持基本的常识性推理任务等问题。

未来研究的一个有希望的方向是将传统的常识知识库与大型语言模型相结合，以形成一个广泛而综合的常识知识模型。这种方法可以利用两个系统的优势来解决各自的缺点，从而有可能为人工智能理解和与现实世界交互提供更强大、更可靠的大型世界模型。

4.6 LKM 的 5 个“A”原则

在这最后一节中，我们力求对大知识模型 (LKM) 的概念进行一般性描述，并概述其关键特征。我们使用如图 13 所示的五“A”框架概述了 LKM 的基本方面。

增强预训练：首先，大知识模型应使用多种知识结构进行训练，而不能仅仅依靠连续的单词。这可以通过将额外的逻辑元素纳入提示指令或通过增强结构一致性（无论是在样本间还是样本内）来实现，正如结构诱导预训练中所强调的那样 [36]。知识在大模型中的存储方式应类似于人类大脑中知识的组织方式。
真实知识：其次，大知识模型应避免产生幻觉，并提供可以独立验证的真实知识。这可以通过将知识表示与语言模型分离来实现，从而允许独立维护、验证和升级知识库。
可追溯推理：第三，整个系统应促进可追溯推理过程，以提高答案的可靠性和人类的可解释性。这可以通过将外部知识库上的符号推理与大语言模型的提示推理相结合来实现。
覆盖面广：第四，整个系统应提供丰富的通用和特定领域知识覆盖面。通过全面整合私人知识库、开放常识知识和代理社区之间基于 LLM 的知识交换，促进知识丰富的 AI 代理社区的发展，可以实现这一目标。
与知识相一致：最后，整个系统应该与人类价值观和道德观紧密结合，这些价值观和道德观是人类历史中积累起来的一种先进知识。这可能通过创建复杂的道德知识库和知识对齐技术来实现[57]，这些技术将道德知识库视为对齐目标。