“新KG”视点 | 陈华钧——大模型时代的知识处理：新机遇与新挑战

OpenKG

大模型专辑

导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织“新KG”视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期刊登浙江大学计算机科学与技术学院陈华钧教授分享的“大模型时代的知识处理：新机遇与新挑战”，本文整理自陈华钧教授在CCF Talk及在第三届知识图谱产业论坛上的主旨报告，精简版发表于中国计算机学会通讯CCCF第 19 卷第 9 期。

文章目录

1. 语言vs知识

1.1 ChatGPT：世界知识的神经网络化

1.2 知识图谱和大型语言模型都是处理知识的手段

1.3 世界（知识）模型 vs（语言）推理机器

2. 大模型技术栈中的知识图谱

2.1 知识增强与结构增强

2.2 提示工程即知识工程

2.3 知识图谱与思维链结构化

2.4 知识图谱与指令精调

2.5 大模型的知识编辑与知识对齐

2.6 知识图谱与工具调用及Al智能体

3. 知识图谱技术栈中的大模型

3.1 ChatGPT的自动化图谱构建能力

3.2 知识抽取大模型

3.3 结构化知识大模型

3.4 大模型增强的知识图谱推理

3.5 自动化本体与概念抽象

4. 总结与展望

文章作者 | 陈华钧 浙江大学计算机科学与技术学院教授/博导、OpenKG发起人

笔记整理 | 邓鸿杰（OpenKG）

---

01

语言 VS 知识

1.1 ChatGPT：世界知识的神经网络化

人们在认识世界的过程中不断积累关于世界的知识，而语言则是表示世界知识的最直接载体。目前为止，人类的绝大部分知识都是通过自然语言来描述、记录和传承的。除了记录常识知识的自然语言，人类还发明了描述数学模型的数学语言，描述分子结构的化学语言（如SMILE），描述生命体组成的基因语言等来表示和记录更为专业的专家知识。

以ChatGPT为代表大型语言模型将这种海量的、以序列为主的世界知识预先学习进神经网络中，并实现在参数化空间对知识进行处理和操作。与传统以算法为主的模型不同，ChatGPT训练的是富含知识的模型，是知识模型与算法模型的混合体。

1.2 知识图谱和大型语言模型都是处理知识的手段

自然语言以文字序列的方式来表示知识，而知识图谱（KG）利用图结构来描述世界万物之间的关系，代表一类结构化的知识表示方法。典型结构表示包括：层次结构（如概念图谱）、关联结构（实体关系图谱）、时序结构（如事理图谱）、逻辑结构（如逻辑规则）等。知识图谱中既包含自然的文字语义，也包含结构化关联关系。

但人脑中的知识显然没有文字序列和图结构那么简单。在传统符号AI的研究中，知识表示的逻辑结构与推理机的推理能力有着密切的关系。简单的词汇或概念组成的自然语言序列通常被认为不利于机器进行推理计算，而具有层次结构的Taxonomy、更为复杂的本体结构Ontology以及规则逻辑则更加利于实现可靠的机器推理。正如后文分析，即使在基于文本预训练实现的大模型推理时代，这种知识表示的结构化水平与模型推理能力之间的正关联关系是仍然存在的。

自然语言和知识图谱是一种显式的知识表示方法，人可理解，可解释性好。随着神经网络与知识图谱的不断融合，研究人员进一步发展出知识图谱嵌入、图表示学习和预训练等向量化、数值化或参数化的隐性知识表示方法。大型语言模型（LLM）利用神经网络从超大规模的文字语料中学习文字的组合、交互和涌现规律，实现在神经网络参数空间编码基本的文字语义。进一步通过提示工程向模型注入更多人类先验知识；利用指令精调来扩展模型的任务泛化和知识外推能力，使得模型更容易适配到新的知识领域；再利用人机对齐学习来进一步调节模型行为，使得模型更加遵循人类指令和符合人类价值预期。与自然语言和知识图谱不同，LLM是完全参数化、数值化的知识表示方法，对人不可理解，但更益于机器学习和计算。

1.3 世界（知识）模型 vs （语言）推理机器

大模型“大”的本质原因是它需要大量的参数来表征海量的世界知识。正如Bengio在其最近一篇博文中所指出，当前大模型中的参数实际上包含两部分：世界模型（World Model）和推理机器（Inference Machine）。世界模型用于存储世界知识：事实上，大模型中的大部分神经网络参数都是用来存储知识的。而用来进行推理计算的推理机器是依靠语言模型来实现。

或许是因为人的知识推理也极大的依赖语言理解能力和过程，在大模型中“语言”和“知识”也是浑然一体密不可分的。这和传统符号AI的实现是很不一样的，在传统符号AI如专家系统架构中，知识库和推理引擎是两个独立实现的模块。但Bengio也同时指出，未来的大模型或许应该将世界模型和推理机器进行适当解耦，这样存储知识的部分可以独立进行验证和维护，这或许是控制模型规模和提高模型知识的可验证性和可靠性的一条可能路径。

总而言之，知识图谱和大型语言模型都是表示和处理知识的手段。“语言”和“知识”一定程度是密不可分的，而大模型则补足了语言理解的能力，为更有效的处理和利