大型语言模型驱动的知识图谱自动化构建

导读

大模型刚火起来的时候， 很多人认为知识图谱没前途了，会被大模型代替，因为知识已经被学到大模型肚子里了。跑了半天后，发现不是那么回事，发现大模型和知识图谱就是两个层面的东西， 从我的角度：

• 知识图谱更偏加工出来的产品， 这个产品既可以用到其他场景， 也可以反过来提升大模型的准确性

• 大模型即可以作为工具加工生产知识图谱， 也可以使用知识图谱提升自己的准确性。

阅读本系列将了解如何使用大模型自动构建知识图谱

介绍

知识图谱(Knowledge Graph)是以Graph 形式表示数据的网络。

知识图谱的美妙之处在于它们将概念、事件和实体表示为节点，它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义，并区分其多种可能的含义。

例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。

知识图谱适用于各种领域和应用，包括零售产品推荐、搜索引擎优化、反洗钱倡议和医疗保健，金融场景

然而，知识图谱的使用，也存在非常多的挑战、昂贵和耗时的构建过程，而且很多时候还伴随这大量的人工参与。

经常在数据前，需要人工根据业务，去定义各种本体，属性；边和节点产生后，需要人工进行校验数据的准确性，而且这个过程是需要一直迭代进行。成本非常高。

这一挑战催生了一波新的研究：探索如何自动知识图谱构建。

特别是人们对将大型语言模型（LLMs）如GPT-4整合到构建过程中的兴趣日益增长，因为它们具有出色的语言处理能力。

在本文中，我们将首先简要探讨与知识图谱构建相关的困难。然后，我们将比较知识图谱和LLMs作为知识库。

最后，我们将回顾利用LLMs进行自动知识图谱构建的现有方法。

构建知识图谱的困难点

以往的知识图谱构建方法基于众包或文本挖掘。

像WordNet和ConceptNet这样的知识图谱是通过大量人力构建的，但受限于预定义的关系集。

与此同时，基于文本挖掘的方法从文档中提取知识，但仅限于文本中明确陈述的关系。

这种方法还涉及诸多步骤，如共指消解，命名实体识别等。

这些困难还受到了不同领域或应用构建不同知识图谱的事实的影响。

例如考虑到每个领域中使用的各种概念和术语，所以没有通用的方法来创建知识图谱。

特定领域也提出了自己的挑战。例如，在服务计算社区中，知识图谱在资源管理、个性化推荐和客户理解方面非常有用。

然而，在这种情境下的知识图谱需要来自不同领域的知识和概念，并且构建知识图谱所需的数据既分散又大部分未注释。

这些因素显著增加了制作知识图谱所需的时间、精力和成本。

知识图谱与大型语言模型的比较

知识图谱和LLM都可以被查询以检索知识。

在下图中，知识图谱通过查找相关联的节点来定位答案，而LLM被提示填写[MASK]标记以完成句子。

像GPT-4和BERT这样的LLM最近因其出色的语言理解能力而受到了很多关注。

众所周知，LLM模型数量， 以及使用量， 应用数量每年都在不断增长，并且在大量数据的训练下，使它们拥有了巨大的知识。

许多人可能会转向ChatGPT来提问，而不是在谷歌上搜索。

自然而然地，研究界的下一个问题是探索LLM（如GPT）是否可以取代知识图谱（如谷歌知识图谱）成为主要的知识来源。

进一步的研究表明，尽管拥有更多的基础世界知识，LLM仍然难以回忆关系事实和推断行为和事件之间的关系。

虽然LLM具有许多优势，但LLM也面临挑战，例如：

1. 幻觉：LLM偶尔会产生令人信服但不正确的信息。相反，知识图谱提供了基于事实数据的结构化和明确的知识。

2. 有限的推理能力：LLM难以理解和使用支持证据来得出结论，特别是在数值计算或符号推理方面。知识图谱中捕获的关系允许更好的推理能力。

3. 缺乏领域知识：虽然LLM在大量的通用数据上进行了训练，但它们缺乏来自特定领域数据的知识，如具有特定技术术语的医学或科学报告。与此同时，知识图谱可以针对特定领域进行构建。

4. 知识过时：LLM的训练成本高昂，并且不经常更新，导致它们的知识随着时间的推移而过时。另一方面，知识图谱具有更简单的更新过程，无需重新训练。

5. 偏见、隐私和毒性：LLM可能会给出有偏见或冒犯性的回应，而知识图谱通常是由可靠的数据源构建而成，不受这些偏见的影响。

知识图谱不会遇到这些问题，并且表现出更好的一致性、推理能力和可解释性，尽管它们也有自己的一系列局限性。除了之前讨论过的问题外，知识图谱还缺乏LLM从无监督训练过程中获得的灵活性。

合并Knowledge和LLM

因此，已经有许多研究工作旨在合并LLM和知识图谱。

虽然知识图谱具有指导LLM更准确的能力，但LLM可以在构建过程中辅助知识图谱提取知识并提高知识图谱的质量。

有几种方法可以合并这两个概念：

• 利用LLM辅助自动知识图谱构建：LLM可以从数据中提取知识以填充知识图谱。下面将讨论这种方法的更多细节。

• 教会LLM从知识图谱中搜索知识：如下图所示，知识图谱可以增强LLM的推理过程，使LLM能够得出更准确的答案。

• 将它们合并为知识图谱增强的预训练语言模型（KGPLMs）：这些方法旨在将知识图谱纳入LLM训练过程中。

使用大型语言模型进行自动知识图谱构建

早期方法

2019年提出的早期方法之一是COMET（或COMmonsEnse Transformers），它使用了经过精细调整的生成式LLM，本例中为GPT，通过生成给定头实体和关系的尾实体来构建知识图。

在下面的图像中给定“seed”和“relation”，COMET生成了“完成”响应，这些响应经过人类评估以评估响应的合理性。

然后可以使用这些种子-关系-完成三元组来形成知识图。例如，“piece”和“machine”可以形成由“PartOf”关系连接的两个节点。

使用 ChatGPT 作为信息提取器

使用 ChatGPT 构建了一个专门针对服务领域的知识图，名为 BEAR，以避免与手动数据标注相关的工作量和成本。

为此，创建了一个特定于该领域的本体，作为知识图的基础，并确定了知识图应该在以后填充的概念和特征。

然后，可以提示 ChatGPT 从非结构化文本数据中提取相关内容和关系，就像下面的图片中一样。随后，自动提取的信息被合并到知识图中以构建它。

使用LLMs进行半自动知识图谱构建

再次利用ChatGPT作为信息提取器，Kommineni等人最近提出使用ChatGPT-3.5。

在他们的知识图谱构建方法中，人类领域专家在两个阶段验证结果，如下所示：

这种方法与以前的方法的区别在于LLMs在这里扮演了更积极的角色。从特定数据集开始，ChatGPT被提示生成能力问题（CQs），这些问题是关于数据的抽象级别的问题。

通过提示ChatGPT再次从CQs中提取概念和关系来创建本体论。

CQs的答案从数据中检索出来，并提供给ChatGPT，指示其提取关键实体、关系和概念，并将它们映射到本体论上以构建知识图谱。

从LLMs中获取知识图谱

本文讨论的最终方法是直接从LLMs中提取信息。

Hao等人认识到，LLMs中存储着大量的知识，这些知识可以用于实际应用。

下图显示了获取LLM知识的步骤。该过程始于一个初始提示和至少两个实体对。然后使用文本释义模型对提示进行释义，并从原始提示中得出修改后的提示。随后，对LLM进行搜索，以找到与这组提示相对应的实体对。

使用搜索和重新评分的方法，提取出最相关的实体对，形成知识图谱，其中实体对作为节点，提示作为关系。

这种方法允许在生成的知识图谱中获得更好的关系质量，因为衍生的关系具有传统构建的知识图谱中看不到的几个特征：

• 关系可以是复杂的，例如，“A能够，但不擅长，B”。

• 关系可以涉及超过两个实体，比如，“A可以在C处做B”

有趣的是，使用LLMs构建知识图谱还提供了一种新的方式来可视化和量化LLMs中捕获的知识。

结论

总之，我们讨论了知识图谱和大型语言模型（LLMs）作为知识库的潜力。

知识图谱在捕捉关系方面表现出色，并具有更强的推理能力，但构建起来会比较困难而且且成本高很高。

另一方面，LLMs包含广泛的知识，但容易受到偏见、幻觉和其他问题的影响。

对于精细调整或适应特定领域而言，它们的计算成本也很高。

为了利用这两种方法的优势，知识图谱和LLMs可以以多种方式进行整合。

在本文中，我们专注于使用LLMs来辅助自动知识图谱构建。

特别是，我们回顾了四个例子，包括早期的COMET模型，在BEAR中使用ChatGPT作为信息提取器，以及直接从LLMs中获取知识。

这些方法代表了结合知识图谱和LLMs优势以增强知识表示的一个有前途的路径。

既然大模型现在这么火热，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说大模型这对于我们来说就是一个机会，一个可以改变自身的机会，就看我们能不能抓住了。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓