知识图谱与大模型 Part 1：使用大型语言模型自动进行知识图谱构建

最新推荐文章于 2024-10-04 16:23:17 发布

大模型研究院

最新推荐文章于 2024-10-04 16:23:17 发布

阅读量3.6k

点赞数 31

文章标签：知识图谱语言模型人工智能 ai 学习职场和发展自然语言处理

本文链接：https://blog.csdn.net/l01011_/article/details/139680021

版权

导读

大模型刚火起来的时候，很多人认为知识图谱没前途了，会被大模型代替，因为知识已经被学到大模型肚子里了。跑了半天后，发现不是那么回事，发现大模型和知识图谱就是两个层面的东西，从我的角度：

知识图谱更偏加工出来的产品，这个产品既可以用到其他场景，也可以反过来提升大模型的准确性
大模型即可以作为工具加工生产知识图谱，也可以使用知识图谱提升自己的准确性。

阅读本系列将了解如何使用大模型自动构建知识图谱

关注公众号，后台发送"知识图谱"获取更多知识图谱相关文档

如何使用大模型构构建知识图谱也可参见：

Llama3 微调，增强知识图谱关系抽取（附微调数据集和代码）

介绍

知识图谱(Knowledge Graph)是以Graph 形式表示数据的网络。

知识图谱的美妙之处在于它们将概念、事件和实体表示为节点，它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义，并区分其多种可能的含义。

例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。

知识图谱适用于各种领域和应用，包括零售产品推荐、搜索引擎优化、反洗钱倡议和医疗保健，金融场景

然而，知识图谱的使用，也存在非常多的挑战、昂贵和耗时的构建过程，而且很多时候还伴随这大量的人工参与。

经常在数据前，需要人工根据业务，去定义各种本体，属性；边和节点产生后，需要人工进行校验数据的准确性，而且这个过程是需要一直迭代进行。成本非常高。

这一挑战催生了一波新的研究：探索如何自动知识图谱构建。

特别是人们对将大型语言模型（LLMs）如GPT-4整合到构建过程中的兴趣日益增长，因为它们具有出色的语言处理能力。

在本文中，我们将首先简要探讨与知识图谱构建相关的困难。然后，我们将比较知识图谱和LLMs作为知识库。

最后，我们将回顾利用LLMs进行自动知识图谱构建的现有方法。

构建知识图谱的困难点

以往的知识图谱构建方法基于众包或文本挖掘。

像WordNet和ConceptNet这样的知识图谱是通过大量人力构建的，但受限于预定义的关系集。

与此同时，基于文本挖掘的方法从文档中提取知识，但仅限于文本中明确陈述的关系。

这种方法还涉及诸多步骤，如共指消解，命名实体识别等。

这些困难还受到了不同领域或应用构建不同知识图谱的事实的影响。

例如考虑到每个领域中使用的各种概念和术语，所以没有通用的方法来创建知识图谱。

特定领域也提出了自己的挑战。例如，在服务计算社区中，知识图谱在资源管理、个性化推荐和客户理解方面非常有用。

然而，在这种情境下的知识图谱需要来自不同领域的知识和概念，并且构建知识图谱所需的数据既分散又大部分未注释。

这些因素显著增加了制作知识图谱所需的时间、精力和成本。

知识图谱与大型语言模型的比较

知识图谱和LLM都可以被查询以检索知识。

在下图中，知识图谱通过查找相关联的节点来定位答案，而LLM被提示填写[MASK]标记以完成句子。

像GPT-4和BERT这样的LLM最近因其出色的语言理解能力而受到了很多关注。

众所周知，LLM模型数量，以及使用量，应用数量每年都在不断增长，并且在大量数据的训练下，使它们拥有了巨大的知识。

许多人可能会转向ChatGPT来提问，而不是在谷歌上搜索。

自然而然地，研究界的下一个问题是探索LLM（如GPT）是否可以取代知识图谱（如谷歌知识图谱）成为主要的知识来源。

进一步的研究表明，尽管拥有更多的基础世界知识，LLM仍然难以回忆关系事实和推断行为和事件之间的关系。

虽然LLM具有许多优势，但LLM也面临挑战，例如：

幻觉：LLM偶尔会产生令人信服但不正确的信息。相反，知识图谱提供了基于事实数据的结构化和明确的知识。
有限的推理能力：LLM难以理解和使用支持证据来得出结论，特别是在数值计算或符号推理方面。知识图谱中捕获的关系允许更好的推理能力。
缺乏领域知识：虽然LLM在大量的通用数据上进行了训练，但它们缺乏来自特定领域数据的知识，如具有特定技术术语的医学或科学报告。与此同时，知识图谱可以针对特定领域进行构建。
知识过时：LLM的训练成本高昂，并且不经常更新，导致它们的知识随着时间的推移而过时。另一方面，知识图谱具有更简单的更新过程，无需重新训练。
偏见、隐私和毒性：LLM可能会给出有偏见或冒犯性的回应，而知识图谱通常是由可靠的数据源构建而成，不受这些偏见的影响。

知识图谱不会遇到这些问题，并且表现出更好的一致性、推理能力和可解释性，尽管它们也有自己的一系列局限性。除了之前讨论过的问题外，知识图谱还缺乏LLM从无监督训练过程中获得的灵活性。

合并Knowledge和LLM

因此，已经有许多研究工作旨在合并LLM和知识图谱。

虽然知识图谱具有指导LLM更准确的能力，但LLM可以在构建过程中辅助知识图谱提取知识并提高知识图谱的质量。

有几种方法可以合并这两个概念：

利用LLM辅助自动知识图谱构建：LLM可以从数据中提取知识以填充知识图谱。下面将讨论这种方法的更多细节。
教会LLM从知识图谱中搜索知识：如下图所示，知识图谱可以增强LLM的推理过程，使LLM能够得出更准确的答案。
将它们合并为知识图谱增强的预训练语言模型（KGPLMs）：这些方法旨在将知识图谱纳入LLM训练过程中。

使用大型语言模型进行自动知识图谱构建

早期方法

2019年提出的早期方法之一是COMET（或COMmonsEnse Transformers），它使用了经过精细调整的生成式LLM，本例中为GPT，通过生成给定头实体和关系的尾实体来构建知识图。

在下面的图像中给定“seed”和“relation”，COMET生成了“完成”响应，这些响应经过人类评估以评估响应的合理性。

然后可以使用这些种子-关系-完成三元组来形成知识图。例如，“piece”和“machine”可以形成由“PartOf”关系连接的两个节点。

使用 ChatGPT 作为信息提取器

使用 ChatGPT 构建了一个专门针对服务领域的知识图，名为 BEAR，以避免与手动数据标注相关的工作量和成本。

为此，创建了一个特定于该领域的本体，作为知识图的基础，并确定了知识图应该在以后填充的概念和特征。

然后，可以提示 ChatGPT 从非结构化文本数据中提取相关内容和关系，就像下面的图片中一样。随后，自动提取的信息被合并到知识图中以构建它。

使用LLMs进行半自动知识图谱构建

再次利用ChatGPT作为信息提取器，Kommineni等人最近提出使用ChatGPT-3.5。

在他们的知识图谱构建方法中，人类领域专家在两个阶段验证结果，如下所示：

这种方法与以前的方法的区别在于LLMs在这里扮演了更积极的角色。从特定数据集开始，ChatGPT被提示生成能力问题（CQs），这些问题是关于数据的抽象级别的问题。

通过提示ChatGPT再次从CQs中提取概念和关系来创建本体论。

CQs的答案从数据中检索出来，并提供给ChatGPT，指示其提取关键实体、关系和概念，并将它们映射到本体论上以构建知识图谱。

从LLMs中获取知识图谱

本文讨论的最终方法是直接从LLMs中提取信息。

Hao等人认识到，LLMs中存储着大量的知识，这些知识可以用于实际应用。

下图显示了获取LLM知识的步骤。该过程始于一个初始提示和至少两个实体对。然后使用文本释义模型对提示进行释义，并从原始提示中得出修改后的提示。随后，对LLM进行搜索，以找到与这组提示相对应的实体对。

使用搜索和重新评分的方法，提取出最相关的实体对，形成知识图谱，其中实体对作为节点，提示作为关系。

这种方法允许在生成的知识图谱中获得更好的关系质量，因为衍生的关系具有传统构建的知识图谱中看不到的几个特征：

关系可以是复杂的，例如，“A能够，但不擅长，B”。
关系可以涉及超过两个实体，比如，“A可以在C处做B”

有趣的是，使用LLMs构建知识图谱还提供了一种新的方式来可视化和量化LLMs中捕获的知识。

结论

总之，我们讨论了知识图谱和大型语言模型（LLMs）作为知识库的潜力。

知识图谱在捕捉关系方面表现出色，并具有更强的推理能力，但构建起来会比较困难而且且成本高很高。

另一方面，LLMs包含广泛的知识，但容易受到偏见、幻觉和其他问题的影响。

对于精细调整或适应特定领域而言，它们的计算成本也很高。

为了利用这两种方法的优势，知识图谱和LLMs可以以多种方式进行整合。

在本文中，我们专注于使用LLMs来辅助自动知识图谱构建。

特别是，我们回顾了四个例子，包括早期的COMET模型，在BEAR中使用ChatGPT作为信息提取器，以及直接从LLMs中获取知识。

这些方法代表了结合知识图谱和LLMs优势以增强知识表示的一个有前途的路径。

既然大模型现在这么火热，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说大模型这对于我们来说就是一个机会，一个可以改变自身的机会，就看我们能不能抓住了。

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。