【RAG探索第2讲】大模型与知识图谱的融合之路：优势互补与协同发展

置顶 mrweiqk

已于 2024-07-07 15:33:52 修改

阅读量1.6k

点赞数 33

文章标签：知识图谱人工智能

于 2024-07-04 15:06:06 首次发布

本文链接：https://blog.csdn.net/mrweiqk/article/details/140179849

版权

如何巧妙的将知识图谱和大模型进行融合呢？
可以参考【RAG探索第2讲】大模型与知识图谱的融合之路：优势互补与协同发展
正文
今天是2024年7月4日，星期四，天气晴，北京。

今天我们来看一个问题：如何巧妙的将知识图谱和大模型进行融合呢？
给大家带来一篇综述讲解《Unifying Large Language Models and Knowledge Graphs: A Roadmap》，主要内容是讲了大模型与知识图谱结合的一些可行思路，主要分为两个思路，一个是利用大模型来增强知识图谱的构建，另一方面是利用知识图谱来增强大模型在下游任务上的能力。
在大模型上做东西实在是太卷了，最近又出现一个新的思路，使用大模型和KG进行巧妙的结合，提升对下游任务的性能。
在这里插入图片描述
大模型随着近几年的发
展，已经诞生了诸多大模型。

一、LLM与知识图谱优缺点：
LLM 的优点：一般知识、语言处理、泛化能力。
LLM 的缺点：隐含知识、幻觉问题、无法决断问题、黑箱、缺乏特定领域的知识和新知识。
知识图谱的优点：结构化的知识、准确度、决断能力、可解释性、特定领域的知识、知识演进。
知识图谱的缺点：不完备性、缺乏语言理解、未见过的知识。

二、LLM与知识图谱统一路线：
1）KG增强LLMs，在LLMs的预训练和推理阶段中纳入KGs，或者为了增强LLMs学到的知识的理解能力；
2）LLM增强KGs，利用LLMs进行不同的KG任务，如嵌入、补全、构建、图文生成和问答；
3）协同的LLMs + KGs，其中LLMs和KGs发挥平等的作用，并以相互有益的方式工作，通过数据和知识驱动双向推理来增强LLMs和KGs。
在这里插入图片描述
三、KG增强LLMs
第一种融合路线是KG增强LLMs，可在LLM预训练、推理阶段引入KG。以KG增强LLM预训练为例，一个代表工作是百度的ERNIE 3.0将图谱三元组转换成一段token文本作为输入，并遮盖其实体或者关系来进行预训练，使模型在预训练阶段直接学习KG蕴含的知识。

3.1基于检索的知识融合
基于检索的知识融合的方法提出结合非参数模块和参数模块来处理外部知识。所谓非参数模块即知识检索模块，用于完成对输入文本的关键词提取和知识图谱检索。给定输入文本，RAG首先通过MIPS搜索方式在非参数模块中搜索相关的KG，以获得多个文档。然后，RAG将这些文档视为隐层变量z，并将它们作为附加的上下文信息输入LLM。
在这里插入图片描述

（也就是说从大模型中获取问题回答之前，把问题和从知识图谱中检索到的信息一起输入到大模型中，用于增强大模型的推理能力）

3.2动态知识融合
此方案要对图进行编码，不在只对文本内容进行编码处理。大致有三种方法：
一个简单的方法是利用一个双塔架构，其中，一个单独的模块处理文本输入，另一个模块处理相关的知识图输入。然而，这种方法缺乏文本和知识之间的交互。首先对输入的KG进行编码，然后增加输入的文本表示。
二是可以使用输入文本的最终LLM的输出来指导推理过程。然而，这两种方法都只设计了文本和KG之间的单方向交互。
三是有人采用LM-to-KG和KG-to-LM双向注意力机制，提出了一个能使得文本输入中的所以标记与所以KG实体之间都进行细粒度交互的框架。在交互模块中，JointLK在所有文本标记和KG实体上计算点积和双向注意力。此外，在每个JointLK层，KG也根据注意力分数对网络进行动态修剪，以便以后的层关注更重要的子图结构。

在这里插入图片描述

四、LLMS增强KG

4.1通过LLM增强知识图谱补全任务（KG completion，KGC）
知识图补全（KGC）是指在给定的知识图中推断缺失的事实的任务。与KGE类似，传统的KGC方法主要关注KG的结构，而没有考虑广泛的文本信息。最近的研究引入了LLMs，使KGC方法能够编码文本或生成事实，以获得更好的KGC性能。这些方法可分为两个不同的类别：1) LLM作为编码器（PaE），2) LLM作为生成器（PaG）。
4.1.1 LLM作为编码器
LLM作为编码器增强KGC任务的方法也有几种类型，所使用的LLM均为Encoder-only的模型，如Bert。
4.1.1.1Encoder-only
第一类方法称作联合编码（Joint Encoding），有代表性的工作如KG-BERT。如下图的（a）所示，KG-BERT将三元组的实体和关系的文本直接组成句子输入LLM用以编码，然后得到的嵌入输入一个简单的多层网络，通过sigmoid函数进行二值分类判断该三元组是否存在。训练后的[CLS]标签的嵌入即作为该三元组的嵌入。另外的工作在此基础上进行效果提升，如MTL-KGC引入多任务学习方法，LASS进一步考虑三元组的语义信息以及图结构信息。还有工作如PKGC用直观的方式，应用LLM本身的能力判断事实正确性。将三元组通过一定模版转换成一个句子，然后交由LLM来判断该句子是否符合事实，从而判断三元组关系是否存在。
在这里插入图片描述

第二种方法如图中（b）所示，通过掩码语言模型（MLM）的训练范式编码三元组，而不是如第一种方法那样直接将三元组组成句子。代表性的工作是MEM-KGC，其对于三元组组成句子的方式与联合编码类似，但所进行的任务不同。另外一种是分开编码，如图中（c）所示。该类方法将头实体和关系的文本组合为一个句子，将尾实体单独组成一个句子，用两个LLM分别编码。[CLS]处标记的嵌入表示作为两个句子的嵌入表示，最后一起送入一个得分函数来预测该三元组存在的可能性。相关公式如下图所示：

在这里插入图片描述

4.1.2 LLM作为生成器
最近的工作在KGC中使用LLM作为Sequence2Sequence的生成器，所使用的LLM包括Encoder-Decoder或仅使用Eecoder-only的LLM。LLM接收一个文本序列形式的查询三元组 ( h , r , ? ) (h, r, ?)(h,r,?) ，并直接生成尾部实体t tt的文本。

在这里插入图片描述

如上图所示，分别表示Encoder-Decoder和Eecoder-only的LLM输入的查询三元组生成对应答案的过程。代表性的工作如GenKGC和KGT5，均使用了Encoder-Decoder架构的BART作为主干模型。对于闭源的LLM（如ChatGPT和GPT-4），AutoKG采用prompt设计提示让LLM预测对应的尾实体。如下图所示，这些提示包含任务描述、Few-shot示例和测试输入，这些提示指示LLM预测KG补全任务的尾实体。

在这里插入图片描述

4.2通过LLM增强知识图谱构建（KG Construction，KGC）
知识图的构造涉及到在特定领域内创建知识的结构化表示。这包括识别实体及其彼此之间的关系。知识图的构建过程通常涉及多个阶段，包括：1)实体发现；2)共引用解析；3)关系提取。最近的方法使用LLM来提高KGC任务的效率，主要包含两个方向的探索：1)端到端知识图的构建；2)从LLM中提取知识图。

1）端到端的知识图谱构建（End-to-End KG Construction）（比较合适，后续实验可以参考这个方案，预训练微调模型作实体识别等任务）
其中有代表性的一项工作是Kumar et al.，提出了一种从原始文本构建KG的统一方法，其中包含两个LLM驱动的组件。他们首先在命名实体识别任务上微调一个LLM，使其能够识别原始文本中的实体。然后，他们提出了另一个“2-model BERT”来解决关系提取任务，该任务包含两个基于BERT的分类器。第一个分类器学习关系类别，而第二个二元分类器学习两个实体之间的关系的方向。然后利用预测的三元组和关系来构造KG。

在这里插入图片描述
2）从LLM蒸馏知识图谱（Distilling Knowledge Graphs from LLMs）
一般的步骤即使用一些封闭问题来提示大模型，让其输出答案（一般是尾实体），由此蒸馏出LLM内部的知识并构成三元组，进而构成知识图谱。代表性的研究如COMET。COMET提出一个常识转换模型，通过使用现有的三元组作为知识种子集（即训练集）微调LLM。微调后的LLM能迁移这种三元组表示形式，并生成有效的三元组。

4.3 LLM增强的KG问题回答
知识图问答（KGQA）的目的是基于存储在知识图中的结构化事实来寻找自然语言问题的答案。KGQA中不可避免的挑战是检索相关事实，并将KG的推理优势扩展到QA中。因此，最近的研究采用LLM来弥补自然语言问题和结构化知识图之间的在结构上的差别。LLM增强的KG问题回答的一般框架如下图所示。根据LLM在QA过程中起作用的角色来分，可分为：1）实体/关系提取器，2）答案推理器。

在这里插入图片描述

实体/关系提取器被设计用于识别自然语言问题中提到的实体和关系，并检索kg中的相关事实。鉴于语言理解的能力，LLM可以有效地用于这一目的。Nan et al.介绍了两个基于llm的KGQA框架，它们采用llm来检测上述实体和关系。然后，他们使用提取的实体-关系对在KGs中查询答案。答案推理器则被设计用来对检索到的事实进行推理并生成答案，而借助LLM的语言理解和生成能力可以直接生成答案。

在这里插入图片描述