LLM如何理解图数据? Graph+LLM综述

汨攸

已于 2024-08-25 23:23:26 修改

阅读量979

点赞数 24

文章标签： GNN LLM RAG 深度学习人工智能 nlp

于 2024-08-21 18:11:02 首次发布

本文链接：https://blog.csdn.net/m0_52965867/article/details/141397705

版权

InstructGraph：以图为中心的指令调整和偏好调整来提升大型语言模型（ACL 2024）

https://github.com/wjn1996/InstructGraph

目前的方法能够将图转为序列形式数据（如自然语言），但是难以很好的转回图的形式

本文提出了将图表示为代码语言，实现相互转换

此外，分别探讨了图推理和生成中的四个幻觉问题。我们使用直接偏好优化（DPO）来执行偏好对齐

对图推理（RoG）：忠实可解释的大语言模型推理方法（ICLR2024）

https://github.com/RManLuo/reasoning-on-graphs
在这里插入图片描述

推理图（Reasoning on Graphs, RoG）提出了一个计划-检索-推理框架，该框架的核心流程包括以下几个步骤：

规划生成（Planning Generation）：给定一个问题，首先使用大型语言模型（LLM）生成若干个基于知识图谱（KG）的关系路径作为推理规划。这些关系路径捕捉了实体间的语义关系，并被用作推理答案的规划。
路径检索（Path Retrieval）：利用生成的推理规划，从知识图谱中检索有效的推理路径。这一步确保LLM能够获取最新的知识，并基于这些路径进行推理。
推理（Reasoning）：基于检索到的推理路径，LLM进行推理并生成答案，同时解释推理过程。

通过将关系路径视为计划，将我们的RoG描述为一个优化问题，其目的是通过生成关系路径z作为计划，最大化从知识图G中推理出问题q的答案的概率

两个组成部分：

1)一个规划模块，该模块生成以KGs为基础的关系路径作为忠实计划;

2)检索推理模块，首先根据计划从KGs中检索有效的推理路径，然后根据检索到的推理路径进行忠实推理，生成具有可解释解释的答案

规划模块：在规划优化中，我们的目标是将知识从KGs中提取到llm中，以生成忠实关系路径作为规划。这可以通过最小化忠实关系路径Q(z)的后验分布的KL散度来实现，这可以通过KGs中的有效关系路径来近似。

推理模块·：推理模块以问题q和一组推理路径Wz生成答案a。同样，我们设计推理指令提示符，引导llm根据检索到的推理路径Wz进行推理。

附RoG解读：
https://www.53ai.com/news/knowledgegraph/2024071214865.html
https://blog.csdn.net/weixin_44466434/article/details/137135162
https://www.53ai.com/news/knowledgegraph/2024071214865.html

GraphGPT：让大模型读懂图数据（SIGIR’2024）

https://github.com/HKUDS/GraphGPT

背景：

大语言模型与图学习结合面临的三大挑战：

一是如何有效地将图的结构信息与语言空间进行对齐，使得模型能够同时理解图的结构和语义信息；

二是如何设计适当的指令使得大模型理解图数据中的结构信息；

三是如何赋予大语言模型图学习下游任务的逐步推理能力，从而逐步推断出更复杂的关系和属性。

GraphGPT

1. 用“文本-图”对齐编码结构信息

在 GraphGPT 中，图结构编码器的选择是非常灵活的，可以利用各种基础 GNN 架构从多种图预训练范式中获得。
该研究探索了多种图结构编码方式，确定以对比的方式将文本信息融入图结构的编码过程中。GraphGPT模型框架直接将带有预训练参数的图编码器集成进来，无缝地整合图编码器的功能。
在这里插入图片描述
2. 两阶段图指令微调

首先采用自监督的指令微调策略，构建结构感知的图匹配任务，指导语言模型利用自然语言标签来识别图中的各个节点。图匹配任务的指令包括三个部分：i）图信息，ii）人类问题，和iii）GraphGPT 的回应。

在图匹配任务的上下文中，指令包括指示符token和一个被打乱的节点文本信息列表。在微调训练过程中，采用轻量级对齐投影策略，固定大语言模型和图编码器的参数，仅专注于优化投影器的参数。

在第二阶段，通过使用任务特定的图指令对大语言模型进行微调，引导模型生成更适合当前图学习任务的响应，进一步提高模型在处理各种图学习任务时的适应性和性能。

这个指令提示语言模型基于图结构数据和伴随的文本信息来预测中心节点的类别。这个阶段的微调使用第一阶段训练得到的结构感知投影器的参数作为初始状态，保持大语言模型和图编码器的参数不变，仅专注于优化前一阶段的投影器的参数，确保大语言模型进一步与下游任务对齐，增强其理解和解释图结构的能力。

指令微调方法的两阶段策略中大语言模型和图编码器的参数都被冻结，只有“图-文”对齐投影器进行了微调。

3.融合思维链方法

为了进一步优化性能，生成的思维链指令数据与之前为任务特定指令微调阶段制定的指令结合起来，进行图指令的微调。

4. 效果：

恰当的数据混合策略能显著提升 GraphGPT 在多种场景下的表现。引入链路预测指令后，模型在节点分类上的表现得到了显著提升。

而在加入节点分类后，链路预测的效果也超越了其他模型。

在融合了不同任务的指令后，模型展示了其在处理各种图学习任务并将知识迁移到其他未曾接触过的数据集的能力。

附GraphGPT解读：https://www.163.com/dy/article/IUCSNLGQ055673VY.html

微软 GraphRAG: Unlocking LLM discovery on narrative private data

https://github.com/microsoft/graphrag

局限性：传统的RAG系统擅长于检索和生成局部查询的答案，但在需要对整个数据集进行主题摘要的全局查询方面表现不佳。

Graph RAG：第一个提出知识图谱+检索增强生成的方法，目的是解决大模型在利用外部知识回答问题时，原生的RAG方法难以有效回答QFS（查询聚焦摘要）问题。

索引+查询：索引过程利用LLM提取出节点（如实体）、边（如关系）和协变量（如 claim），然后利用社区检测技术对整个知识图谱进行划分，再利用LLM进一步总结。最终针对特定的查询，可以汇总所有与之相关的社区摘要生成一个全局性的答案。

索引过程

步骤 1：处理文本块

将输入文档转换为 TextUnits。使用文本分段技术将文档进行分块，文本块还作为提取实体和关系的来源，后续便于追溯到原始文本。

文本块的粒度：较长的文本块需要更少的LLM调用来进行提取，有更高的效率和低成本，但在较长的LLM上下文窗口中会出现召回率下降的问题，即提取实例不充分，有遗漏情况。

在这里插入图片描述
步骤 2：图提取

从每个文本块中识别和提取图节点和边的实例。这个过程是为了从文本中提取结构化信息，特别是识别实体及其关系。通过优化提示和多轮收集，确保即使在处理大块文本时，也能保持高质量的提取结果
在这里插入图片描述

1. 实体识别：

使用一个多部分的LLM（大型语言模型）提示，首先识别文本中的所有实体。
实体包括名称、类型和描述。

2. 关系识别：

接下来，识别清晰相关的实体之间的关系。
包括关系的源实体和目标实体及其关系的描述。

3. 输出形式：

实体和关系都作为一个包含分隔元组的列表输出。

步骤 3：图增强

在这里插入图片描述
社区检测

在此步骤中，我们使用分层莱顿算法生成实体社区的层次结构。此方法将对我们的图应用递归社区聚类，直到达到社区规模阈值。这将使我们能够了解图的社区结构，并提供一种在不同粒度级别上导航和总结图的方法。

图嵌入

在此步骤中，我们使用 Node2Vec 算法生成图中节点的向量表示。这将使我们能够理解图的隐式结构，并提供额外的向量空间，以便在查询阶段搜索相关概念。

步骤 4：社区总结：Community Summarization

目前，我们有一个实体和关系的图、实体的社区层次结构以及 node2vec 嵌入。

现在，我们希望基于社区数据并为每个社区生成报告。这让我们可以从多个粒度点对图表有一个高层次的了解。例如，如果社区 A 是顶级社区，我们将获得有关整个图表的报告。如果社区是较低级别的，我们将获得有关本地集群的报告。

在这里插入图片描述

生成社区报告
在此步骤中，我们使用 LLM 生成每个社区的摘要。这将使我们能够了解每个社区中包含的独特信息，并从高级或低级角度提供对图表的范围理解。这些报告包含执行概述，并引用社区子结构中的关键实体、关系和声明。

总结社区报告
在此步骤中，每个社区报告都会通过 LLM 进行总结，以供摘要使用。

社区嵌入
在此步骤中，我们通过生成社区报告、社区报告摘要和社区报告标题的文本嵌入来生成我们社区的向量表示。

步骤 5：文件处理

处理文档图谱核心步骤包括文本块图谱的创建和文档的向量化表示

在这里插入图片描述
链接到 TextUnits
在此步骤中，我们将每个文档链接到第一阶段创建的文本单元，创建文本块之间的上下文关系。这使我们能够了解哪些文档与哪些文本单元相关。

文档嵌入
在此步骤中，我们使用文档切片的平均嵌入来生成文档的向量表示。我们对不重叠的块重新分块文档，然后为每个块生成嵌入。我们创建这些块的平均值，并按标记计数加权，并将其用作文档嵌入。这将使我们能够理解文档之间的隐式关系，并帮助我们生成文档的网络表示。

步骤 6：网络可视化

在这里插入图片描述

查询过程

查询引擎是 Graph RAG 库的检索模块。它是 Graph RAG 的核心组件之一。它负责以下任务：

本地搜索
问题生成
全局搜素

本地搜索

基于实体的推理：本地搜索方法通过将 LLM 提取的知识图谱中的相关数据与原始文档的文本块相结合来生成答案。此方法适用于需要了解文档中提到的特定实体的问题（例如，洋甘菊的治疗功效是什么？）。

方法

在这里插入图片描述

给定用户查询和（可选）对话历史记录，本地搜索方法会从知识图谱中识别出一组与用户输入在语义上相关的实体。这些实体可作为知识图谱的访问点，从而提取更多相关详细信息，例如连接实体、关系、实体协变量和社区报告。此外，它还会从与已识别实体相关的原始输入文档中提取相关文本块。然后对这些候选数据源进行优先排序和筛选，以适应预定义大小的单个上下文窗口，该窗口用于生成对用户查询的响应。

问题生成

基于实体的问题生成：问题生成方法将知识图谱中的结构化数据与输入文档中的非结构化数据相结合，生成与特定实体相关的候选问题。此功能获取用户查询列表并生成下一个候选问题。这对于在对话中生成后续问题或为调查员生成问题列表以深入研究数据集非常有用。

方法：给定先前用户问题的列表，问题生成方法使用与本地搜索相同的上下文构建方法来提取和优先处理相关的结构化和非结构化数据，包括实体、关系、协变量、社区报告和原始文本块。然后，这些数据记录被放入单个 LLM 提示中，以生成代表数据中最重要或最紧急的信息内容或主题的候选后续问题

全局搜索

基于整个数据集推理：全局搜索方法通过以 map-reduce 方式搜索所有 AI 生成的社区报告来生成答案。这是一种资源密集型方法，但通常可以很好地回答需要了解整个数据集的问题（例如，本笔记本中提到的药材最重要的价值是什么？）。
在这里插入图片描述
上图是一个经典的 MapReduce 原理图结构，包含以下主要步骤（包含全局 GraphRAG 流程的简单注解）。

将 input 的文件拆分成 splits，由于测试用的文件较小，所以每个文件作为一个 split，并将文件按行分割。这一步由 mapreduce 框架自动完成。（通过向量检索语义相关的社区）
将分割好的文件交给用户定义的 map 方法进行处理，生成<key,value>对。（生成社区和用户问题相关程度的分值，和社区节点本身组成 MAP）
得到 map 方法输出的<key,value>对后，shuffle 过程，会把相同 key 值相同的放到一起。（社区结果基于与问题的相关度做 Shuffle，可以理解成分组）
Reduce 过程，把 key 值相同 value 值累加，得到新的<key,value>对，并作为 word count 的输出结果。（组内综合打分后排序过滤 0 分的结果，然后由 LLM 生成回复）

Baseline RAG 很难处理需要汇总整个数据集的信息才能得出答案的查询。诸如“数据中的前 5 个主题是什么？”之类的查询表现不佳，因为 Baseline RAG 依赖于对数据集内语义相似的文本内容进行向量搜索。查询中没有任何内容可以将其引导至正确的信息。

但是，使用 GraphRAG，我们可以回答这些问题，因为 LLM 生成的知识图谱的结构告诉我们整个数据集的结构（以及主题）。这允许将私有数据集组织成预先汇总的有意义的语义集群。使用我们的全局搜索方法，LLM 在响应用户查询时使用这些集群来总结这些主题。

方法：
在这里插入图片描述
给定用户查询和（可选）对话历史记录，全局搜索方法使用来自图的社区层次结构指定级别的 LLM 生成的社区报告集合作为上下文数据，以 map-reduce 方式生成响应。在此 map 步骤中，社区报告被分割成预定义大小的文本块。然后使用每个文本块生成一个中间响应，其中包含一个要点列表，每个要点都附有数字评级，表明该要点的重要性。在此步骤中，reduce 从中间响应中筛选出的一组最重要的要点被汇总并用作上下文来生成最终响应。