From Local to Global: A Graph RAG Approach to Query-Focused Summarization 论文学习 + 相关内容笔记

已于 2024-08-30 16:17:37 修改
阅读量1.9k 收藏 20
点赞数 32
文章标签： 学习
于 2024-08-20 20:18:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63589129/article/details/141346582
版权

目录

1 摘要和介绍

1.1 简介

1.2 RAG介绍

1.3 当前RAG技术存在的问题

1.4 研究重点

2 GraphRAG处理流程和方法

2.1 整体流程

2.2 具体流程

2.2.1 Source Documents → Text Chunks

2.2.2 Text Chunks → Element Instances

2.2.3 Element Instances → Element Summaries

2.2.4 Element Summaries → Graph Communities

2.2.5 Graph Communities → Community Summaries

2.2.6 Community Summaries → Community Answers → Global Answer

3 模型评估

3.1 数据集选择

3.2 查询设计

3.3 实验条件

3.4 评估指标

3.5 配置

3.6 结果对比

3.6.1 GraphRAG vs. SS

3.6.2 GraphRAG vs. TS

4 相关内容

4.1 indexing workflow

4.2 query workflow

4.2 处理大型数据的优势

4.3 自我记忆和并行生成

4.4 知识图谱可视化

4.5 预处理流程对比

1 摘要和介绍

1.1 简介

GraphRAG是由知识图谱加大模型一起加持的RAG检索增强技术

GraphRAG 是一种结构化的分层检索增强生成方法，而不是简单的使用纯文本片段的语义搜索。GraphRAG 流程包括从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要，然后在执行基于 RAG 的任务时利用这些结构。

1.2 RAG介绍

检索增强生成（RAG，Retrieval Augmented Generation）是一种将信息检索与生成模型（如 GPT 系列）相结合的技术，旨在提高生成式 AI 系统的准确性和信息丰富性。通过检索来增强模型生成的效果。

RAG 的中文名称是检索增强生成，从字面意思来理解，包含三个检索、增强和生成三个过程。

  1. 检索： 根据用户的查询内容，从外挂知识库获取相关信息。具体来说，就是将用户的查询通过嵌入模型转换成向量，以便与向量数据库中存储的知识相关的向量进行比对。通过相似性搜索，从向量数据库中找出最匹配的前 K 个数据。
  2. 增强： 将用户的查询内容和检索到的相关知识一起嵌入到一个预设的提示词模板中。
  3. 生成： 将经过检索增强的提示词内容输入到大语言模型（LLM）中，以此生成所需的输出。 流程图如下所示：

与普通RAG系统类似，GraphRAG整个Pipeline可划分为索引与查询两个阶段。索引过程利用LLM提取出节点（如实体）、边（如关系）和协变量（如 claim），然后利用簇检测技术对整个知识图谱进行划分，再利用LLM进一步总结。

1.3 当前RAG技术存在的问题

普通的RAG技术无法回答针对整个语料库的摘要性问题QFS。

对于QFS问题，使用RAG增强后的文本长度很容易超出已有的LLM模型的文本窗口大小。如果增大文本窗口，也容易导致信息迷失

相比之下，使用Graphrag技术可以综合QFS和RAG的优势：

1.使用预索引来支持RAG完成目标的全局总结，回答用户的总结性、概括性的问题，如“××文章的核心主题是什么？”

2.RAG 技术通过从外部知识库中检索相关信息，可以扩充要索引的源文本的数量

1.4 研究重点

论文探索了一种新的方法，利用图的模块性和簇检测算法，将图划分为由紧密相关节点组成的簇。这种方法有助于更有效地分析和理解图中的信息，从而提高信息处理的效率和准确性：

  • 模块性（modularity）：是指图中节点可以自然地分成不同的群组或“簇”，这些群组内部的节点之间连接紧密，而群组之间的节点连接相对较少

  • 簇检测算法（community detection algorithms），这些算法可以将图划分为若干个模块化的簇。在这些簇中，节点之间的关系更加紧密，形成一种自然的群组

2 GraphRAG处理流程和方法

2.1 整体流程

  1. Source Documents
    描述：原始输入数据，通常是大量的文本文件或文档。
    操作：从源文档中提取文本并进行分块（chunking）。
  2. Text Chunks
    描述：从源文档提取并分块后的文本。每个块可能代表文档中的一小部分内容。
    操作：对这些文本块进行领域定制的摘要（domain-tailored summarization），生成更具体的内容。
  3. Element Instances
    描述：经过第一次领域定制摘要后的元素实例，包含更具体的信息片段。
    操作：再次进行领域定制的摘要，以进一步精炼和组织内容。
  4. Element Summaries
    描述：经过多次领域定制摘要后形成的元素摘要，代表了信息的精简形式。
    操作：使用社区检测算法（community detection）将元素摘要划分成具有模块化特性的图社区（Graph Communities）。
  5. Graph Communities
    描述：通过社区检测算法得到的图社区，每个社区包含了密切相关的元素摘要。
    操作：对每个图社区进行领域定制的摘要，生成社区级别的摘要（Community Summaries）
  6. Community Summaries
    描述：代表每个图社区的综合摘要，提供了社区内信息的整体视图。
    操作：根据特定的查询需求，进行基于查询的摘要（query-focused summarization），得到社区答案（Community Answers）。
  7. Community Answers
    描述：针对查询从每个社区生成的答案，包含了与查询最相关的信息。
    操作：汇总所有社区答案，进行进一步的基于查询的摘要，得到全局答案（Global Answer）。
  8. Global Answer
    描述：最终生成的答案，综合了所有社区的答案，提供了对查询的全面且简洁的回答。

  • Indexing Time 阶段：将大量文本数据进行预处理和组织，通过多次摘要和社区检测算法，将信息划分成结构化的模块，以便后续查询时高效检索和处理。

  • Query Time 阶段：在收到查询请求后，利用预处理阶段生成的图社区和摘要，快速生成与查询相关的答案。这个阶段的重点是针对特定查询需求。

2.2 具体流程

2.2.1 Source Documents → Text Chunks

在设计信息提取和处理系统时，文本块分割粒度的重要性:

  • 文本块粒度选择：在分割源文档时，需要考虑文本块的长度（或粒度）。较短的文本块可能需要更多的 LLM 调用，但在信息提取方面可能更有效。
  • 上下文窗口限制：LLM 有一个上下文窗口的限制，过长的文本块可能会导致部分信息无法被有效提取，影响回忆率。

在具体的实验中，较短的文本块（如 600 tokens）比较长的文本块（如 2400 tokens）能够提取出更多的实体引用。平衡回忆率和精确度：在设计信息提取系统时，需要找到回忆率和精确度之间的平衡，既能获取尽可能多的相关信息，又能确保提取的信息准确。

2.2.2 Text Chunks → Element Instances

文本块的信息提取流程，利用大型语言模型（LLM）从文本中提取图节点和边的信息，并根据不同领域的需求进行定制。

该流程的关键点包括：

  • 多部分提示：分阶段提取实体和关系。首先是识别文本中所有的实体，获取它们的基本信息，然后再去识别这些实体之间的关系，这包括明确指出关系的来源和目标实体，以及这些关系的具体描述。</
最低0.47元/天 解锁文章
pearwhisper
关注
Graph RAG——从局部到全局实现高效查询摘要（QFS）
qq_52053775的博客
07-14 587
在现代信息处理技术的广袤领域中，检索增强生成（RAG）技术已成为从外部知识源检索相关信息的重要工具，使得大型语言模型（LLM）能够有效回答涉及私人或未见过的文档集合的查询。然而，在应对全局性查询时，RAG技术的效能受限。例如，当用户提出“数据集中的主要主题是什么？”此类问题时，便需要一种能够综合整个文本语料库信息的解决方案，这构成了查询聚焦的摘要（QFS）任务的核心。传统QFS方法在处理大规模文本时面临扩展性挑战，难以有效应对RAG系统所需的海量文本处理需求。
从传统RAG到Graph RAG：知识图谱技术驱动下的链路转型与融合策略[DB-GPT、OpenSPG、Tugraph三合一]
丨汀、的博客
09-10 783
从传统RAG到Graph RAG：知识图谱技术驱动下的链路转型与融合策略
From Local to Global A Graph RAG Approach to Query-Focused Summarization.pdf
03-04
这篇论文是微软提出的一种创新的检索增强生成（RAG）方法，称为GraphRAG。该方法旨在增强大型语言模型（LLM）在处理私有文本语料库时的问答能力，特别是针对全局性问题，如“数据集的主要主题是什么？”。
From Local to Global: A Graph RAG Approach to Query-Focused Summarization翻译
nopSled
12-21 108
人类在各个领域的努力都依赖于我们阅读和推理大量文档的能力，我们经常得出超出源文本本身的结论（即思考和推理过程。
从局部到全局：图检索增强生成在查询聚焦摘要中的创新应用 ——《From Local to Global: A Graph RAG Approach to Query-Focused Summariza
进一步有进一步的欢喜~
02-02 411
在自然语言处理领域，随着大型语言模型（LLMs）的不断发展，如何高效地利用其处理海量文本数据、准确回答各类复杂问题成为关键研究方向。论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》提出的Graph RAG方法，为解决查询聚焦摘要（QFS）任务带来了全新的思路和解决方案。本文将对该论文进行深入解读，详细阐述Graph RAG方法的创新之处及其在自然语言处理中的重要意义。
【学习笔记】From Local to Global: A Graph RAG Approach to Query-Focused Summarization
weixin_45838549的博客
11-22 1107
将所有这些实例级别的总结转换为每个图元素（如实体节点、关系边和声明协变量）的单个描述性文本块，需要进一步通过LLM对匹配的实例组进行总结。
LLMs之GraphRAG：《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-17 7930
1 Introduction介绍人类在各个领域进行的活动依赖于我们阅读和推理大量文档的能力，常常得出超出源文本本身的结论。随着大型语言模型（LLMs）的出现，我们已经见证了在科学发现(Mi-crosoft, 2023)和情报分析(Ranade和Joshi, 2023)等复杂领域自动化类人语义构建的尝试，其中语义构建被定义为“一种有动机的、持续的努力，以理解联系(可以是人、地点和事件之间的联系)，以便预测它们的轨迹并有效地采取行动”(Klein等人，2006a)。然而，支持人类主导的。
微软RAG实践 从局部到全局：一种图 RAG 方法用于查询焦点摘要
数智笔记
04-29 1900
利用检索增强生成（RAG）从外部知识源中检索相关信息，使得大型语言模型（LLMs）能够回答关于私人和/或以前未见过的文档集合的问题。然而，RAG 在针对整个文本语料库的全局问题上失败，比如“数据集中的主题是什么？”，因为这本质上是一个查询焦点摘要（QFS）任务，而不是一个明确的检索任务。与此同时，先前的 QFS 方法无法扩展到 typic al RAG 系统索引的文本数量。
大模型笔记
bliblisukabulie的博客
07-23 415
# 大模型软工应用 ## prompt工程 Prompt 工程，也称为 In-Context Prompt，是指在不更新模型权重的情况下如何与大语言模型(Large Language Models, LLM) 交流以引导其行为来获得所需结果的方法。这是一门经验科学，Prompt 工程方法的效果在模型之间可能会有很大差异，因此需要大量的实验和启发式方法。 ## 核采样 核采样技术（Nucleus Sampling），也称为Top-p Sampling，是一种在自然语言生成任务中用于控制文本多样性和
【原理+实战/部署（debug）】GraphRAG：微软将Graph与RAG结合，用于检索文档的全局抽象总结
OOODDD1212的博客
10-22 1635
一文读懂GraphRAG，原理加实战运行
多模态大模型到底理不理解文档图表？兼谈RAG如何解决全局摘要问答类问题
javasoftdeveloper的博客
05-13 675
这其实也很自然，因为图片本身就是对语言的一种补充，图中所呈现的信息，通常都会有别处用文本进行了阐述，而多模态大模型M通常由一个vision encoder，一个语言模型，以及一个视觉-语言连接件组成，现有的多模态benchmark中有大量的评估样本是从单模态的文本语料中转化过来，因此，大语言模型的训练数据中无意间泄露了多模态benchmark中转化不充分的评估样本，所以自然会出现这种情况。至此，在前一步骤中创建的索引可以建模为无向加权图，其中实体节点通过关系边连接，边权重表示检测到的关系实例的归一化计数。
全网首发！小白也能读懂的GraphRAG知识图谱全流程解析，多图预警！
m0_59164304的博客
08-13 9039
当GraphRAG完成索引过程后，它默认会将构建知识图谱所需的所有数据持久化。这些数据被存储在输出目录中，并采用Parquet文件格式。Parquet是一种列式压缩存储格式，专为高效的数据存储和分析而设计。你可以将其视为DataFrame的一种持久化方式。在查询阶段，这些Parquet文件会被加载到内存和向量数据库中。这样做的好处在于，我们可以直接从内存和数据库中检索信息，而无需再次从原始数据源抽取和处理数据。这大大提高了查询的效率和速度。
详解MS的GraphRAG的实现流程
xiangxueerfei的博客
08-18 2214
社区检测提供显式的社区结构，帮助我们在图谱中理解不同实体如何形成群体。图谱嵌入提供隐式的语义表示，增强图谱在查询阶段的搜索能力。提到Node2Vec大家可能比较乱，word2vec好理解，你把Node2Vec干么呢？那你想想你word2vec是为了干么呢？找语义相似性对不？那Node2Vec不也一样吗，近似的node会在隐空间距离更近，聚类不就好弄了么，其实就这么点事，看我的文章是不是一下子就明白了Phase4。
全网首发！GraphRAG知识图谱全流程解析，小白也能轻松读懂
最新发布
2401_84495872的博客
04-07 895
当GraphRAG完成索引过程后，它默认会将构建知识图谱所需的所有数据持久化。这些数据被存储在输出目录中，并采用Parquet文件格式。Parquet是一种列式压缩存储格式，专为高效的数据存储和分析而设计。你可以将其视为DataFrame的一种持久化方式。在查询阶段，这些Parquet文件会被加载到内存和向量数据库中。这样做的好处在于，我们可以直接从内存和数据库中检索信息，而无需再次从原始数据源抽取和处理数据。这大大提高了查询的效率和速度。
【LLM大模型】GraphRAG入门学习流程
Langchain的博客
07-30 1482
GraphRAG 是一种基于图的检索增强方法，由微软开发并开源。它通过结合LLM和图机器学习的技术，从非结构化的文本中提取结构化的数据，构建知识图谱，以支持问答、摘要等多种应用场景。GraphRAG的特色在于利用图机器学习算法进行语意聚合和层次化分析，从而能够回答一些高层次的抽象或总结性问题，这是常规RAG系统的短板。
GraphRAG介绍
weixin_30563489的博客
09-13 401
目录GraphRAG1. 测试GraphRAG2. 流程解析3. Indexing过程阶段1：构建TextUnits阶段2：图提取（Graph Extraction）阶段3：图增强（Graph Augmentation）阶段4：社区总结（Community Summarization）阶段5: 文档处理阶段6：网络可视化4. Querying过程4.1. Local Search4.2. Glob...
微软GraphRAG原理介绍（附带部分源码）
luxinfeng的博客
07-15 5489
这篇文章主要介绍了微软开源的GraphRAG的数据构建原理和查询检索原理
你想要的GraphRAG的内容都在这了
lqfarmer的博客
07-08 1336
如上图所示，GraphRAG包括两个处理阶段，分别是：索引阶段和查询阶段。索引阶段利用LLM来自动化构建知识图谱，提取出对应的节点（如实体）、边（如关系）和协变量（如主张，claim），然后利用社区发现技术（如Leiden算法）对整个知识图谱进行子图划分，然后自底而上对子图利用LLM进行摘要、总结。针对特定查询，“全局答案（Global Search）”汇总所有与之相关的社区摘要最后汇总生成答案。通过LLM对文档中的实体、关系、主张进行提取，本质上是对文档的一种抽象式摘要。
Sequelize-query-parser：将Sequelize RESTful API转换为Graph API的Node.js工具
- **Sequelize-query-parser包功能描述**：该软件包的作用是将基于Sequelize的RESTful API转换为Graph API。这意味着它可以简化数据查询的过程，提供一种更为直观和灵活的方式来处理数据请求。 - **简单、强大、极简...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值