GraphRAG: 结合知识图谱、RAG和QFS技术,来提高模型对全局含义的理解

最新推荐文章于 2025-05-12 11:08:18 发布
最新推荐文章于 2025-05-12 11:08:18 发布
阅读量723 收藏 25
点赞数 19
文章标签： 知识图谱 人工智能 llama 数据库 langchain 程序员 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wufjsjjx/article/details/144104355
版权

大家好,今天与大家分享一篇研究论文。

这篇论文提出了一种基于图的Retrieval-Augmented Generation (RAG)方法,用于对整个文本语料库进行Query-Focused Summarization (QFS)。该方法很好地结合了知识图谱生成、RAG和QFS技术,为理解文本语料库的整体层面的意思提供了新思路。

1. 基本信息

  • 论文题目:From Local to Global: A Graph RAG Approach to Query-Focused Summarization

  • 作者:Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, Jonathan Larson

  • 作者研究单位:Microsoft Research, Microsoft Strategic Missions and Technologies, Microsoft Office of the CTO

  • 代码链接:https://aka.ms/graphrag

2. 介绍

现有的Retrieval-Augmented Generation (RAG)方法能够从外部知识源中检索相关信息,使Large Language Models (LLMs)能够回答关于私有或未见过的文档集合的问题。但是,当回答全局性问题时,比如"数据集的主要主题是什么?",RAG方法往往无法给出满意的答案,因为这本质上是一个Query-Focused Summarization (QFS)任务,而非单纯的信息检索任务。另一方面,现有的QFS方法也难以扩展到典型RAG系统所索引的海量文本。为了结合这两类方法的优势,作者提出了Graph RAG方法,用于私有文本语料库的问答,该方法能够适应不同普适性的用户问题和不同规模的源文本数据。

3. 方法

Graph RAG方法利用LLM分两个阶段构建基于图的文本索引:

  1. 从源文档中提取实体知识图谱

  2. 为相关的实体组预生成Community Summaries

给定一个问题,每个Community Summary被用来生成一个局部答案,然后所有局部答案再次被汇总为给用户的最终答案。

Graph RAG的主要流程包括以下步骤(见Figure 1):

  1. 从源文档中提取文本块（左第一行）。作者讨论了文本块粒度的选择对后续图索引质量的影响。较长的文本块需要更少的调用,但由于LLM上下文窗口的限制,可能导致信息丢失和召回率下降。因此,需要在召回率和精确率之间进行权衡。

  2. 使用LLM提示从文本块中提取图元素实例(节点、边、协变量)（左第2/3行）。作者设计了多部分LLM提示,先识别文本中的所有实体,包括实体名称、类型和描述,然后识别相关实体之间的关系,包括源实体、目标实体和关系描述。Prompt可以根据领域进行定制,例如针对科学、医学、法律等专业领域,可以使用特定的few-shot示例来提高提取质量。作者还引入了"gleaning"的概念,通过多轮提取来提高召回率,同时避免引入噪声。

  3. 使用LLM汇总图元素实例（左第4行）,生成图元素摘要。在这一步,LLM已经提取出了隐含在源文本中的知识(如隐含关系),形成了独立的概念摘要。接下来,需要对所有指向同一图元素(实体、关系、协变量)的实例进行汇总,生成统一的描述性文本。**值得注意的是,由于LLM提取的实体引用可能存在不一致的情况,导致图中出现重复节点。**但只要所有变体与一组共同的密切相关实体有足够的连接,Graph RAG的整体方法就具有较强的鲁棒性。

  4. 使用社区检测算法(如Leiden)对图索引进行分区,得到图社区（右第4行）。图索引可以建模为无向加权图,边表示检测到的关系实例数的数量。在这种图上,可以使用各种社区检测算法进行分区,得到节点间连接更紧密的社区。Leiden算法能够有效地检测大规模图的层次社区结构,每一层社区划分都以互斥且完全穷尽的方式覆盖了图的节点,从而支持分治的全局摘要。

  5. 使用LLM生成Community Summaries（右第3行）。Community Summaries本身就是对数据全局结构和语义的高度概括,即使没有问题,用户也可以通过浏览不同层次的Community Summaries来理解语料库。Community Summaries的生成方式需要能够扩展到非常大的数据集。子社区的summaries通过优先级将社区元素摘要(节点、边、协变量)迭代添加到LLM上下文窗口中,直到达到token限制。更高级别的社区摘要则迭代用子社区摘要替换元素摘要来压缩上下文,直到适合上下文窗口。

  6. 对于给定的查询,使用Community Summaries生成Community Answers（右第2行）。根据社区在层次结构中的级别,Community Summaries用于以不同的方式生成最终答案。无论使用哪个级别,基本思路都是随机打乱Community Summaries并划分为指定大小的块,确保相关信息分布在不同的上下文窗口中。然后并行地从每个块中生成中间答案,并附上一个指示其对目标问题有多大帮助的打分。

  7. 使用查询相关的摘要对Community Answers进行汇总,生成最终答案（右第1行）。中间Community Answers按照相关性打分降序排列,迭代添加到一个新的上下文窗口中,直到达到token限制。这个最终上下文用于生成返回给用户的全局答案。

4. 实验发现

作者在两个数据集上评估了Graph RAG方法:

  1. Podcast transcripts:由Kevin Scott与其他技术领导者的播客对话记录编译而成。

  2. News articles:由2013年9月至2023年12月发表的新闻文章组成的数据集。

作者从全面性(comprehensiveness)、多样性(diversity)和赋能(empowerment)三个维度,评估了Graph RAG和几种基线方法的质量。实验结果表明:

  • 所有的全局方法在全面性和多样性上均好于一般的RAG方法。

  • 使用中间层次和低层次社区摘要的Graph RAG在这些指标上表现好于源文本摘要。

  • 对于频繁的全局查询,使用根级社区摘要(C0)的Graph RAG是一种高效的方法,与其他全局方法相比,它在全面性(72%胜率)和多样性(62%胜率)上具有优势,而token成本却大幅降低。

5. 结论

本文提出了一种全局Graph RAG方法,将知识图谱生成、RAG和QFS技术融为一体,以支持文本语料库的整体理解。初步评估表明,与一般的RAG基线相比,该方法在答案的全面性和多样性方面有显著改进,并且好于全局但无图索引的方法。对于需要对同一数据集进行多次全局查询的场景,基于实体图索引的根级社区摘要提供了一种优越的数据索引方式,它不仅好于RAG,而且以一小部分的token成本达到了与其他全局方法相当的性能。

最后作者提供了一个开源的、基于Python的实现,支持全局和局部的Graph RAG方法,代码即将在https://aka.ms/graphrag 上发布。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

微软多部门联合推出GraphRAG项目：全面性和多样性方面显著优于原生大模型RAG
强化学习曾小健
04-26 2503
传统的RAG方法适用于局部文本检索任务，但。
一文速学-知识图谱从零开始构建实战:知识图谱的基本概念
master_hunter的博客
09-27 997
知识库：是一个用于存储和管理信息的系统，可以是结构化（如数据库）或半结构化（如文档库）的形式。它集中存储特定领域的事实、规则和信息，方便查询和管理。知识图谱：是一种以图形化方式表现知识的结构，通过节点（实体）和边（关系）来展示信息，强调实体之间的关联性和上下文。
小白学 RAG：GraphRAG概念、组成和流程
2401_85379281的博客
09-02 1362
GraphRAG是一种结合了检索（Retrieval）和生成（Generation）的技术，它通过利用外部知识库来增强大型语言模型（LLMs）的性能，有效解决了模型可能出现的“幻觉”问题、领域知识缺失以及信息过时等问题。GraphRAG通过图结构信息，能够更精确地检索和生成与上下文相关的响应。GraphRAG技术通过在生成过程中融入检索组件来提升生成内容的质量和相关性。
LLMs之GraphRAG：《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-17 7984
1 Introduction介绍人类在各个领域进行的活动依赖于我们阅读和推理大量文档的能力，常常得出超出源文本本身的结论。随着大型语言模型（LLMs）的出现，我们已经见证了在科学发现(Mi-crosoft, 2023)和情报分析(Ranade和Joshi, 2023)等复杂领域自动化类人语义构建的尝试，其中语义构建被定义为“一种有动机的、持续的努力，以理解联系(可以是人、地点和事件之间的联系)，以便预测它们的轨迹并有效地采取行动”(Klein等人，2006a)。然而，支持人类主导的。
NLP论文阅读记录-EMNLP2023|05 QTSUMM: Query-Focused Summarization over Tabular Data
yuyuyu_xxx的博客
12-13 991
在这里插入图片描述通过人工编辑改进摘要（2305）codepaper人们主要查阅表格来进行数据分析或回答特定问题。文本生成系统可以根据用户的信息需求提供准确的表格摘要，可以促进更有效地访问相关数据见解。受此启发，我们定义了一个新的以查询为中心的表摘要任务，其中文本生成模型必须对给定的表执行类似人类的推理和分析，以生成定制的摘要。我们为此任务引入了一个名为 QTSUMM 的新基准，其中包含 2,934 个表中的 7,111 个人工注释的查询摘要对，涵盖不同的主题。
斯坦福大学-自然语言处理入门 笔记 第二十一课 问答系统（2）
苏三慎的博客
10-28 1102
一、问答系统中的总结（summarization） 目标：产生一个摘要文本包含那些对用户重要和相关的信息 总结的应用领域：任何文档的摘要和大纲，邮件摘要等等 根据总结的内容，我们可以把总结分为两类： 单文档总结：给出一个单一文档的摘要、大纲、标题 多文档总结：给定一组文档，给出内容主旨；比如说同一个事件的新故事，关于一些话题和问题的网页 根据总结的目的，我们可以把总结分为两类： 泛总结：...
GraphRAG：知识图谱+RAG技术
热门推荐
2401_84208172的博客
10-15 1万+
由于RAG的一些缺陷，最近工作中用到了GraphRAG，可以简单理解为知识图谱+RAG工作，在进行QFS与深度推理上表现良好。老板希望，在类似于库存管理、预测上面，可以结合更多的上下文信息和逻辑关系，进行推理和结果的输出。（下图为RAG简单示意图）
GraphRAG：知识图谱与RAG智能融合新纪元
AI从业者的专栏
07-16 2709
利用大模型对实体、关系和声明的描述进行抽象总结，形成对概念的独立有意义的摘要。这一过程依赖于大模型对文本本身未明确表述的概念（如隐含关系）的理解能力。为每个社区生成摘要，这些摘要不仅有助于理解数据集的全局结构和语义，而且在没有具体查询的情况下，也可用于对整个文档集合的理解。社区摘要的生成考虑了节点的重要性和连接度，以确保社区内的关键信息被有效捕捉。GraphRAG技术以其革命性的知识图谱融合和检索增强能力，为人工智能领域带来了新的突破。
【小白入门】大模型RAG与GraphRAG：轻松理解概念、组成和流程！
m0_65555479的博客
01-06 1084
GraphRAG是一种结合了检索（Retrieval）和生成（Generation）的技术，它通过利用外部知识库来增强大型语言模型（LLMs）的性能，有效解决了模型可能出现的“幻觉”问题、领域知识缺失以及信息过时等问题。GraphRAG通过图结构信息，能够更精确地检索和生成与上下文相关的响应。GraphRAG技术通过在生成过程中融入检索组件来提升生成内容的质量和相关性。
小白学大模型 RAG：GraphRAG 概念、组成和流程，看完这一篇你就懂了！！
2401_85325397的博客
10-19 1743
GraphRAG技术通过在生成过程中融入检索组件来提升生成内容的质量和相关性。与传统的RAG相比，GraphRAG能够从预先构建的图数据库中检索包含关系知识的图元素，如节点、三元组、路径或子图，从而更准确地捕捉关系信息，并生成更符合上下文的响应。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。
深度解析：GraphRAG——知识图谱与RAG技术的完美结合，非常详细收藏我这一篇就够了！
2401_84204207的博客
02-07 1150
在介绍RAG之前，先来介绍一下Langchain-chatchat的自定义Agent功能，由于在工作中遇到的业务场景，希望将预测模型（经典时序预测模型、深度时序预测模型、时序大模型）作为Agent供大模型去调用，因此基于Qwen2大模型基座，实现了自定义Agent功能。
Graph RAG——从局部到全局实现高效查询摘要（QFS）
qq_52053775的博客
07-14 589
在现代信息处理技术的广袤领域中，检索增强生成（RAG）技术已成为从外部知识源检索相关信息的重要工具，使得大型语言模型（LLM）能够有效回答涉及私人或未见过的文档集合的查询。然而，在应对全局性查询时，RAG技术的效能受限。例如，当用户提出“数据集中的主要主题是什么？”此类问题时，便需要一种能够综合整个文本语料库信息的解决方案，这构成了查询聚焦的摘要（QFS）任务的核心。传统QFS方法在处理大规模文本时面临扩展性挑战，难以有效应对RAG系统所需的海量文本处理需求。
GraphRAG方法：实现从局部到全局的查询式摘要
资源摘要信息:"本文介绍了一种名为GraphRAG的检索增强生成（RAG）方法，该方法由微软的研究团队提出，目的是提高大型语言模型（LLM）在处理未公开文本集合时的查询回答能力。GraphRAG特别针对的是全局性问题，例如，...
大模型——最全梳理 一文搞懂RAG技术的5种范式！
03-26 296
高级 RAG 引入了具体的改进措施，以克服 Naive RAG 的局限性。为了提高检索质量，它采用了检索前和检索后策略。为了解决索引问题，高级 RAG 通过使用滑动窗口方法、细粒度分割和元数据的整合，改进了索引技术。此外，它还采用了多种优化方法来简化检索过程。模块化 RAG 架构超越了前两种 RAG 范式，具有更强的适应性和多功能性。它采用了多种策略来改进其组件，例如为相似性搜索添加搜索模块，以及通过微调完善检索器。为应对特定挑战，还引入了重组 RAG 模块和重排 RAG 管道等创新方法。
Recraft.ai：赋能专业设计师的 AI 创意引擎
最新发布
weixin_44903776的博客
05-12 581
Recraft.ai 是一款专为专业设计师打造的 AI 创意引擎，集图像生成、编辑、矢量化、协作于一体，旨在提升设计效率与创意表达。其核心功能包括 AI 图像生成器、矢量生成器、照片编辑器等，支持风格一致性与品牌化，适用于 Logo 设计、图标制作、广告素材等多个场景。Recraft.ai 强调“设计师主导”理念，提供完全掌控、高效协作与简化工作流程的优势，帮助设计师节省时间并提升作品质量。目前提供免费试用，适合设计师与设计爱好者探索 AI 创意的无限可能。
第二十一天打卡
nbbsn的博客
05-11 250
这个结果略微差于聚类后的效果，但和一开始考虑所有特征的预测效果差不多，这个降维算法也比较成功。首先我们要对训练集和测试集进行处理，将非数字部分进行编码，并且将空缺值进行填充。- 输出每个模型的最佳参数和评估指标（准确率、精确率、召回率和F1分数）- 对每个模型分别使用网格搜索和贝叶斯优化进行超参数调优。这里可以看出预测结果大大提高了，这个调整工程是成功的。- 使用三个典型模型：随机森林、支持向量机和逻辑回归。- 在验证集上评估每个模型的性能。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1196
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
Python 数据分析与可视化：开启数据洞察之旅（5/10）
小相探索IT世界
05-09 1892
在当今数字化时代，数据就像一座蕴藏无限价值的宝藏，等待着我们去挖掘和探索。而 Python，作为数据科学领域的明星语言，凭借其丰富的库和强大的功能，成为了开启这座宝藏的关键钥匙，在数据分析和可视化领域占据着举足轻重的地位。在进行 Python 数据分析与可视化的旅程中，选择合适的开发工具至关重要。它们就像是工匠手中的精良工具，能够极大地提升我们的工作效率和开发体验。下面将为大家介绍两款在 Python 数据分析领域广泛使用的开发工具：Jupyter Notebook 和 VSCode。
什么是深度神经网络
kcarly的专栏
05-11 526
深度神经网络通过多层次的非线性变换和自动化特征学习，在多个领域实现了革命性突破。其核心技术包括反向传播、激活函数和正则化方法，而结构设计（如CNN、ResNet）和优化算法（如Adam）的进步进一步释放了模型潜力。尽管面临可解释性、计算成本等挑战，随着多模态融合、轻量化设计和新型硬件的发展，DNN将继续推动人工智能的边界，深刻影响科技与社会的发展。
伪知识图谱：提升RAG增强型大型语言模型的检索能力
为了解决这一问题，研究人员开发了检索增强生成（RAG）技术，该技术通过结合外部信息检索系统来增强LLMs，从而提高响应的准确性和上下文性。然而，RAG在高容量、低信息密度数据库中的全面检索仍然存在困难，并且缺乏...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值