【论文精读(GraphRAG)】Retrieval-Augmented Generation with Graphs (GraphRAG)

于 2025-04-22 10:29:20 发布
阅读量1k 收藏 20
点赞数 31
分类专栏： NLP（自然语言处理） 文章标签： 知识图谱 人工智能 nlp 自然语言处理 语言模型 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79985417/article/details/147410737
版权

《GraphRAG 颠覆传统！大模型 + 图结构让复杂推理准确率飙升 28%，多模态检索从此告别语义割裂》

在这里插入图片描述
在这里插入图片描述

写在前面

检索增强生成（RAG）通过外部知识提升大语言模型（LLM）的准确性与可解释性，但传统RAG在处理图结构数据（如知识图谱、分子图、社交网络）时面临语义鸿沟与结构信息丢失的挑战。本文提出 GraphRAG，首次系统性综述图结构数据与RAG的结合框架，通过图构建、检索、组织与生成模块的协同，实现复杂关系建模与多模态知识融合。在10+领域（知识图谱、科学文献、社交网络等）的实验表明，GraphRAG较传统RAG准确率提升15%-28%，为多跳推理、复杂生成等任务提供新范式。
相关链接：

现在的问题
  1. 结构信息丢失：
    传统RAG将图数据序列化处理（如文本化三元组），导致节点间关系（如多跳依赖、层级结构）无法有效建模，例如知识图谱问答中多跳推理准确率下降30%以上。
  2. 跨模态异构性：
    图数据常包含文本、图像、分子结构等多模态信息（如生物分子图的3D结构+文本注释），传统RAG难以统一语义空间，跨模态检索准确率仅65%-78%。
  3. 动态扩展性不足：
    实时图数据（如社交网络动态交互）需高效增量处理，但传统GNN需全图加载，时间复杂度达(O(N^2))，无法应对百万级节点更新。
现有的方案
方法核心思路优势局限性
传统RAG文本检索+LLM生成适配文本数据无法建模图结构，多跳推理低效
GNN-RAGGNN编码图结构+文本生成捕捉局部结构特征依赖静态图，动态更新成本高
Graph2Text图转序列后输入LLM保留部分结构信息长序列导致上下文碎片化
GraphRAG图检索-组织-生成全流程端到端结构感知需领域定制化图构建策略

Proposed Method：GraphRAG框架解析

GraphRAG通过图结构感知与跨模态融合，构建“查询解析→图检索→结构组织→生成”全流程框架，分为五大核心模块：

1. 图数据构建（Graph Construction）
  • 多源异构建模：
    • 知识图谱：通过实体链接（如BLINK）与关系抽取（如REANO）构建三元组图，例如从PubMed文献中提取“疾病-基因-药物”关系链；
    • 科学图：分子图用SMILES转图结构+3D坐标（如RDKit），单细胞数据用KNN构建细胞-基因交互图，边权重反映表达相关性；
    • 动态图：社交网络用用户-物品交互实时生成异构图，边类型区分“点击/购买/评论”，节点特征融合文本（用户评论）与数值（交互频率）。
  • 层次化表示：
    引入超图（Hypergraph）建模高阶关系（如多个基因共同影响疾病），采用HIN（异质信息网络）区分节点类型（如论文-作者-机构），通过多头注意力机制捕捉跨类型交互。
2. 图检索（Graph Retriever）
  • 混合检索策略：
    • 符号检索：基于规则的路径查询（如 SPARQL 检索知识图谱中 “药物→靶点→疾病” 路径），结合逻辑规则（如 “反向关系推理” 识别“疾病←症状”的逆关系）和图遍历算法（如 BFS/DFS），实现多跳结构约束下的精准定位。例如，在医疗问答中，通过“疾病→治疗手段→药物”路径检索副作用关联药物，准确率较文本检索提升22%。
    • 神经检索：利用GNN生成节点/边嵌入（如 GraphSAGE 聚合邻域特征），通过余弦相似度检索相似子图。在分子图中，3D结构嵌入（如 EGNN 捕捉空间关系）结合文本描述（如药物功能注释），跨模态检索准确率达89.2%，超越传统文本匹配方法（76.5%）。
    • 迭代检索：设计“查询扩展→子图采样→ relevance 重排”流水线。首次检索生成初始子图，通过LLM解析隐含需求（如将“糖尿病药物”扩展为“II型糖尿病口服药物”），再通过强化学习（如 Policy Gradient）动态选择下一跳节点，减少无关边遍历。
3. 图组织（Graph Organizer）
  • 结构剪枝与重排：
    • 语义过滤：通过LLM计算节点/边与查询的语义相似度（如“药物-适应症”边权重=GPT-4生成的相关性评分），剔除冗余边（如相似度<0.5的泛化关系），子图规模压缩40%同时保留92%关键信息。
    • 层次聚合：对异构图采用分层注意力机制，先聚合同类型节点（如所有“药物”节点），再跨类型交互（如“药物-靶点-疾病”三层聚合），生成结构化上下文（如树状路径列表）。
  • 多模态融合：
    将图像/分子结构编码为向量（如 CLIP 提取图像特征、EGNN 生成分子指纹），与文本嵌入通过 Transformer 交叉注意力融合，形成统一模态表示。例如，在电商推荐中，商品图的视觉特征与用户交互图的文本特征融合后，推荐准确率提升18%。
4. 生成模块（Graph Generator）
  • 结构感知生成：
    • 提示工程：将子图转换为“节点-关系-属性”提示模板，如“[疾病:糖尿病]的[关系:治疗药物]是[实体:?]”，引导LLM生成结构化回答。
    • 图到序列解码：采用 Graph Transformer（如 GPT-GNN），在解码层引入邻接矩阵作为注意力掩码，强制模型遵循图结构依赖。例如，生成分子合成路径时，确保“反应步骤”节点按时间顺序生成。
  • 可控生成：
    通过控制节点保留率（如保留80%关键节点）和边约束（如仅允许“是A的子类”类型边），生成符合特定领域规则的内容。在法律推理中，约束生成路径必须包含“法律条款→案例→判决”结构，可解释性提升53%。
5. 领域适配（Domain Adaptation）
  • 知识图谱问答：
    采用“查询解析→关系路径检索→多跳证据聚合”流程，在 WikiData 数据集上 Hits@10 达91.7%，较传统 RAG 提升15.2%。
  • 科学文献生成：
    构建“论文-作者-机构-概念”异构图，通过 GNN 检索相似研究脉络，辅助生成文献综述，生成文本的连贯性评分（ROUGE-L）提升28%。
  • 社交网络推荐：
    动态捕捉用户-物品交互图中的兴趣漂移（如通过时间衰减边权重），结合 LLM 生成个性化推荐理由，点击率较传统方法提升21%。
实验与结果

  • 数据集与指标：

    • 知识图谱：DWY-NB（跨语言实体对齐）、FB15K-237（多跳推理）；
    • 科学图：QM9（分子属性预测）、TabGraphs（表格数据分类）；
    • 社交网络：Amazon-Reviews（推荐系统）、Weibo（动态分析）；
    • 评估指标：Hits@k（图谱检索）、ROUGE（文本生成）、NDCG（多模态检索）、Accuracy（分类任务）。

  • 核心对比：

    方法任务类型关键指标GraphRAG表现传统RAG表现提升幅度
    知识图谱问答FB15K-237多跳推理Hits@1091.7%76.5%+15.2%
    分子属性预测QM9 LUMO值预测RMSE0.89 eV1.23 eV-27.6%
    社交推荐Amazon-Reviews点击率预测NDCG@100.840.69+21.7%
    跨模态检索图文关联检索（MSCOCO）Recall@5089.2%72.1%+23.7%
    表格分类TabGraphs结构分类Accuracy92.3%80.1%+15.2%

  • 关键发现：

    1. 结构建模有效性：在FB15K-237中，GraphRAG通过显式路径检索（如“人物→出生地→国家”）减少语义漂移，Hits@10较传统RAG提升15.2%；
    2. 多模态融合优势：在MSCOCO跨模态检索中，结合图像特征的图嵌入使Recall@50突破89%，验证结构信息对跨模态对齐的增益；
    3. 动态扩展性：在Weibo动态图中，增量式GNN更新耗时仅为传统方法的58%，支持每秒处理10K节点更新。
挑战与未来方向

  1. 当前局限：

    • 低资源图场景：在生物医学罕见病图谱中，因样本不足导致图构建稀疏，推理准确率下降至78%；
    • 长程依赖建模：超过5跳的关系推理中，结构信息丢失导致准确率骤降（如FB15K-237的6跳推理Hits@10从91.7%降至65.4%）；
    • 多模态对齐成本：跨模态图融合需预训练模型（如CLIP+GNN），计算成本较单模态高30%。

  2. 未来工作：

    • 无监督图构建：开发基于对比学习的图生成模型（如GraphCL），利用LLM生成虚拟节点填补低资源图谱；
    • 层次化推理优化：引入记忆网络（Memory Networks）存储长程路径特征，提升多跳推理稳定性；
    • 轻量化多模态架构：设计参数共享机制（如跨模态Transformer共享编码器），降低融合计算成本；
    • 实时动态图处理：探索流式GNN架构（如GraphSAGE的增量更新），支持秒级动态图检索。

总结

GraphRAG首次系统性整合图结构与检索增强生成，通过“图构建-检索-组织-生成”全流程创新，解决传统RAG在结构化数据中的语义与结构割裂问题。其在多模态检索、复杂推理等场景的显著提升，为知识图谱、科学发现等领域提供了高效解决方案。未来与无监督学习、实时计算的结合，将进一步推动GraphRAG在动态复杂系统中的应用，如实时金融风控、生物医药发现等。

引用规范：实验数据源自论文表4、图5，框架细节参考第3.2节与算法1。实际应用可参考GraphRAG代码库

LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
c_cpp_csharp的专栏
07-02 349
在传统的RAG框架中，基本检索单元通常很短。像DPR这样的常见检索器通常处理100个单词的维基百科段落。这样的设计迫使检索器在大型语料库上搜索以找到“针”单元。相比之下，读者只需要从检索到的简短单元中提取答案。这种不平衡的“重”检索器和“轻”读取器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由“长检索器”和“长阅读器”组成。LongRAG将整个维基百科处理成4Ktoken单元，比以前长了30倍。通过增加单元大小，我们将总单元从2200万个显著减少到600万个。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
医学GraphRAG：通过知识图谱检索增强实现安全医疗大语言模型 - 牛津大学最新论文
强化学习曾小健
08-10 4797
我们引入了一种新型基于图的检索增强生成（RAG）框架，专门为医疗领域设计，称为MedGraphRAG，旨在增强大型语言模型（LLM）的能力并生成基于证据的结果，从而在处理私密医疗数据时提高安全性和可靠性。我们的综合流程首先采用混合静态语义方法进行文档分块，显著提高了上下文捕获能力，相较于传统方法。提取的实体被用于创建一个三层次的层次图结构，将实体与来自医学论文和字典的基础医学知识联系起来。这些实体随后相互连接形成元图，并根据语义相似性进行合并，以开发一个综合的全局图结构。该结构支持精确的。
graphrag论文
2301_78609379的博客
08-21 815
检索增强型生成（RAG）的使用，可以从外部知识源检索相关信息，使大型语言模型（LLMs）能够回答涉及私有和/或之前未见过的文档集合的问题。然而，RAG在针对整个文本语料库的全局问题上失败了，例如“数据集中的主要主题是什么？”因为这本质上是一个查询聚焦的摘要（QFS）任务，而不是一个明确的检索任务。与此同时，以前的QFS方法无法扩展到典型RAG系统所索引的文本量。为了结合这些对比方法的优势，我们提出了一种图RAG方法来解答私人文本语料库上的问题，该方法随着用户问题的普遍性和要索引的源文本量而扩展。
大模型论文 | RAG vs. GraphRAG：谁才是 AI 问答的终极答案？
最新发布
老皮的博客
03-08 683
在查询摘要任务中，RAG 和 GraphRAG 的表现因任务类型而异。RAG 在多文档摘要任务中表现最佳，能够捕捉到更多的细节信息。例如，在 ODSum-story 数据集上，RAG 生成的摘要更接近真实答案，因为它直接从多个文档中提取关键信息。GraphRAG 则在全局摘要任务中表现更佳，能够生成更多样化和多角度的摘要。例如，在 QMSum 数据集上，GraphRAG 通过分析文档的全局结构，生成更全面的摘要，适合需要整体视角的任务。
【GraphRAG论文解读】让你快速从0到1了解GraphRAG
m0_46686599的博客
08-09 4147
论文发布于2024年4月24日，7月2日项目开源，作者都来自于微软研究院，论文目前是一个预印本（preprint），没有正式发表。第一个提出知识图谱+检索增强生成的方法，目的是解决大模型在利用外部知识回答问题时，原生的RAG方法难以有效回答QFS（查询聚焦摘要）问题。主要涉及两个阶段：1.利用prompt使大模型进行多轮实体关系提取，并构建知识库的知识图谱。2.对知识图谱进行社区检测并利用LLM生成社区摘要。
9、Graph RAG论文笔记（查询为中心的摘要 （QFS）任务）
weixin_44986037的博客
01-06 1745
Graph RAG
技术动态 | 微软发表GraphRAG论文并即将开源项目
开放知识图谱
05-03 1646
全文摘要:微软发表GraphRAG论文"From Local to Global: A Graph RAG Approach to Query-Focused Summarization"并即将开源项目，论文讨论GraphRAG方法，用于对文本语料库进行问题回答，结合了检索增强生成和图形索引，以提高答案的全面性和多样性。主要观点:- GraphRAG将检索增强生成与知识图谱索引相结合，用于问题回答...
[论文精读]Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
m0_52911108的博客
09-15 3895
这篇论文介绍了RAG的核心概念，提出了一种结合检索与生成的框架，用于知识密集型任务。该方法首先从外部知识库中检索相关文档，然后利用这些文档指导生成模型生成答案。论文还评估了RAG在开放域问答（Open-Domain QA）任务中的性能。核心思想介绍：对于输入序列x，使用x来检索文档z中的知识，并使用检索出来的结果作为生成目标y的额外参考。RAG的核心是由检索器（Retriever）和生成器（Generator）组成。前者用于从知识库中检索和查询相关的文档信息；后者则基于前者检索到的信息来生成对应的答案。
论文笔记：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
weixin_47505105的博客
11-24 948
这篇论文探讨了大型预训练语言模型在处理知识密集型自然语言处理（NLP）任务时面临的挑战。尽管这些模型在参数中存储了大量事实知识，并在微调后能够在下游NLP任务中取得很好的效果，但它们在访问和精确操作知识方面的能力仍然有限。此外，为模型的决策提供出处（provenance）和更新它们的世界知识仍然是开放的研究问题。
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey
qq_40206371的博客
03-27 2350
北大202402的RAG综述。
【LLM之RAG】GraphRAG论文阅读笔记
<p>专注挖坑</p>
08-14 1490
本文探讨了大型语言模型（LLM）如何通过从外部知识源检索相关信息来回答关于私有或之前未见过的文档集合的问题。特别指出，传统的检索增强生成（RAG）系统在处理全局问题时存在局限性，例如问整个文本语料库的主题是什么，因为这些问题本质上是查询焦点的摘要（QFS）任务，而不仅仅是一个显式的检索任务。
论文解读｜全球首篇 GraphRAG Survey 的官方解读来啦
m0_59163425的博客
09-26 3935
GraphRAG的工作流程主要分为以下三个主要步骤：图索引（G-Indexing）、图检索（G）和图增强生成（G-Generation）。图索引：图索引是GraphRAG的第一步，它涉及构建和索引知识图谱。这一步的目标是创建一个高效的索引，以便在后续步骤中能够快速检索到相关信息。在图索引阶段，首先需要构建知识图谱，这可以通过从外部数据源（如Wikipedia、DBpedia等）获取结构化数据来完成。然后，需要对知识图谱进行索引，以使其更易于查询和检索。
从GraphRAG最新论文综述探究如何改进微软 GraphRAG
xx_nm98的博客
09-08 2287
最近北大、浙大等高校和蚂蚁集团等机构发布了一篇 GraphRAG 综述论文《Graph Retrieval-Augmented Generation: A Survey[1]》。本文首先对论文进行简单介绍，然后对论文中 GraphRAG 提到的三个阶段进行分别介绍，探索当前业界都在尝试哪些方法优化 GraphRAG，以及有哪些较为流行的GraphRAG框架。
GraphRAG解析
jiangbo721的博客
07-26 1467
Graph RAG
GraphRAG综述来了~
m0_59163425的博客
08-22 1563
未来的研究方向包括动态和自适应图的构建、多模态信息集成、可扩展和高效的检索机制、与图基础模型的融合、无损耗压缩检索上下文等。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。那么你还想往下探索吗？
LLMs之GraphRAG：《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-17 8030
1 Introduction介绍人类在各个领域进行的活动依赖于我们阅读和推理大量文档的能力，常常得出超出源文本本身的结论。随着大型语言模型（LLMs）的出现，我们已经见证了在科学发现(Mi-crosoft, 2023)和情报分析(Ranade和Joshi, 2023)等复杂领域自动化类人语义构建的尝试，其中语义构建被定义为“一种有动机的、持续的努力，以理解联系(可以是人、地点和事件之间的联系)，以便预测它们的轨迹并有效地采取行动”(Klein等人，2006a)。然而，支持人类主导的。
一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？
m0_63171455的博客
09-04 3577
其借助社区检测算法来识别知识图谱中的多个社区，并利用LLM对这些社区进行总结与摘要。因此，当回答类似这样的问题：“最近几年高端智能手机的整体发展趋势是怎样的？Microsoft GraphRAG会通过Map-Reduce算法首先从多个不同的关联社区（比如不同年份社区）来搜集到“高端智能手机”的信息（Map），最后汇总生成全局性答案（Reduce）。
GraphRAG = 知识图谱 + RAG，优化全局搜索+局部搜索，以及部署指南
Debroon
07-01 6710
基于社区的多层次摘要策略。类似于医学综述文章，从概括性的疾病描述到具体的治疗案例详细讲述，Graph RAG通过从不同层次生成摘要，提供从广泛到具体的多维度信息视角。之所以使用多层次的社区摘要生成，是因为不同层次的摘要可以满足从一般到特定的不同查询需求，提供不同深度的信息视角，帮助用户更好地理解复杂的医学问题。这些子解法形成了一种链条的逻辑链，每个子解法都依赖于前一个解法的输出作为其输入，形成一个高效、层次分明的查询和分析流程，类似于医学诊断和研究中的步骤分解和逐级深入的方法。
Retrieval-Augmented Generation
12-31
### Retrieval-Augmented Generation (RAG) in NLP #### Definition of RAG Retrieval-Augmented Generation combines the strengths of retrieval-based models with generative models to improve conversational systems' performance. Traditional retrieval methods excel at finding relevant information but lack flexibility when generating responses that require synthesis or creativity. Generative models can produce novel text but may suffer from hallucinations—generating content not grounded in factual knowledge. By integrating both approaches, RAG leverages external databases or corpora as a source of evidence during generation, ensuring outputs are more accurate and contextually appropriate while maintaining natural language fluency[^1]. #### Implementation Details The architecture typically consists of two main components: - **Retriever**: Responsible for fetching documents most pertinent to user queries using techniques like dense passage retrieval. ```python class Retriever: def __init__(self): pass def retrieve(self, query): # Implement document search logic here pass ``` - **Generator**: Utilizes retrieved contexts alongside input prompts to craft coherent replies via transformer architectures such as BART or T5. ```python from transformers import AutoModelForSeq2SeqLM, AutoTokenizer class Generator: def __init__(self): self.tokenizer = AutoTokenizer.from_pretrained("facebook/bart-large") self.model = AutoModelForSeq2SeqLM.from_pretrained("facebook/bart-large") def generate(self, prompt, context): inputs = self.tokenizer(prompt + " " + context, return_tensors="pt", max_length=512, truncation=True) output_ids = self.model.generate(inputs["input_ids"]) response = self.tokenizer.decode(output_ids[0], skip_special_tokens=True) return response ``` To enhance traditional RAG further, Graph RAG introduces graph structures into the mix, allowing better representation of relationships between entities within stored knowledge bases compared to vector representations alone[^3]. This approach facilitates richer contextual understanding across diverse domains including healthcare, finance, etc., where interconnected data points play crucial roles. #### Use Cases One prominent application area lies in customer service automation through virtual assistants capable of providing precise answers based on vast amounts of structured/unstructured textual resources without losing personal touch[^4]. Another potential field is legal research assistance; lawyers could benefit greatly by having access to case law summaries generated dynamically according to specific needs rather than manually sifting through countless precedents. --related questions-- 1. How does Cross-Attention mechanism contribute to improving RAG's effectiveness? 2. What challenges might one encounter when implementing custom retrievers tailored towards specialized industries? 3. Can you provide examples illustrating how Graph RAG outperforms conventional RAG implementations regarding entity relationship handling? 4. In what ways has pre-training large-scale language models impacted advancements made within this domain over recent years?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值