最新成果:基于图的 RAG 统一框架 in-depth 分析

论文:In-depth Analysis of Graph-based RAG in a Unified Framework
链接:https://arxiv.org/abs/2503.04338
代码:https://github.com/JayLZhou/GraphRAG

研究团队:香港中文大学(深圳)与华为云研究人员
编辑:深度学习自然语言处理 公众号

研究背景与动机

当前,大语言模型(LLMs)广泛应用于各种领域,但受限于预训练数据的不足,往往产生“幻觉”(hallucination)现象。为此,学界提出了检索增强生成(RAG)方法,通过外部知识补充来提升模型的可靠性。近年来,基于图的RAG方法因其能够更好地捕捉语义结构和实体关系而受到广泛关注。然而,目前缺乏统一的框架系统地对这些方法进行比较和分析。

研究问题与目标

本文旨在提出一种统一的分析框架,系统性地对现有的graph-based RAG方法进行比较分析,并探索其关键性能因素。通过实验研究,作者探究明确了不同方法适用于何种问题类型,形成了一个普适的框架。并挖掘未来的研究潜力。

核心方法与统一框架设计

图构建(Graph Building)

  • 将语料库分割为多个chunk

  • 从每个chunk中提取节点和边,构建不同类型的图结构(如树、知识图谱、文本知识图谱、富知识图谱等)

索引构建(Index Construction)

  • 为图中的节点和关系创建高效的向量数据库索引,采用文本编码模型(如BGE-M3)

  • 使用社区发现算法(如Leiden算法)建立社区索引,以高效支持在线查询
    操作符配置(Operator Configuration)

  • 提炼出节点、关系、chunk、子图、社区等多种操作符

  • 不同方法通过选取特定操作符组合,实现个性化的检索策略
    检索与生成(Retrieval & Generation)

  • 根据用户问题,检索相关节点、关系或社区,结合原始问题构造prompt

  • 使用LLM生成答案,生成范式包括直接生成和Map-Reduce两种模式

实验评估与结果

作者在11个真实世界数据集(包括特定问题和抽象问题任务)上对12种主流的基于图的RAG方法进行全面评估。

实验数据集与评估指标

  • 特定问题(Specific QA) 数据集(如MultihopQA、Quality、PopQA等),评估指标为准确率、召回率以及字符串匹配指标(STRREC、STREM、STRHIT)。

  • 抽象问题(Abstract QA) 数据集(如Mix、CS、Legal等),采用GPT-4o作为评估工具,从全面性、多样性、赋能性和整体质量四个维度进行比较。

主要结论

  • 基于图的RAG普遍优于Vanilla RAG,尤其在复杂问题和抽象问题任务中表现突出。

  • 高层次总结信息(如社区报告)对于复杂和抽象问题具有关键作用。

  • 在特定问题任务上,RAPTOR方法表现出色,通过树结构的高层信息显著提高了准确性。

  • 作者提出了新的方法变体(如VGraphRAG、CheapRAG),在多个任务中超越了现有最优方法。

研究贡献与创新点

  • 统一分析框架:首次提出覆盖全部主流图RAG方法的统一框架,明确提炼出关键操作,并分析关键性能影响因素。

  • 系统比较:首次在统一实验设置下,细致分析现有方法的优劣及其适用场景。

  • 新方法提出:通过组合现有技术,设计出新的图RAG方法变体,在实验中展现出更好的性能与成本效益。

未来研究展望

作者指出未来值得探索的问题:

  • 动态更新的知识图谱如何高效地与RAG结合;

  • 如何有效评估构建图的质量并降低图构建成本;

  • 如何设计更为经济高效的图检索方法,尤其是在实际工业部署中;

  • 隐私保护场景下的RAG方法研究。


备注:昵称-学校/公司-方向/会议(eg.ACL),进入技术/投稿群

id:DLNLPer,记得备注呦

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值