GraphRAG 介绍

GraphRAG 是一种结构化的、分层的检索增强生成 (RAG) 方法,不同于使用纯文本片段的简单语义搜索方法。GraphRAG 流程包括从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要,然后在执行基于 RAG 的任务时利用这些结构。

解决方案加速器🚀

开始使用 GraphRAG

要开始使用 GraphRAG。如需深入了解主要子系统,请访问 IndexerQuery的文档页面。

GraphRAG 与 Baseline RAG 🔍

检索增强生成 (RAG) 是一种使用真实世界信息改进 LLM 输出的技术。这种技术是大多数基于 LLM 的工具的重要组成部分,大多数 RAG 方法使用向量相似性作为搜索技术,我们称之为Baseline RAG。GraphRAG使用知识图谱在推理复杂信息时大幅提高问答性能。RAG 技术在帮助 LLM 推理私有数据集方面显示出良好的前景- 私有数据集是 LLM 未经过训练且从未见过的数据,例如企业的专有研究、商业文档或通信。Baseline RAG的创建是为了帮助解决这个问题,但我们观察到 Baseline RAG 表现非常差的情况。例如:

  • Baseline 难以将各个点连接起来。当回答问题需要通过共享属性遍历不同的信息片段以提供新的综合见解时,就会发生这种情况。
  • 当被要求全面理解大型数据集合甚至单个大型文档中的总结语义概念时,基线 RAG 的表现不佳。

为了解决这一问题,技术社区正在努力开发扩展和增强 RAG 的方法。微软研究院的新方法 GraphRAG 使用 LLM 根据输入语料库创建知识图谱。该图谱与社区摘要和图形机器学习输出一起用于增强查询时的提示。GraphRAG 在回答上述两类问题方面表现出了显著的进步,表现出的智能或掌握程度优于之前应用于私有数据集的其他方法。

GraphRAG 流程

GraphRAG 建立在我们之前使用图形机器学习的研究工具的基础上。GraphRAG 流程的基本步骤如下:

Index

  • 将输入语料库切分为一系列 TextUnit,这些 TextUnit 作为其余过程的可分析单元,并在我们的输出中提供细粒度的参考。
  • 使用 LLM 从 TextUnits 中提取所有实体、关系和关键声明。
  • Leiden technique. 对图表进行层次聚类。要直观地看到这一点,请查看上面的图 1。每个圆圈都是一个实体(例如,一个人、一个地方或一个组织),其大小代表实体的程度,颜色代表其社区。
  • 自下而上地生成每个社区及其组成部分的摘要。这有助于整体理解数据集。

询问

在查询时,这些结构用于在回答问题时为 LLM 上下文窗口提供材料。主要查询模式包括:

及时调整

使用GraphRAG处理开箱即用的数据可能无法获得最佳结果。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京橙溪科技有限公司enwing.com

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值