微软下一代RAG：GraphRAG

最新推荐文章于 2024-11-27 19:57:17 发布
最新推荐文章于 2024-11-27 19:57:17 发布
阅读量150 收藏 1
点赞数
分类专栏： 大模型应用落地架构实战 文章标签： 人工智能 chatgpt 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36330643/article/details/140838606
版权

什么是GraphRAG？

GraphRAG是一种基于AI的内容解释和搜索能力。它利用大型语言模型（LLM）解析数据，创建知识图谱，并回答用户关于用户提供的私人数据集的问题。

GraphRAG能做什么？

GraphRAG能够在大量信息中连接信息，并利用这些连接来回答使用关键词和基于向量的搜索机制难以或无法回答的问题。基于前一个问题，它提供了半技术性的、高层次的信息，展示了系统如何为各种用途提供功能。这使得使用GraphRAG的系统可以回答跨越多个文档的问题以及诸如“该数据集中的主要主题是什么？”等主题性问题。

GraphRAG的预期用途是什么？

GraphRAG旨在支持关键的信息发现和分析用例，这些用例中所需的信息分散在许多文档中，信息可能是嘈杂的，混杂着错误和/或虚假信息，或者用户希望回答的问题比底层数据能直接回答的问题更加抽象或具有主题性。

GraphRAG被设计用于用户已经接受过负责任的分析方法培训且预期具备批判性思维的环境中。GraphRAG能够在复杂信息主题上提供高度洞察力，但需要领域专家对生成的答案进行人工分析以验证和补充GraphRAG的响应。
GraphRAG旨在与特定领域的文本数据集一起部署和使用。GraphRAG本身不收集用户数据，但建议用户验证所选LLM的隐私政策。

GraphRAG如何进行评估？使用了哪些指标来衡量性能？
GraphRAG以多种方式进行

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GraphRAG、Naive RAG框架总结主流框架推荐(共23个)：LightRAG、nano-GraphRAG、Fast-GraphRAG、Dify、RAGflow等
丨汀、的博客
11-28 1658
GraphRAG、Naive RAG框架总结主流框架推荐(共23个)：LightRAG、nano-GraphRAG、Fast-GraphRAG、Dify、RAGflow等
『大模型笔记』GraphRAG：用于复杂数据发现的新工具现已在GitHub上发布
AI新视界
07-09 2236
GraphRAG：用于复杂数据发现的新工具现已在GitHub上发布
GraphRAG源码解读：基于知识图谱构建的检索增强生成系统
2401_85377976的博客
09-14 1548
讨论代码前, 我们先简单了解下 GraphRAG 项目的目标与定位. 在论文中, 作者很明确地提出了一个常规 RAG 无法处理的应用场景：也就是类似该数据集的主题是什么这种 high level 的总结性问题。作者认为, 这种应用场景本质上是一种聚焦于查询的总结性（QueryFocused Summarization, QFS）任务, 单纯只做数据检索是无法解决的.。相应地， 其解决思路也在论文中清楚地描述出来了：
源码解读 - 微软GraphRAG框架
stephen147的博客
07-09 2536
这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。 GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这一点恰好是常规 RAG 系统的短板。 说实话之前一直有在关注这个框架, 所以这两天花了点时间研究了一下源码, 结合之前的一些技术文档，本文主要
微软GraphRAG框架源码解读（LLMs）
瓦罗兰特顶级C位的博客
07-22 2184
这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统：GraphRAG。该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据，构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题，这一点恰好是常规RAG系统的短板。 说实话之前一直有在关注这个框架，所以这两天花了点时间研究了一下源码，结合之前的一些技术文档，本文主要是记录GraphRA
最新开源震撼：微软GraphRAG技术深度解析
寻道AI，探索AI无限可能！
07-09 3601
2024年7月2日，微软开源了GraphRAG技术，这一举措不仅为AI领域带来了创新的解决方案，也为开发者社区注入了新的活力。GraphRAG，即基于图的检索增强生成（Graph-based Retrieval-Augmented Generation），是一种革命性的技术，它通过结合知识图谱和图机器学习，显著提升了LLM在处理私有数据时的性能。
AI日报（第一期）：下一代RAG技术，微软开源 GraphRAG
zsgg123的博客
07-14 1600
此外，谷歌在尝试进军短视频，人们可以将类似于 TikTok 或 YouTube Shorts 的短视频上传到谷歌，让视频直接出现在搜索中通过短视频上传项目来增加应用使用率，不过，该项目的启动却举步维艰。报告显示，约30%的iPhone谷歌搜索通过谷歌应用程序完成，较五年前的25%有所增加，但距离50%的目标仍有差距。Voice Isolator是ElevenLabs最新推出的一款去噪音神器，通过AI算法，消除了对话中大部分的背景噪音，户外采访必备，官网放出的演示效果还是不错的。
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 4526
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
微软重磅开源 GraphRAG：新一代 RAG 技术来了！
musicml的博客
07-07 9126
▼最近直播超级多，预约保你有收获今晚直播：《RAG/Dify 构建企业案例实战》—1—为什么需要 GraphRAG？7月3日，微软重磅开源了基于图的 RAG -- GraphRAG。在 GitHub 上发布后，短短4天时间，该项目迅速获得了 6000 Stars！足见这个项目的热度！Github 地址：https://github.com/microsoft/graphrag强化主流大模型，比...
微软的GraphRAG：智能问答系统的革命
强化学习曾小健
04-15 1753
通过将AI生成的知识图与私人数据集集成，GraphRAG承诺通过专注于上下文相关性的重要性来提高响应的准确性，这是长期困扰研究人员和用户的挑战。这种方法上的创新意味着与传统RAG系统的分道扬镳，后者通常依赖于固定的文件或数据源，限制了它们适应新问题或复杂问题的能力。面对跨多个领域的复杂问题或需要精细化理解的情况，这些系统常常出现问题，提供的答案虽然在技术上是正确的，却错失了被问到的问题的本质。随着这项技术的发展，类人理解和AI之间的界限可能会变得模糊，重新定义我们与技术以及推动我们世界的信息之间的关系。
下一代 RAG 技术来了！微软正式开源 GraphRAG
stephen147的博客
07-08 7552
7 月 2 日，微软开源了 GraphRAG，一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。在 GitHub 上推出后，该项目快速获得了 2700 颗 star！开源地址：https://github.com/microsoft/graphrag通过 LLM 构建知识图谱结合图机器学习，GraphRAG 极大增强 LLM 在处理私有数据时的性能，同时具备连点成线的跨大型数据集的复杂语义问题推理能力。
微软开源GraphRAG的使用教程（最全，非常详细）
热门推荐
科研探索ing！研究方向：人工智能及优化
07-17 4万+
目前微软已经开源了GraphRAG的完整项目代码。对于某一些LLM的下游任务则可以使用GraphRAG去增强自己业务的RAG的表现。项目给出了两种使用方式： 1. 在打包好的项目状态下运行，可进行尝试使用。 2. 在源码基础上运行，适合为了下游任务的微调时使用。
微软GraphRAG原理介绍（附带部分源码）
luxinfeng的博客
07-15 5446
这篇文章主要介绍了微软开源的GraphRAG的数据构建原理和查询检索原理
微软多部门联合推出GraphRAG项目：全面性和多样性方面显著优于原生大模型RAG
强化学习曾小健
04-26 2494
传统的RAG方法适用于局部文本检索任务，但。
微软GraphRAG框架演进之路及带来的一些思考
m0_59164520的博客
11-27 1341
本文主要回顾了Graphrag(ms版本)的路程：GraphRAG第一版本2024年4月份，主打global/local search；2024年11月初，搜索优化引入Drift_search动态搜索（https://microsoft.github.io/graphrag/query/drift_search)；
实战微软新一代RAG：GraphRAG强大的全局理解能力，碾压朴素RAG？
Python_cocola的博客
07-08 4317
大语言模型（LLM）是在大量数据上训练，但他们并不是在我们私有数据上训练，因此要想让LLM能够回答我们私有数据集上的问题，我们就得使用一种叫做检索增强生成（RAG）的技术。它的基本原理是加载我们的文档，然后将每个文档按照一定的规则，比如Token数量、字符数量、语义和层次分割等，将每个文档拆分为一个一个小片段（chunk）。然后使用嵌入技术对这些chunk生成embeding，存储到高维向量数据库中，生成索引Index。
微软的RAG框架和GraphRAG
AGI_GGbond的博客
10-12 942
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合检索和生成的技术，用于提升大语言模型的表现。简单来说，它是通过先检索相关的信息，再生成回答的方式来处理任务。微软的RAG框架就是这样一个系统。
RAG与GraphRAG
最新发布
02-13
### RAG 和 GraphRAG 的比较 #### 架构差异 Retrieval-Augmented Generation (RAG) 结合了检索模型和生成模型的优点，在处理自然语言理解和生成任务时表现出色[^1]。相比之下，GraphRAG不仅继承了RAG的特点，还引入了图结构数据的支持，使得该架构能够更好地捕捉实体之间的关系。 #### 数据表示形式的不同 对于传统文本输入,RAG依赖于预训练的语言模型来编码查询并从大规模文档集合中检索相关信息片段；而GraphRAG则进一步利用图形数据库中的节点和边作为额外的知识源，增强了对复杂关联的理解能力。 #### 应用场景对比 - **通用问答系统** 对于基于纯文本的简单问答回答，标准版RAG已经可以提供令人满意的性能表现。它能够在不牺牲太多效率的情况下实现高质量的回答生成。 - **领域特定应用** 当涉及到更复杂的行业知识或专业知识时，比如医疗保健、法律咨询等领域，则更适合采用GraphRAG方案。因为这类情况下往往存在大量相互联系的概念需要被有效建模，从而提高系统的准确度与可靠性。 ```python # 示例代码展示如何初始化两种不同类型的模型 from transformers import RagTokenizer, RagTokenForGeneration, AutoModelForSeq2SeqLM rag_model_name = "facebook/rag-token-nq" graph_rag_model_name = "custom/graph-rag" tokenizer = RagTokenizer.from_pretrained(rag_model_name) model = RagTokenForGeneration.from_pretrained(rag_model_name) graph_tokenizer = RagTokenizer.from_pretrained(graph_rag_model_name) graph_model = AutoModelForSeq2SeqLM.from_pretrained(graph_rag_model_name) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Soyoger

听说打赏的都进了福布斯排行榜。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值