GraphRAG项目雨后春笋般涌现！

最新推荐文章于 2024-09-04 11:50:47 发布
最新推荐文章于 2024-09-04 11:50:47 发布
阅读量1k 收藏 23
点赞数 11
文章标签： 算法 面试 职场和发展 数据库 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59164520/article/details/140504062
版权

近期RAG这块比较火热的方向当属GraphRAG，微软GraphRAG项目自2024.7.3日开源以来，两周内，收获10.9k星星，可见其火热，同时，它既不是第一个也不会是最后一个开源的GrapRAG项目：

  • 2024.3.15日LangChain发布Graph RAG实战教程

https://www.llamaindex.ai/blog/introducing-the-property-graph-index-a-powerful-new-way-to-build-knowledge-graphs-with-llms

  • 2024.6.24日蚂蚁首个开源Graph RAG框架

蚂蚁首个对外开源的Graph RAG框架采用全自主的开源产品：DB-GPT（RAG的AI工程框架）+ OpenSPG（知识图谱系统）+ TuGraph（图存储系统）。

  • 2024.7.9日LlamaIndex发文介绍了Property Graphs，属性图索引通过使用标签属性图表示，解决了传统知识图谱无法为节点和关系分配标签和属性，无法将文本节点表示为向量嵌入，无法进行向量和符号检索的问题，提供了更丰富的建模、存储和查询能力。

  • 2024.7.11日Neo4j CEO发表GraphRAG长篇科普长文：GraphRAG宣言。

随后Neo4j于13日开源了基于LLM提取知识图谱的生成器：llm-graph-builder

github：https://github.com/neo4j-labs/llm-graph-builder

  • 2024.7.14日开源项目Camel宣布在其框架中引入Graph RAG Agent！目前并开源了知识图谱抽取的 Prompt，组合使用UnstructuredIO和neo4j实现节点和关系抽取。

教程：https://colab.research.google.com/drive/1IyttIWlsJKGWtWpc-QXDGbVok8fbud_j

  • 2024.7.14日LlamaIndex中初步实现了微软GraphRAG的一些模块：图形生成，构建图形和社区摘要；基于社区的检索，使用社区摘要并汇总中间答案。

对于Graph与LLM结合的方式，一种类似于传统KBQA那种，还有一种就是当前比较流行的方式社区挖掘+LLM。

对于第二种方式，PaperAgent专栏以微软GraphRAG项目为例进行了详细的实战讲解，部分效果图如下：

打印图谱：

[['阿根廷', '队员', '梅西', '梅西是阿根廷球队队员'],` `['阿根廷', '赛事结果', '哥伦比亚', '阿根廷击败哥伦比亚赢得美洲杯'],` `['阿根廷', '队员', '劳塔罗马丁内斯', '劳塔罗马丁内斯帮助阿根廷获胜'],` `['阿根廷', '获得者', '美洲杯冠军奖杯', '阿根廷赢得2022年美洲杯冠军'],` `['球迷的不守规矩行为', '后果', '被驱逐出场或逮捕', '违规行为的处理'],``...``

打印社区摘要：

print(community_summary)``   ``{0: '当球迷参与不守规矩的行为时，可能会面临严重的后果，主要包括被赛事组织者驱逐出场，或者由警方介入导致被捕。这种处理方式旨在维护比赛秩序，对违规行为进行有效管控。',` `1: '1. 罗伯托·加纳乔对南美足联的评价表现出深深的失望，主要由于他们对球员家属的不公待遇。\n2. 南美足联的行为引发了罗伯托·加纳乔的负面情绪，他对此感到失望，这起因于他们对待球员家庭的不当行为。',` `2: '1. BBA在中国汽车市场面临来自多个竞争者的挑战，如宾利和劳斯莱斯，它们都与BBA处于同一级别的竞争中。\n2. 宾利和劳斯莱斯都是BBA在中国市场的主要竞争对手，表明豪华车市场的竞争激烈。\n3. BBA不仅在中国市场参与竞争，还直接与像宾利和劳斯莱斯这样的高端品牌进行同级别较量。',` `3: '1. 阿根廷在美洲杯比赛中对阵哥伦比亚，最终取得胜利，赢得冠军。\n2. 阿根廷与哥伦比亚在美洲杯决赛中对决，阿根廷成功击败对手。\n3. 阿根廷对阵哥伦比亚，赛事结果显示阿根廷赢得了美洲杯。\n4. 在美洲杯的较量中，阿根廷作为对手对阵哥伦比亚，并获得了胜利。',` `4: '"阿根廷队赢得两次冠军奖杯，分别是作为获得者在美洲杯赛事中荣获冠军。"',` `5: '1. 梅西作为队员关联于阿根廷，表明他是阿根廷国家队的一员。\n2. 同样地，梅西也被确认为阿根廷球队的队员。'}``

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

小天才学习机打游戏
关注
微软 GraphRAG教程系列 之 01 什么是GraphRAG？GraphRAG使用知识图谱在推理复杂信息时大幅提高问答性能
iCloudEnd的博客
07-17 385
GraphRAG 是一种结构化的、分层的检索增强生成 (RAG) 方法，不同于使用纯文本片段的简单语义搜索方法。GraphRAG 流程包括从原始文本中提取知识图谱、构建社区层次结构、为这些社区生成摘要，然后在执行基于 RAG 的任务时利用这些结构。检索增强生成 (RAG) 是一种使用真实世界信息改进 LLM 输出的技术。这种技术是大多数基于 LLM 的工具的重要组成部分，大多数 RAG 方法使用向量相似性作为搜索技术，我们称之为Baseline RAG。
如雨后春笋般深度学习缺陷检测视觉平台
视觉人机器视觉的博客
06-28 588
如雨后春笋般深度学习缺陷检测视觉平台，你在想，别人在做
【GraphRAG】微软 graphrag 效果实测
HYY的博客
07-17 2815
本次测试中，global的测试输出不够理想。但是local的输出十分nice。简单的如果不是local和global的含义错了，即便是local的似乎也能进行全局性总结？local的生成基于更加细致的节点，比global的生成更加自然。如果以博客内容为准，也可能是因为复用同一个处理摘要总结时候的prompt，但是GPT4和豆包对这个prompt的响应敏感程度和生成倾向不同。
一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？
m0_63171455的博客
09-04 1821
其借助社区检测算法来识别知识图谱中的多个社区，并利用LLM对这些社区进行总结与摘要。因此，当回答类似这样的问题：“最近几年高端智能手机的整体发展趋势是怎样的？Microsoft GraphRAG会通过Map-Reduce算法首先从多个不同的关联社区（比如不同年份社区）来搜集到“高端智能手机”的信息（Map），最后汇总生成全局性答案（Reduce）。
GraphRAG工程落地成本详细解读和实例分析
最新发布
Z4400840的博客
09-04 903
GraphRAG提供了一种变革性的方法来支持RAG应用，使组织能够从他们的数据中释放新的价值。虽然构建图形的成本高于传统的嵌入方法，但所带来的价值远远超过这些开支。随着技术的发展和新模型的出现，GraphRAG的成本预计将下降，使其成为希望最大化数据价值的组织更加可行的解决方案。GraphRAG解决方案加速器使您可以轻松入门，基准自己的数据集成本，并开始在自己的应用中实施这一新兴技术读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。
动手实现GraphRAG，检索效果大幅提升
m0_59164304的博客
08-04 1049
未来，人工智能在商业领域的影响力将日益增强。那些能够将人工智能技术有效融入其业务运营的公司，将具备更快的创新速度、更优质的客户服务体验，以及更高效的流程优化能力。GraphRAG技术的出现，仅是人工智能潜力的冰山一角。随着时间推移，人工智能将变得更加精密复杂。它将不仅能够理解问题，还能生成贴近人类思维的回答。预计不久的将来，企业将见证一种新型人工智能系统的诞生——这些系统不仅能够回答问题，还能基于海量数据分析提供战略性的见解和建议。
解读 Graph RAG：从大规模文档中发现规律，找到相互关系，速度更快，信息更全面！
xx_nm98的博客
08-07 999
利用大模型对实体、关系和声明的描述进行抽象总结，形成对概念的独立有意义的摘要。这一过程依赖于大模型对文本本身未明确表述的概念（如隐含关系）的理解能力。为每个社区生成摘要，这些摘要不仅有助于理解数据集的全局结构和语义，而且在没有具体查询的情况下，也可用于对整个文档集合的理解。社区摘要的生成考虑了节点的重要性和连接度，以确保社区内的关键信息被有效捕捉。
手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】
Python_cocola的博客
07-12 2623
检索增强生成（RAG）是一种利用外部知识来增强大模型生成能力减少幻觉的主流方法，而对知识最常见的一种组织与索引的形式是向量化及基于向量相近性的检索。但除此之外，基于Graph图结构的知识图谱也是一种强大的知识组织工具，在很多场景下它可以实现更有意义的上下文检索并帮助模型输出更加准确的响应内容。预备知识：GraphRAG基础在开始之前，我们先快速了解图（Graph）、图数据库（GraphDB）、知识图谱（Knowledge Graph）以及GraphRAG的基础知识。。
雨后春笋哪里来flash动画
07-24
雨后春笋哪里来flash动画是一款幼儿园科学课件雨后春笋哪里来动画素材下载。
Bees HD Wallpapers Background Theme-crx插件
04-06
春天已经如雨后春笋般涌现！ 蜜蜂会在每个新标签页上使蜜蜂和美丽的花朵崩溃！ 在每个新标签页上都包含Bees的高清图像。 春天已经如雨后春笋般涌现！ 每个新标签上的蜜蜂，大WaSP和美丽的花朵！ 我们始终会更新图像...
游戏陪玩App，如雨后春笋般冒出，直接导致整个游戏陪玩源码市场的持续火爆
qq2306490558的博客
07-02 2776
随着“开黑”需求日益庞大，各类游戏陪玩App近两年如雨后春笋般冒出，市面上超过 30款提供此类服务的App，比如，暴鸡电竞、高手电竞、比心、大神电竞、约宝宝、猪队友、买萌、开黑大师、点点约玩、鱼泡泡、猎游、游伴、猎象电竞、喵喵玩、喵多多、畅畅、优玩、捞月狗、代练多多、连飞电竞、萌牛电竞、超级代练、Carry电竞、带鱼电竞…… 包括但不局限于以上App 这些App主要分为两大类，一类是提供纯游戏陪玩业务，比如暴鸡电竞、高手电竞；一类是除了游戏陪玩业务之外，还提供声优聊天、音乐等服务，比如比心、买.
LLMs之KG-RAG：KG-RAG/GraphRAG(基于知识图谱的RAG系统)的简介(可以解决多跳问题/同时支持结构化和非结构化数据查询)、经验技巧、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-07 2637
​ LLMs之KG-RAG：KG-RAG/GraphRAG(基于知识图谱的RAG系统)的简介(可以解决多跳问题/同时支持结构化和非结构化数据查询)、经验技巧、案例应用之详细攻略 目录 KG-RAG的简介 KG-RAG的相关工具或框架 KG-RAG的案例应用 KG-RAG的简介 检索增强生成（RAG）应用在集成来自外部来源的数据到LLMs中，回答简单问题方面表现出色。但是，它们在回答涉及将相关信息连接起来的多部分问题时往
GraphRAG：知识图谱+大模型
Python_cocola的博客
07-12 2719
结合知识图谱检索和向量检索，利用二者的优势提高搜索结果的准确性和相关性。
Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读
2301_81940605的博客
06-18 1682
RAG的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的RAG问答链路。增强训练REALM引入了知识检索器增强大模型预训练，以改进大模型的问答质量和可解释性。增强微调RA-DIT实现了对大模型和检索器的双指令微调，RAFT。
微软重磅开源 GraphRAG：新一代 RAG 技术来了！
musicml的博客
07-07 5813
▼最近直播超级多，预约保你有收获今晚直播：《RAG/Dify 构建企业案例实战》—1—为什么需要 GraphRAG？7月3日，微软重磅开源了基于图的 RAG -- GraphRAG。在 GitHub 上发布后，短短4天时间，该项目迅速获得了 6000 Stars！足见这个项目的热度！Github 地址：https://github.com/microsoft/graphrag强化主流大模型，比...
面向 RAG 的未来：深入探索微软 GraphRAG 技术
m0_59235945的博客
07-12 1196
GraphRAG 是对传统 RAG 的进化。它解决了传统 RAG 系统的关键局限。传统 RAG 依赖向量相似性搜索。GraphRAG 走得更远。它将整个数据集构建成丰富、结构化的知识图谱。GraphRAG 的核心是其 LLM 生成的知识图谱。首先，实体和关系提取。大语言模型处理整个数据集。它在自定义提示的指导下提取实体和关系。这些构成了图结构的基础。接下来是图构建。实体成为节点。关系形成边。像 NetworkX 这样的图库可能会创建这个基础结构。然后，社区检测算法开始工作。
GraphRAG = 知识图谱 + RAG，优化全局搜索+局部搜索
Debroon
07-01 3796
基于社区的多层次摘要策略。类似于医学综述文章，从概括性的疾病描述到具体的治疗案例详细讲述，Graph RAG通过从不同层次生成摘要，提供从广泛到具体的多维度信息视角。之所以使用多层次的社区摘要生成，是因为不同层次的摘要可以满足从一般到特定的不同查询需求，提供不同深度的信息视角，帮助用户更好地理解复杂的医学问题。这些子解法形成了一种链条的逻辑链，每个子解法都依赖于前一个解法的输出作为其输入，形成一个高效、层次分明的查询和分析流程，类似于医学诊断和研究中的步骤分解和逐级深入的方法。
知识图谱检索增强的GraphRAG(基于Neo4j代码实现）
2401_84206094的博客
07-08 4148
对一个查询问题分别进行了测试, 与没有RAG，仅利用LLM生成回复的情况进行对比，在有GraphRAG 的情况下，LLM模型回答的信息量更大、准确会更高。
GraphRAG 详解
m0_59164520的博客
07-24 1901
以 ChatGPT 为代表的大语言模型出圈后，企业级 LLM 的应用也越来越热，这其中一大部分应用都使用了 RAG 技术。传统 RAG 技术在某些场景下，可能存在以下几个问题，即使使用高级 RAG 方法通常也较难克服。1. 效率问题：基于向量的搜索方法采用数学方法，如聚类，树形结构或 HNSW 等近似最近邻算法，这些方法在处理极高维度数据，或非常复杂的信息结构时效果不好。另外，ANN 搜索算法如 HNSW 虽然可以提高效率，但构建和维护索引通常需要大量的计算资源。
项目管理：掌握全局的关键
同时，项目管理公司也如雨后春笋般涌现，为市场提供专业的项目咨询服务。 在实际操作中，项目管理的成功往往取决于以下几个关键因素： 1. 明确的项目目标和范围定义。 2. 细致的项目计划，包括时间、成本和质量的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值