一文读懂GraphRAG大模型知识图谱

最新推荐文章于 2025-03-27 16:30:45 发布

程序猿李巡天

最新推荐文章于 2025-03-27 16:30:45 发布

阅读量1.1k

点赞数 22

文章标签：知识图谱人工智能语言模型音视频图像处理搜索引擎

本文链接：https://blog.csdn.net/m0_59235945/article/details/143526077

版权

大模型知识图谱是指将大型语言模型（LLM）与知识图谱技术相结合的一种技术手段，旨在利用知识图谱的结构化知识来增强大模型在自然语言处理任务中的表现。知识图谱通过将信息表示为实体（节点）和关系（边）的网络，模仿了人类结构知识的组成方式，不仅能捕获原始信息，还能捕获跨越多个文档的高阶关系，并具备强大的推理能力。

GraphRAG是一种利用知识图谱增强检索增强生成的技术。它通过以下几个步骤来提升大模型的性能：

创建领域图谱和词汇图谱：领域图谱用于表示与特定应用领域相关的世界模型，而词汇图谱则用于表示文本的结构和语义关系。
利用LLM从非结构化数据中提取实体和关系：GraphRAG利用LLM的自然语言理解能力，从非结构化数据中自动提取实体、关系以及它们的属性，并将其用于构建知识图谱。
将知识图谱与向量索引结合，进行更精准的语义搜索：GraphRAG将知识图谱中的结构化信息与向量索引中的语义信息相结合，可以更精准地理解用户查询背后的意图，并检索到更相关的文本片段。
利用图遍历和推理能力，提供更完整、上下文相关的答案：GraphRAG可以根据知识图谱中的关系路径进行图遍历和推理，从而获得更完整、上下文相关的答案，而不仅仅是简单地拼凑文本片段。…

很多技术厂商都曾认为，大语言模型的到来会给“知识图谱”技术带来“替代性”的威胁，毕竟二者都是服务于知识，服务于文本。当和一些做AI方面技术公司洽谈项目时，对方一听到我们还在用“知识图谱”这样的技术，竟无意间表现出一丝轻蔑。认为AIGC时代，大模型可以做任何事，不再需要任何“过时”的AI技术了。

这种反应并不奇怪，因为大模型在出现以来，一直被宣传得很“热闹”。人们在热情的驱动下，总是容易高估新技术的能力。

有时候，客户在不完全了解的情况下，也会如此。有了一些新需求，动不动就直接给建议，“这东西大模型应该可以做，一点也不难，马上部署一套吧”。

其实，从本质上来看，大模型和其他任何AI模型没有任何值得区别对待的，所有的AI技术模型都是“平等”的关系。不同技术有不同的技术特点，适用于不同的业务场景，“数字化转型”也不会厚此薄彼。知识图谱技术和大模型技术虽然都面向知识服务，但是定位完全不同。

知识图谱是用符号表示知识，内容严谨、结构化强，能够对复杂的数据关联进行记录，适合于推理类任务。

大模型是用向量表示知识，语义信息丰富，支持高效检索和各类数据格式的输入和生成，适合交互类任务。

大模型技术能够更好地理解用户需求，帮助用户完成数据分析结论的总结生成，但是这种“端到端”的技术策略，并不符合“透明化”的数据服务运营理念。仅依靠大模型本身获得业务结论，对于用户来说风险太大了。“里面是个黑盒，如果答案不是我想要的，我就不用了”。这也是大模型相关的技术产品为什么留存率低的问题。

用户对大模型的评价过于随机，换个场景，换个提问方式，效果可能立刻就会大打折扣。模型即服务，这是所有从事大模型技术创新者都希望实现的理念。希望交付的模型本身就可以直接拿来应对各式各样的问题。

这种“大一统”的技术愿景，仍然任重道远。每个行业，每个业务条线的底层运行逻辑和专业性要求都不一样。

我们需要为不同的业务需求各自搭建知识框架以及对应的知识库，如果是知识图谱这种用“明文”表示的结构，则更加利于管理和维护，让更多业务人员参与到知识管理与加工的数字化的进程中。知识图谱可以更好地对业务对象和业务过程进行表示，整个业务推理的过程是“透明化”、“可控的”。

如果AI结果非预期，也可以通过知识图谱的记录以及查询策略的修改，来有针对性地改进，这符合一个面向数据治理的完整PDCA闭环逻辑。

当前主流的AI产业落地思想是：大模型与知识图谱以及和其他传统AI技术框架的关系，应该是柔性协同的关系，而非完全替代的关系。

大模型负责从用户侧解析需求，对需求进行分发和路由，在具体的AI处理节点上，还是移交给特定的Agent来处理：比如针对图数据库的查询和推理，甚至基于传统的回归模型或决策树的预测。

这样做一方面充分利用了企业现有的知识和技术资源，同时，也降低了大模型技术的构建和应用门槛（须认识到，大模型本质是个半成品，无法直接解决业务问题）。

同时，大模型也负责把来自各Agent的数据结论进行重新编排和总结输出。“分而治之”的思想永远是不过时的，一个复杂的任务得以分解成多个AI单元进行操作，而大模型只需要完成它自身的技术使命。

微软提出的GraphRAG项目备受关注。该项目的主要目的是通过改进信息检索和整理的方式，提升企业知识库的实用性和响应速度。

GraphRAG的核心理念在于提前整理和构建知识图谱，并将信息关联起来，以便于快速回答具体或宏观的问题。传统上，RAG（Retrieval-Augmented Answer Generation）方法在处理具体问题时表现良好，能够直接在知识库中检索出包含答案的段落，并进行融合生成回答。然而，对于宏观问题，如团队成就调查，RAG的效率和准确性则较差。这些问题要求获取散落在不同文档中的信息，并整合为连贯的答案。

GraphRAG 的工作原理是从索引文档中创建一个知识图谱，这些文档也被称为非结构化数据，例如网页。因此，当 GraphRAG 创建知识图谱时，它实际上是在创建一个“结构化”的表示，表示各种“实体”（如人、地点、概念和事物）之间的关系，使得机器就更容易理解这些关系。

GraphRAG 方法使用 LLM 在两个阶段构建基于图谱的文本索引：首先从源文档中推导出实体知识图谱，基于实体群体间的相关程度，创建称之为“社区”的一般主题（高层次）和更细化的主题（低层次）；然后，LLM 会对社区中的每一个主题进行总结，形成一个“数据的分层摘要”。回答问题时，则使用每个社区摘要（Community summary）生成部分回应，之后将所有部分回应再次总结为最终的用户回应。这样，聊天机器人就能够更多地基于知识（即社区摘要）来回答问题，而不是依赖嵌入。

提取知识图谱：首先从原始文本创建“知识图谱”。知识图谱就像一个相互连接的内容实体网络，其中每个实体（或“节点”）都以有意义的方式与其他实体相连接。
建立社区层次结构：接下来，它将这些相互关联的内容实体组织成“社区”，将这些社区视为相关概念的集群。
生成摘要：对于每个社区，GraphRAG 都会生成摘要来概括要点。这有助于理解关键内容，而不会迷失在细节中。
利用图谱结构：当您需要执行涉及检索和生成信息的任务时，GraphRAG 会使用这种组织良好的图谱结构。

与 RAG 系统类似，整个 GraphRAG 管道可以分为两个核心功能组件：索引和查询。索引过程使用 LLM 来提取节点（如实体）、边（如关系）和协变量（如声明）。然后，它使用社区检测技术对整个知识图谱进行分区，并使用 LLM 进一步形成摘要。对于特定查询，它可以汇总所有相关的社区摘要以生成全局答案。

GraphRAG的主要优势在于其能够提供更准确、上下文相关且全面的答案，尤其在处理复杂信息和大型数据集上的问答和主题发现能力方面表现突出。与传统的仅基于向量的RAG方法相比，GraphRAG能够显著提高AI在这些领域的性能。此外，GraphRAG在连接分散信息、增强上下文理解和减少错误信息（幻觉）方面也展现出了其独特的优势。通过这种方式，GraphRAG不仅提升了大模型的可解释性，还增强了其在特定领域的应用能力。

GraphRAG通过构建知识图谱，将企业知识库中的相关信息进行分类和关联，形成层次结构。这种结构使得回答问题时，可以依据信息的相关性和层次性快速定位答案。同时，GraphRAG还引入了社区挖掘算法，进一步优化信息关联和聚合的过程。尽管GraphRAG具有显著的潜力，但其实际应用仍面临挑战。

首先是知识图谱的构建，这一过程需要大量的人工干预以去除噪声和进行校正。其次是计算资源的消耗，特别是在处理大型知识图谱时，计算复杂度较高。最后，新数据的加入需要频繁更新知识图谱，这可能要求从零开始构建整个图谱，带来额外的计算负担。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述