深度解析仿人脑记忆搜索的HippoRAG2，全面对比GraphRAG、KAG、LightRAG和PIKE-RAG，成本缩减12倍

最新推荐文章于 2025-04-29 20:41:49 发布

小马不会过河

最新推荐文章于 2025-04-29 20:41:49 发布

阅读量936

点赞数 19

文章标签：神经网络人工智能深度学习知识图谱学习

本文链接：https://blog.csdn.net/m0_59163425/article/details/146067226

版权

持续获取、组织和利用知识的能力是人类智能的关键特征，而 AI 系统若想充分发挥潜力，也必须具备这一能力。近期，一些 RAG 方法通过引入知识图谱等结构来增强对信息的理解和联想能力，部分弥补了这些不足。然而，这些增强方法在基础事实记忆任务上的表现通常远逊于标准 RAG。HippoRAG 2[1] 基于 HippoRAG 采用的 个性化 PageRank（Personalized PageRank, PPR）算法，并进一步优化了信息整合方式，同时增强了 LLM 在在线检索中的作用。

本文首先解析 HippoRAG 2 的设计思路，并通过在数据集上对比 GraphRAG、LightRAG、KAG 和 PIKE-RAG，展示其在知识检索中的独特优势，并讨论 hipporag2 的成本优势！欢迎关注与分享，共同探索 RAG 技术的新边界！

1. 系统架构

为了全面理解 HippoRAG2，我们首先回顾一下《HippoRAG 1》代。它是一个受神经生物学启发的大语言模型长期记忆框架，其各个组件均旨在模拟人类记忆的不同侧面。该框架主要由三个部分构成：人工新皮层（LLM）、旁海马区域（PHR 编码器）以及人工海马（开放知识图谱，Open KG）。这三部分协同工作，再现了人类长期记忆中各信息模块间的相互作用。

在 HippoRAG 的离线索引阶段，LLM 将文段处理为知识图谱三元组，并将其整合到人工海马索引中；同时，PHR 负责检测同义关系以实现信息互联。在在线检索阶段，LLM（作为人工新皮层）从查询中抽取命名实体，而 PHR 编码器则将这些实体链接到海马索引上。随后，对知识图谱应用个性化 PageRank（PPR）算法，进行基于语境的检索。尽管 HippoRAG 试图通过非参数 RAG 构建记忆，但其效果受到一个关键缺陷的制约——以实体为中心的方法在索引和推理过程中导致语境信息的丢失，并且在语义匹配上存在困难。

基于 HippoRAG 所提出的神经生物学启发的长期记忆框架，HippoRAG 2 在结构上遵循类似的离线索引与在线检索两阶段流程，但在此基础上引入了几个关键改进，以更好地契合人类记忆机制：

它能够无缝整合开放知识图谱中的概念信息与语境信息，提升索引的完整性和粒度；
它利用知识图谱结构中超出单一节点的信息，促进了更具语境敏感性的检索；
它引入了识别记忆机制，以改善图搜索中种子节点的选择。

2. 离线索引

HippoRAG 2 利用 LLM 从文本中抽取三元组，并构造一个无模式的知识图谱，同时通过向量相似性进行同义词检测，将相似概念连接起来，即去重消歧，这是一个非常好的消歧思路，而且还实现了；同时，每个文档被视作一个“通道节点”，与其中的概念节点通过“包含”关系相连，从而实现概念与语境的融合。

注意它不需要对 Prompt 进行任何微调，完全根据大模型自动识别三元组，就能够适应任何领域的 QA。你可以看到它只需要通过 LLM 提取三元组，通过 Embedding 完成消歧，因此成本下降在这里！而消歧好坏，在于 Emebdding 模型，论文中使用 NVIDIA 开源的NV-Embd-v2，它是基于Mistral-7B-v0.1[2]改进而来。对于中文，或许我们可以考虑使用Alibaba-NLP/gte-Qwen2-7B-instruct[3]。

3. 在线检索

编码器将查询与相关的三元组及文段进行关联，从而识别出图搜索的潜在种子节点。在三元组关联过程中，识别记忆机制作为过滤器发挥作用，确保仅保留与查询高度相关的三元组。给定种子节点后，基于 PPR 算法进行语境感知检索，精细筛选最相关文段，进一步细化关联结果以选取最相关的文段。最终，检索到的文段作为问答任务的上下文输入。整个流程下图所示。

4. 数据集表现对比

在论文中，比较RAPTOR[4]、GraphRAG[5]、LightRAG[6]和 HippoRAG 1 代，我参考了KAG 论文[7]、PIKE-RAG[8]论文制作了以下表格，方便比较，以下分数都是 F1（权衡召回与精确率的一种调和分数）。

在这里插入图片描述

由于不同的论文中，采用的模型不同，分数上有个别差距的，我认为问题不大，依然具有参考性！

令我意外的是，LightRAG 在这些数据集上的表现远低于预期。可以看到，HippoRAG2 在 HotpotQA、2Wiki、MuSiQue 三个数据集上的表现均优于 GraphRAG，接近甚至超越 KAG 和 PIKE-RAG，同时其成本远低于 GraphRAG。但 HippoRAG2 的成本更低！

5. 12 倍成本下降！

相较于昂贵的 GraphRAG，HippoRAG2 在具有更高准确率的基础上，成本下降 12 倍，据此可以推断耗时下降只会比 12 倍更高，什么概念，原来要 GraphRAG 可能要 2 个小时的，而 HippoRAG 现在可能只需要 10 分钟！！！PIKE-RAG 的成本从论文上来看，成本只会更高。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述