前言
今天我们将探讨一篇RAG的论文，主题是大模型的非参数化持续学习框架——HippoRAG 2。该研究针对大模型在吸收新知识和避免灾难性遗忘方面的挑战，提出了一种新的方法，模拟人类长期记忆的动态性和关联性。HippoRAG 2在事实记忆、语义理解和关联记忆任务上的表现好于标准检索增强生成（RAG）方法，为大模型的持续学习提供了新的可能性。
1. 基本信息
- 论文标题《从RAG到记忆：大模型的非参数化持续学习》（From RAG to Memory: Non-Parametric Continual Learning for Large Language Models）
- 作者包括Bernal Jiménez Gutiérrez、Yiheng Shu、Weijian Qi、Sizhe Zhou和Yu Su，分别来自俄亥俄州立大学（The Ohio State University）和伊利诺伊大学厄巴纳-香槟分校（University of Illinois Urbana-Champaign）。
- GitHub地址为**https://github.com/OSU-NLP-Group/HippoRAG**。
2. 研究背景
近年来，大模型在自然语言处理领域取得了显著进展，涵盖从对话生成到复杂推理的多种任务。但在持续学习方面，大模型仍面临较大挑战。
其他持续学习方法通常分为三类：持续微调、模型编辑和RAG。
- 持续微调（Continual fine-tuning）涉及定期用新数据对大型语言模型进行训练。可以通过像持续预训练、指令微调和对齐微调等方法实现。虽然整合了新的语言模式和推理技能，但持续微调受到灾难性遗忘的影响，即随着新数据的引入而丢失先前学到的知识。此外，其计算费用使得频繁更新对现实世界的应用来说也不具备可操作性。
- 模型编辑技术（Model editing）提供了一个更轻量级的替代方案，通过直接修改模型中的特定参数来更新其知识。然而，这些更新高度局部化，对与更新相关联的信息影响很小。
- 检索增强生成（Retrieval-Augmented Generation）作为连续学习的一个可扩展且实用的替代方案。与其修改大型语言模型（LLM）本身，不如在推理时检索相关的外部信息，允许实时适应新知识。
总的来说，传统方法如持续微调和模型编辑试图通过更新参数来融入新知识，但往往因灾难性遗忘和高计算成本而受限。例如，实验表明，持续微调可能导致模型遗忘早期训练数据中的知识，而模型编辑的更新效果通常局限于局部，难以全面关联相关信息。检索增强生成（RAG）因其非参数化特性成为解决这一问题的热门方案，通过在推理时检索外部信息，避免直接修改模型参数。但标准RAG依赖向量检索，难以捕捉人类长期记忆中的语义理解和关联性，特别是在处理多跳推理或长篇语篇时表现不足。
针对这些局限性，近年来的研究提出了多种结构增强的RAG方法。例如，RAPTOR通过生成摘要整合信息，GraphRAG则利用知识图谱（KG）增强检索过程。尽管这些方法在语义理解或关联性任务上有所改进，但实验表明，它们在基本事实记忆任务上的性能下降，未能实现全面的记忆能力。HippoRAG 2的研究动机源于此，旨在设计一种框架，既能保持事实记忆的准确性，又能提升语义理解和关联记忆的深度，从而更接近人类长期记忆的动态特性。
GraphRAG是一种利用知识图谱增强检索增强生成（RAG）的方法，旨在通过结构化数据提升大模型的全局理解和推理能力。该方法通过大模型从源文档中提取实体、关系和声明，构建一个实体知识图谱。这种图结构不仅捕捉了实体间的直接关系，还通过社区检测技术识别出实体群组，生成社区摘要以提供高层次的语义信息。在检索阶段，GraphRAG利用图的结构信息进行上下文感知的检索，能够处理需要跨整个数据集进行信息汇总的复杂查询。相较于传统的RAG方法，GraphRAG在处理全局性问题时表现出色，能够生成更连贯和全面的回答，特别适用于需要深入语义理解的场景。
LightRAG是一种将图结构融入文本索引和检索过程的RAG系统，旨在提升大模型在处理复杂查询时的效率和准确性。该方法采用双层检索框架，结合低级和高级知识发现，增强了信息检索的全面性。通过将图结构与向量表示相结合，LightRAG能够高效检索相关实体及其关系，显著提高响应速度，同时保持上下文的相关性。此外，LightRAG引入了增量更新算法，确保系统能够及时整合新数据，适应快速变化的数据环境。实验表明，LightRAG在多个领域的数据集上超越了传统RAG和GraphRAG，尤其在处理大规模语料库和复杂查询时表现出色，提供了更准确和多样化的回答。
3. 方法（重点内容）
HippoRAG 2的提出源于标准RAG和现有改进方法在模拟人类记忆方面的不足。标准RAG依赖向量检索，虽然简单高效，但无法处理复杂的上下文关联；而结构增强方法虽有所进步，但牺牲了事实记忆的性能。基于此，HippoRAG 2在前作HippoRAG的基础上，结合个性化PageRank（PPR）算法、深入的段落集成和有效的在线大模型使用，构建了一个更强大的非参数化持续学习框架。这一框架通过离线索引和在线检索两个阶段实现，其设计灵感来源于人类大脑的神经机制。
离线索引
在离线索引阶段，HippoRAG 2首先利用大模型从每个段落中提取开放三元组（如(subject, relation, object)），并将其整合到一个无模式的开放KG中。KG包含两类节点：
- 短语节点（phrase nodes），代表概念；
- 段落节点（passage nodes），保留上下文信息。
此外，通过编码器检测短语间的同义关系并添加同义边（synonym edges），实现跨段落的信息互联。段落节点通过"contains"边与从中提取的短语节点相连。这种设计借鉴了大脑的密集与稀疏编码理论，其中短语节点类似稀疏编码，提供简洁的概念表示，而段落节点类似密集编码，保留丰富的上下文细节。最终，KG整合了概念的原子性和上下文的全面性，为后续检索奠定了基础。
在线检索
在线检索是HippoRAG 2的核心，分为以下步骤：
- 通过"Query to Triple"过程，编码器将查询与KG中的三元组匹配，识别潜在种子节点。与HippoRAG依赖NER（命名实体识别）不同，HippoRAG 2直接匹配整个查询，捕获更丰富的上下文。
- 通过"Recognition Memory"机制，大模型过滤检索到的三元组，仅保留与查询高度相关的部分，模拟人类记忆中的识别过程，减少噪声干扰。
- 利用个性化PageRank（PPR）算法在KG上进行上下文感知检索。PPR通过随机游走计算节点的重要性，公式如下：
其中，是节点的PageRank分数，是阻尼因子（通常设为0.5），是连接到的节点集合，是的出度。PPR通过种子节点的个性化初始化，发现多跳关联的段落。 - 根据PageRank分数对段落排序，选出得分最高的段落用于下游任务。
与现有方法的对比
与标准RAG相比，HippoRAG 2通过KG和PPR实现了关联性推理，而非仅依赖向量相似性。与GraphRAG等方法不同，其KG直接辅助检索而非扩展语料库，避免了生成噪声的干扰。相较于HippoRAG，HippoRAG 2通过段落节点的整合和识别记忆机制，显著提升了上下文感知能力。
4. 实验与发现
HippoRAG 2的实验在多个基准数据集上进行，包括：
- 简单QA任务：NaturalQuestions、PopQA；
- 多跳QA任务：MuSiQue、2Wiki、HotpotQA、LV-Eval；
- 语篇理解任务：NarrativeQA。
这些数据集覆盖事实记忆、语义理解和关联记忆三个维度，样本数量从124到1000不等，语料库段落数在4111到22849之间（详见论文Table 1）。评估指标包括检索任务的Recall@5和QA任务的F1分数，实验使用Llama-3.3-70B-Instruct作为提取和过滤模型，NV-Embed-v2作为检索器，确保结果的可重复性。
实验表明，HippoRAG 2在所有基准上均好于基线方法。以下是部分关键数据（论文Table 2和Table 3）：
- 在简单QA任务中，HippoRAG 2在NaturalQuestions上的F1分数为63.3，PopQA为56.2，略高于NV-Embed-v2的61.9和55.7；
- 在多跳QA任务中，其在MuSiQue上的Recall@5为74.7（比NV-Embed-v2高5.0%），2Wiki为90.4（高13.9%），HotpotQA为96.3；
- 在语篇理解任务NarrativeQA上，F1分数达25.9，表现最好。
这些数据表明，HippoRAG 2在保持事实记忆能力的同时，显著提升了关联性和语义理解能力。
进一步分析显示，HippoRAG 2的优越性具有统计显著性。例如，在减少知识泄漏的挑战性数据集LV-Eval上，其F1分数为12.9，远高于NV-Embed-v2的7.8，凸显了其在复杂场景中的鲁棒性。对比HippoRAG，其改进版本在多跳任务上的提升尤为明显，验证了方法设计的有效性。
5. 结论与展望
HippoRAG 2通过整合个性化PageRank算法、段落节点和识别记忆机制，成功构建了一个接近人类长期记忆的RAG框架。其核心贡献在于实现了事实、语义和关联记忆的全面提升，为大模型的非参数化持续学习提供了新范式。实验表明，该框架在多种任务中表现出色，尤其在多跳推理和语篇理解方面具有显著优势
HippoRAG 2的研究方向值得进一步探索。例如，将episodic memory融入框架，可能实现对话中的动态记忆能力，推动大模型在长时交互中的应用。此外，结合领域自适应技术，HippoRAG 2有望在特定场景（如法律、医疗）中展现更大潜力，为AI的实用化迈出重要一步。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！
在这个版本当中：
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
五、AI产品经理大模型教程
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
扫一扫
253
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
