论文浅尝 | HippoRAG：神经生物学启发的大语言模型的长期记忆（Neurips2024）

最新推荐文章于 2025-03-27 15:30:00 发布

小天才学习机打游戏

最新推荐文章于 2025-03-27 15:30:00 发布

阅读量973

点赞数 13

文章标签：语言模型搜索引擎人工智能知识图谱金融剪枝自然语言处理

本文链接：https://blog.csdn.net/m0_59164520/article/details/144676150

版权

笔记整理：陈少凯，浙江大学硕士生，研究方向为知识图谱、RAG

论文链接：https://arxiv.org/pdf/2405.14831

1. 动机

虽然近年来大语言模型（LLM）的研究取得了很大进展，但持续更新的长时记忆在当前的人工智能系统中仍然有明显缺陷。检索增强生成（RAG）已经成为LLMs长时记忆的解决方案，然而，当前的RAG方法仍不能帮助LLM执行需要跨段落边界集成新知识的任务，因为每个新段落都是孤立编码的。

许多重要的现实世界任务，例如科学文献综述、医学诊断等任务，需要跨段落或文档的知识集成。为了解决此类任务，当前的RAG系统采取迭代地使用多个检索和LLM生成步骤来连接不同的段落。相比之下，人脑能够相对轻松地解决这些具有挑战性的知识整合任务。

2. 贡献

本文的核心贡献主要如下：

（1）首先，提出了一种RAG框架HippoRAG，通过模仿人类记忆来作为LLM的长期记忆。

（2）其次，HippoRAG协同LLM、知识图谱和个性化PageRank算法，以模拟新皮质和海马体在人类记忆中的不同作用。

（3）最后，HippoRAG在多跳问答任务中优于现有的RAG方法，使用HippoRAG的单步检索实现了与IRCoT等迭代检索相当或更好的性能。

3. 方法

模型的整体架构如下：

主要分为两个阶段，具体如下：

（1）离线索引阶段：索引阶段类似于记忆编码的过程，包括使用指令微调的LLM和检索编码器来处理一组段落。具体来说，从每个段落中提取一组命名实体，然后将命名实体添加到OpenIE提示符中，以提取最后的三元组。

（2）在线检索阶段：检索阶段类似于人脑的记忆检索过程，这三个相同的组件然后被用来通过镜像人脑的记忆检索过程来执行在线检索。正如海马体接收通过新皮层和PHR处理的输入一样，我们的基于LLM的新皮层从查询中提取一组查询命名实体。然后，这些命名实体根据检索编码器确定的相似性链接到KG中的节点;我们将这些选定的节点称为查询节点。一旦查询节点被选中，它们就成为我们的合成海马体执行模式完成的部分线索。在海马体中，海马指数元素之间的神经通路使相关的邻近区域被激活并被上游召回。为了模仿这种高效的图搜索过程，我们利用了个性化PageRank算法，汇总先前索引的段落的输出PPR节点概率，并使用该概率对它们进行检索排序。

4. 实验

该实验主要在两个多跳QA benchmark（MusiQue和2WikiMultiHopQA）以及HotpotQA数据集上评估HippoRAG的检索能力；为了限制实验成本，从每个验证集中提取了1000个问题，三个数据集的具体信息如下所示：

单步检索性能比较：

多步检索性能比较：

消融实验（不同抽取方法）：

5. 总结

本文提出的神经生物学原理的方法HippoRAG，虽然简单，已经显示出克服标准RAG系统的固有局限性，同时保留其参数记忆的优势。HippoRAG的知识集成能力，为LLM的长时记忆提供了可信的解决方案。然而，在未来的工作中可以解决目前工作的一些限制，使HippoRAG能更好地实现这一目标，比如通过执行特定组件微调来提高本方法的实际可行性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述