论文浅尝 | HippoRAG：神经生物学启发的大语言模型的长期记忆（Neurips2024）

笔记整理：陈少凯，浙江大学硕士生，研究方向为知识图谱、RAG

论文链接：https://arxiv.org/pdf/2405.14831

发表会议：Neurips 2024

1. 动机

虽然近年来大语言模型（LLM）的研究取得了很大进展，但持续更新的长时记忆在当前的人工智能系统中仍然有明显缺陷。检索增强生成（RAG）已经成为LLMs长时记忆的解决方案，然而，当前的RAG方法仍不能帮助LLM执行需要跨段落边界集成新知识的任务，因为每个新段落都是孤立编码的。

许多重要的现实世界任务，例如科学文献综述、医学诊断等任务，需要跨段落或文档的知识集成。为了解决此类任务，当前的RAG系统采取迭代地使用多个检索和LLM生成步骤来连接不同的段落。相比之下，人脑能够相对轻松地解决这些具有挑战性的知识整合任务。

2. 贡献

本文的核心贡献主要如下：

（1）首先，提出了一种RAG框架HippoRAG，通过模仿人类记忆来作为LLM的长期记忆。

（2）其次，HippoRAG协同LLM、知识图谱和个性化Page