MemoRAG：通过受记忆启发的知识发现迈向下一代RAG

最新推荐文章于 2024-11-11 20:35:54 发布

江湖人称麻花滕

最新推荐文章于 2024-11-11 20:35:54 发布

阅读量696

点赞数 30

文章标签：大数据 hadoop spark transformer 深度学习

本文链接：https://blog.csdn.net/m0_59235699/article/details/142643720

版权

今天分享的是一篇由北京人工智能研究院与中国人民大学高瓴人工智能学院联合发布的文章：

MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY

MemoRAG：通过受记忆启发的知识发现迈向下一代RAG

论文链接: https://arxiv.org/abs/2409.05591

代码地址：https://github.com/qhjqhj00/MemoRAG

摘要

本篇文章介绍了一种新型的检索增强生成模型——MemoRAG。MemoRAG 采用双系统架构：一方面，它使用轻量但长距离的 LLM 形成数据库的全局记忆。当任务出现时，它生成草稿答案，引导检索工具定位数据库中的有用信息。另一方面，它利用一种复杂但表达能力强的 LLM，根据检索到的信息生成最终答案。它解决了现有 RAG 系统在处理模糊信息需求和非结构化知识方面的局限性。实验表明，MemoRAG 在复杂和简单任务中均表现出色。

方法

在这里插入图片描述

上图展示了标准RAG与MemoRAG在处理需要对整个数据库进行深入理解的查询时的比较。在左图中，由于输入查询的隐式性质，标准RAG难以准确定位所需的上下文，从而导致答案不太准确。在右图中，MemoRAG框架引入了一个智能接口，将任务与数据库中的相关知识连接起来。对于每个给定的任务，MemoRAG 会通过记忆模块生成检索线索。这些线索本质上是基于数据库压缩表示（即记忆）生成的草稿答案。尽管可能包含一些错误的细节，但这些线索能够明确揭示任务的底层信息需求。通过将这些线索作为查询，MemoRAG 能够有效地从数据库中检索必要的上下文，从而得出精确而全面的答案。

根据上述机制，记忆模块需要具备以下两点能力：

1 保持性：能够记住整个数据库的全局信息；
2 指导性：能够提供有用的线索以全面检索所需知识。

因此，作者引入了双系统架构，使用轻量的 LLM 作为记忆模块，重型 LLM 用于执行检索增强生成。

MemoRAG框架的工作过程可以表示为：

其中和分别表示生成模型和检索模型。( ) 代表输入查询，( ) 是从相关数据库 ( ) 中检索到的上下文， ( ) 是最终答案，( ) 代表一个可能不完整或缺乏细节的暂定答案，作为一组答案线索，指导从 ( ) 中检索最相关的上下文。

下面将详细介绍每一阶段：

生成线索：

在获取到问题与数据库后，采用记忆模型作为输入查询和相关数据库之间的语义桥梁生成有助于检索的线索。

检索相关文档：

在获取到优化后的检索线索后，通过检索模型在数据库中搜索相关的上下文。

生成答案：

在获取到问题与相关的上下文后，采用生成模型生成最终回答。

实验

在这里插入图片描述

本篇文章在三个基准上使用了三种不同的生成器（Llama3-8B-Instruct-8K、Phi-3-mini-128K、Mistral-7B-Instruct-v0.2-32K）测试了MemoRAG的性能，结果表明 MemoRAG 在各种数据集和查询类型上显著提升了标准 RAG 方法和其他基线的性能。

总结

MemoRAG区别于传统RAG系统，它通过引入记忆模块实现对数据库的全局理解，并回忆与查询相关的线索，从而提升检索的准确性和上下文丰富度。这一设计显著增强了MemoRAG在处理复杂任务、模糊信息需求以及非结构化知识时的表现，展示了在处理复杂推理和长文档任务中的巨大潜力，适用于多领域的实际应用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述