一篇80页多模态RAG技术最新综述：MRAG3.0

本文链接：https://blog.csdn.net/m0_59164304/article/details/147339364

多模态检索增强型生成（Multimodal Retrieval-Augmented Generation, MRAG）通过整合多模态数据（如文本、图像和视频）来增强大型语言模型（LLMs）的能力，显著提高了生成的质量并减少幻觉，系统地回顾了MRAG进展、技术组件等。

一、MRAG的发展

三个阶段：MRAG1.0、MRAG2.0和MRAG3.0，每个阶段都引入了新的技术和架构。

MRAG1.0

MRAG1.0 的架构，通常被称为“伪MRAG”，与传统RAG非常相似，由三个模块组成：文档解析与索引、检索和生成。尽管整体流程基本保持不变，但关键区别在于文档解析阶段。在这个阶段，使用专门的模型将不同模态的数据转换为特定模态的描述。这些描述随后与文本数据一起存储，以便在后续阶段使用。

Refer to caption

文档解析与索引：将多模态文档转换为文本和图像描述，存储在向量数据库中。
检索：使用嵌入模型检索与查询最相关的文本和图像描述。
生成：将检索到的信息与用户查询结合，生成回答。

MRAG2.0

MRAG2.0 的架构通过文档解析和索引保留了多模态数据，同时引入了多模态检索和多模态大型语言模型（MLLMs）用于答案生成，真正进入了多模态时代。

Refer to caption

多模态检索：直接检索多模态数据，而不仅仅是文本描述。
多模态生成：利用多模态LLMs（MLLMs）生成答案，减少信息转换过程中的损失。

MRAG3.0

MRAG3.0 架构在文档解析和索引阶段整合了文档截图，以减少信息丢失。在输入阶段，它引入了一个多模态搜索规划模块，统一了视觉问答（VQA）和检索增强型生成（RAG）任务，同时优化了用户查询的精确性。在输出阶段，多模态检索增强型组合模块通过将纯文本转换为多模态格式来增强答案生成，从而丰富了信息传递。

Refer to caption

文档解析与索引：保留文档页面截图，减少信息丢失。
多模态检索增强型生成：在检索和生成过程中引入多模态数据，支持多模态输出。

二、MRAG的关键技术组件

详细介绍了多模态检索增强型生成（MRAG）系统的关键技术组件，能够有效整合多模态数据（如文本、图像、视频等）并提升生成任务性能的核心。

多模态文档解析与索引

多模态文档解析与索引是MRAG系统的基础，负责处理和组织多模态知识库中的文档数据，以便后续的检索和生成模块能够高效利用这些数据。文档可以是结构化、半结构化或非结构化的，解析方法也因文档类型而异。

文档类型分类：
- 非结构化多模态数据：如包含文本、图像、视频和音频的文档，缺乏固定格式或模式。
- 半结构化多模态数据：如PDF、HTML、XML等，具有一定的组织结构，但不如关系数据库那样严格。
- 结构化多模态数据：如关系数据库和知识图谱，数据按照预定义的格式排列。
解析方法：
- 提取式方法（Extraction-based）：从文档中提取多模态信息，然后进行解析和结构化存储。例如，使用OCR技术从图像中提取文本，或从HTML文档中提取结构化数据。
- 表示式方法（Representation-based）：将整个文档作为一个整体进行处理，生成文档的表示，而不是显式地提取多模态信息。这种方法可以减少信息丢失，但可能需要更多的计算资源。
多模态搜索规划

多模态搜索规划模块负责根据用户查询制定检索策略，以确定如何从多模态知识库中检索相关信息。这一模块需要考虑查询的多模态特性，并动态调整检索策略以适应不同的查询需求。

固定规划（Fixed Planning）：采用预定义的检索流程，不根据查询的具体内容进行调整。例如，始终使用文本检索或图像检索，而不考虑查询的实际需求。
自适应规划（Adaptive Planning）：根据查询的特性和上下文动态调整检索策略。例如，对于需要多模态信息的查询，可以同时检索文本和图像，或者根据查询的复杂性调整检索的深度和广度。
多模态检索

多模态检索模块负责从大规模知识库中检索与用户查询最相关的多模态文档。检索模块需要处理不同模态数据之间的语义对齐问题，并生成高质量的检索结果。

检索架构：
- 单/双流结构（Single/Dual-stream Structure）：单流结构将多模态数据融合到一个统一的语义空间中，而双流结构则分别处理不同模态的数据，通过对比学习对齐特征。
- 生成式结构（Generative Structure）：使用生成模型直接生成与查询相关的文档标识符（DocIDs），然后通过索引和检索这些标识符来获取相关文档。
检索方法：
- 稀疏检索（Sparse Retrieval）：基于词袋模型或TF-IDF等技术，通过关键词匹配来检索文档。
- 密集检索（Dense Retrieval）：使用深度学习模型生成文档和查询的密集向量表示，通过计算向量相似度来检索文档。

多模态生成

多模态生成模块负责根据检索到的多模态信息生成最终的答案。这一模块需要处理多模态输入，并生成包含多种模态数据的输出。

多模态输入（Multimodal Input）：生成模块需要能够处理来自不同模态的输入，如文本、图像、视频等，并将这些输入融合到一个统一的表示中。
多模态输出（Multimodal Output）：生成模块不仅需要生成文本答案，还需要能够生成与文本相关的图像、视频等多模态内容，以增强答案的表达力和信息量。

A Survey on Multimodal Retrieval-Augmented Generationhttps://arxiv.org/pdf/2504.08748

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述