多模态RAG，ICLR 2025新突破！OmniSearch让检索效率提升80%！

多模态学习与检索增强生成（RAG）的结合是当前跨领域任务中的前沿研究方向，通过整合图像、文本、语音等多模态信息，弥补了单一模态的局限性。

最新研究表明，结合RAG能够有效提升多模态数据的检索与生成能力，利用生成模型和检索模块的协同作用，增强了对多模态信息的融合与处理效率。阿里巴巴团队提出的OmniSearch模型，通过动态检索规划框架，打破了传统多模态RAG的局限，显著提升了检索和生成的效率。

我整理了最新的10篇【多模态结合检索增强生成】的研究论文，全部论文PDF版，工中号【沃的顶会】回复“多模态RAG”即可领取~

Re-ranking the Context for Multimodal Retrieval

文章解析

论文提出了一种基于相关性评分（RS）的重排序方法，用于改进多模态检索增强生成（RAG）系统中的上下文选择。

通过替换传统的CLIP嵌入方法，RS能够更准确地选相关数据并减少无关信息的影响，从而提高生成响应的准确性和可靠性。

创新点

1.提出了基于RS模型的重排序方法，有效区分相关和不相关的多模态数据。

2.解决了CLIP在多模态检索中对通用内容过高的相似度评分问题。

3.引入了定量的相关性评分机制，增强了检索结果的质量和生成响应的准确性。

研究方法

1.设计了一个基于VLM的RS模型，通过细粒度训练评估查询与检索结果的相关性。

2.使用平衡的数据集训练RS模型，确保其能捕捉语义对齐和上下文相关性。

3.用COCO数据集验证RS方法在多模态RAG系统中的效果。

4.比较CLIP和RS在相似性评分上的表现，展示RS在区分相关和无关数据上的优势。

研究结论

1.RS模型显著提高了多模态RAG系统中相关上下文的选择质量。

2.相比CLIP，RS能够更有效地过滤无关数据，减少生成任务中的幻觉现象。

3.使用高级相关性度量可以提升多模态RAG系统的可靠性和生成响应的事实依据。

Unveiling the Potential of Multimodal Retrieval Augmented Generation with Planning

文章解析

本文提出了一种新型任务——多模态检索增强生成规划（MRAG Planning），旨在优化多模态大语言模型（MLLMS）性能，同时最小化计算开销。

通过引入CogPlanner框架和CogBench基准数据集，该研究解决了现有MRAG系统在信息获取与查询重构方面的局限性，并展示了显著提升的准确性和效率。

创新点

1.定义了多模态检索增强生成规划（MRAG Planning）这一新任务。

2.提出了受人类认知过程启发的CogPlanner框架，支持动态查询重构与检索策略选择。

3.开发了CogBench基准数据集，用于评估MRAG Planning任务并支持资源高效型MLLMs的微调。

研究方法

1.将MRAG Planning任务分解为信息获取和查询重构两个子任务。

2.设计CogPlanner框架，采用迭代方式完成查询重构与检索动作选择。

3.创建CogBench数据集，包含7000多个样本，用于训练和评估MRAG Planning模型。

4.结合GPT-40和人工标注，应用CoqPlanner进行多模态推理和生成任务。

研究结论

1.CogPlanner在多种MRAG方法上实现了超过15%的性能提升，且计算开销增加不足10%。

2.MRAG Planning能够有效应对多跳推理需求，提高系统对复杂查询的处理能力。

3.轻量级集成方案（如Qwen2-7b-VL-Cog）验证了资源高效型MLLMS在MRAG Planning中的可行性。