【智能搜索新篇章】阿里OmniSearch挑战传统检索，AI响应超越文字界限的较量-CSDN博客

本文链接：https://blog.csdn.net/2401_85373898/article/details/143787223

今天给大家分享一篇阿里的文章，目前还在ICLR2025投稿中，真的很不错！

这篇论文提出了一种新的自适应规划代理OmniSearch，用于多模态检索增强生成（mRAG），并通过构建Dyn-VQA数据集展示了其在处理动态问题上的有效性。

论文: Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-Adaptive Planning Agent
链接: https://arxiv.org/pdf/2411.02937

研究背景

研究问题：这篇文章要解决的问题是如何有效地进行多模态检索增强生成（mRAG），以缓解多模态大型语言模型（MLLMs）中的“幻觉”问题。现有的启发式mRAG方法通常预定义了固定的检索过程，导致两个主要问题：非自适应检索查询和过载检索查询。
研究难点：该问题的研究难点包括：现有知识寻求视觉问答（VQA）数据集无法充分反映启发式mRAG在获取复杂知识时的刚性问题；动态问题的复杂性使得现有方法难以提供足够且精确的相关知识。
相关工作：该问题的研究相关工作有：Zhao等人（2024）提出的mRAG方法，Gao等人（2023）的研究，以及Bai等人（2024）的工作。这些方法虽然在某些VQA数据集上表现出色，但在处理动态问题时存在不足。

研究方法

这篇论文提出了自我自适应规划代理OmniSearch，用于解决多模态检索增强生成中的刚性问题。具体来说，

数据集构建：首先，构建了Dyn-VQA数据集，包含1452个动态问题，这些问题的答案会快速变化，需要多模态知识和多跳推理。
OmniSearch框架：OmniSearch的核心思想是模仿人类在解决问题时的行为，将复杂的多元模态问题动态分解为带有检索动作的子问题链。具体包括三个模块：

规划代理：负责制定子问题和后续检索动作。每个计划动作包括四个关键部分：自思、子问题、检索API和API查询。
检索器：执行实际的检索操作，包括网页搜索、带文本的图像搜索和带图像的图像搜索。
子问题求解器：根据检索内容总结并尝试回答子问题，然后将反馈提供给规划代理。

多模态检索增强生成：OmniSearch可以与任意MLLM配合使用，增强其解决复杂动态问题的能力。OmniSearch基于闭源的GPT-4V和开源的Qwen-VL-Chat分别开发了两个版本。

实验设计

数据收集：Dyn-VQA数据集通过专业AI研究人员手动标注，包含约1.5K个问题，覆盖9个领域，涵盖三种需要复杂动态检索的问题类型：答案快速变化的问题、需要多模态知识的问题和多跳问题。
实验设置：选择了几种先进的MLLMs作为骨干模型，包括Qwen-VL-7B-Chat、GPT-4V和Qwen-VL-Max。评估指标为自动化指标F1-Recall，计算模型生成响应与真实答案之间的公共令牌比率。
参数配置：使用LoRA进行参数高效微调，学习率为1e-4，权重衰减为0.1，训练批次大小为4，梯度累积步长为8，最大序列长度为8192。

结果与分析

主要结果：OmniSearch（GPT-4V）显著优于其他模型，包括最先进的MLLMs和商业生成搜索引擎。Qwen-VL-Chat基础的OmniSearch甚至超过了较大的GPT-4V配备的两步启发式mRAG。

不同领域的性能比较：在大多数领域中，OmniSearch的性能随着领域复杂性的增加而下降。例如，在交通领域，OmniSearch的表现不如基于GPT-4V的方法，主要是由于交通领域的长尾属性。
检索内容的影响：实验表明，检索内容的每一部分都对整体性能有贡献，尤其是图像标题对最终性能的提升最大。
不同评估指标的一致性：F1-Recall、GPT基础准确性和人类基础准确性三种评估指标之间存在正相关关系，F1-Recall作为自动化指标具有较低的计算成本和更好的可扩展性。

总体结论

这篇论文研究了多模态检索增强生成（mRAG），并提出了自我自适应规划代理OmniSearch，用于解决现有启发式mRAG方法中的刚性问题。通过构建Dyn-VQA数据集并进行广泛的实验，证明了OmniSearch的有效性，并指出了未来研究的方向，包括生成更人性化的搜索逻辑和改进检索技术。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述