哈工大最新多模态推理综述！Perception, Reason, Think and Plan-CSDN博客

点击下方卡片，关注“自动驾驶之心”公众号

哈尔滨工业大学的多模态推理模型综述，全面概述了迄今为止SOTA的推理大模型，并把推理模型的发展划分为四个阶段：

第一阶段：感知驱动的模块化推理——设计特定任务的推理系统
第二阶段：以语言为中心的简短推理——系统1推理
第三阶段：以语言为中心的长期推理——系统2思维和规划
第四阶段：迈向原生大型多模态推理模型（展望）

综述主页：https://github.com/HITsz-TMG/Awesome-Large-Multimodal-Reasoning-Models

文章摘要

推理是智能的核心，决定了做出决策、得出结论和解决问题的能力。近年来，大型多模态推理模型（Large Multimodal Reasoning Models, LMMs）在感知、推理、思考与规划等任务中展现出强大的能力。这些模型通过融合文本、图像、音频等多种模态的信息，能够处理复杂的现实世界问题，并在多个领域取得了显著的进展。本文对当前LMMs的研究进行了全面的综述，重点探讨了其在推理任务中的应用和发展趋势。

首先，我们回顾了LMMs的基本概念及其发展历程，介绍了关键的技术框架和方法。接着，文章详细分析了LMMs在不同领域的应用，包括视觉问答（VQA）、语音识别、情感分析、跨模态检索等。此外，还讨论了LMMs在实际应用中面临的挑战，如数据异构性、计算资源消耗、模型可解释性等问题。

为了更好地评估LMMs的性能，我们整理了一系列具有代表性的基准测试集，例如FLEUR、CoVoST2、MELD等，这些数据集涵盖了多种语言和任务场景。同时，我们也总结了最新的研究成果，展示了LMMs在未来的发展潜力，特别是在开放世界环境下的自适应性和泛化能力提升方面。

最后，本文提出了未来研究的方向，强调了构建更加高效、灵活且具备更强推理能力的LMMs的重要性。通过对现有工作的梳理与展望，希望为后续研究提供参考，推动LMMs在更多实际应用场景中的落地与发展。

大额新人优惠！欢迎扫码加入~

多模态推理范式的演变与探讨

文章主要划分为了四个阶段：

Stage 1: Perception-Driven Modular Reasoning - Designing Task-Specific Reasoning Systems
Stage 2: Language-Centric Short Reasoning - System-1 Reasoning
Stage 3: Language-Centric Long Reasoning - System-2 Thinking and Planning
Stage 4: Towards Native Large Multimodal Reasoning Model (Prospect)

多模态推理模型路线图

第一阶段：感知驱动的模块化推理-开发特定任务的推理模块

在多模态推理的早期阶段，有限的多模态数据、新兴的神经网络架构和不太复杂的学习方法等约束导致了针对特定任务量身定制的模型的开发。这些模型通常采用不同的模块来实现多模态表示、对齐、融合和推理。根据模型架构和学习方法，这些模型可以概括为模块化推理网络和基于预训练视觉语言模型（VLMs）的模块化推理。

第二阶段：以语言为中心的简短推理——系统1推理

随着大规模多模态预训练的出现，MLLM已经开始展现出紧急推理能力。然而，这样的推论往往很肤浅，主要依赖于隐含的相关性，而不是显式的逻辑过程。MCoT已成为一种简单而有效的方法来缓解这一限制。通过整合中间推理步骤，MCoT改善了跨模式对齐、知识集成和上下文基础，所有这些都不需要广泛的监督或重大的架构修改。在这个阶段，我们将现有的方法分为三种范式：基于提示的MCoT、具有预定义模式的结构推理和具有轻量级外部模块的工具增强推理。

第三阶段：以语言为中心的长推理-系统2思维和规划

虽然结构推理引入了预定义的模式来引导MLLM进行更系统的推理，但它仍然受到推理深度浅和适应性有限的限制。为了处理更复杂的多模态任务，最近的工作旨在开发System-2风格的推理。与快速和反应性策略不同，这种推理形式是深思熟虑的、组合的，并由明确的计划指导。通过扩展推理链，将其置于多模态输入中，并使用监督或强化信号进行训练，这些模型开始表现出长期推理和自适应问题分解。

面向原生多模态推理模型

LMRM在处理具有长思路的复杂任务方面表现出了潜力。然而，他们以语言为中心的架构限制了他们在现实世界场景中的有效性。具体而言，它们对视觉和语言模式的依赖限制了它们处理和推理交织的不同数据类型的能力，而它们在与动态环境的实时迭代交互中的性能仍然不发达。这些局限性强调了对一类能够进行更广泛的多模态集成和更先进的交互式推理的新模型的需求。

在本节中，我们首先分析了最先进的LMRM在旨在评估全模态理解和代理能力的基准上的性能，强调了它们在现实应用中的局限性。随后，我们介绍了原生大型多模态推理模型（N-LMRM）的概念，它通过两种基本能力代表了机器智能的范式转变：多模态代理推理和全模态理解和生成推理。最后，我们将讨论构建N-LMRM的开放挑战，并概述克服这些障碍的有前景的研究方向。

Dataset and Benchmark

在探索多模态推理模型的发展和优化过程中，已经提出了大量的任务和基准来进行经验能力评估和分析，以评估模型在各个方面的性能，例如视频理解和视觉推理。在本节中，我们根据能力将有助于促进多模式推理模型发展的现有数据集总结并分类为四种主要类型：（1）理解；（2）生成；（3）推理；（4）规划。然后，我们总结了这些基准或数据集的常用指标和评估方面。基准的设计具有特定的能力评估，我们将其分为四个主要类别，如图10所示，以及十一个子类别，如表9所示。