NLP论文速读|基于主动检索的渐进多模态推理

论文速读|Progressive Multimodal Reasoning via Active Retrieval

论文信息：

简介:

      本文探讨了多步多模态推理任务对于多模态大型语言模型（MLLMs）的挑战，特别是在提升这些模型在复杂推理场景中的表现方面。MLLMs在处理涉及数学推理和视觉问答等任务时，需要进行多步骤推理，每一步都可能产生多个分支和候选推理路径。有效地识别包含关键问题解决步骤的正确路径，同时排除错误路径，对于模型的推理能力至关重要。然而，现有的方法在推理路径扩展和模拟过程中存在局限性，尤其是在多模态场景中，模型内部知识不足以支持推理路径扩展，因为不同模态输入之间的交互常常出现错位。

      本文的动机在于现有的MLLMs在处理多模态复杂推理任务时，由于模型内部知识的不足，导致在推理路径扩展时遇到困难。此外，手动标注推理路径