Visual CoT：解锁视觉链式思维推理的潜能

引言
随着GPT-4、Gemini等大型语言模型（LLM）取得的显著成就，学术界正致力于将这些模型的卓越能力拓展至视觉理解领域，从而催生了LLaVA、SPHINX、Qwen VL等一系列多模态大型语言模型的涌现。这些模型能够从输入图像中提取视觉特征，但在处理复杂的视觉细节方面仍显力不从心，与人类能够动态聚焦于特定图像区域的能力相去甚远。

尽管CLIP、EVA2-CLIP、InternVL等多模态大型语言模型（MLLM）采用固定粒度的方法来处理图像，但模拟人类的推理过程却要求识别并放大关键图像区域，以便动态地调整上下文信息。目前，MLLM严重依赖文本数据，在处理多回合动态视觉输入和进行可解释推理方面存在明显不足。此外，现有的视觉问答（VQA）数据集缺乏中间视觉思维链（CoT）的监督信息，同时流行的MLLM框架又过度依赖于静态图像上下文输入，这无疑进一步加剧了这一挑战。

在此背景下，Visual CoT应运而生，它引入了一个包含438,000个样本的视觉CoT数据集。在这个数据集中，每个视觉问答对都配有一个边界框（Bounding Box），用以突出显示回答问题所必需的关键图像区域。该数据集还包含了98,000个问答对，这些问答对附带了详细的推理步骤，旨在逻辑地引导MLLM进行推理。Visual CoT通过聚焦于关键区域并提供逐步的可解释性，从而增强了视觉CoT推理的能力。

©️【深蓝AI】编译

论⽂题目：Visual CoT: Advancing Multi-Modal Language Models wi