AI多模态论文解读：LLaVA-CoT：让视觉语言模型逐步推理

本文作者：AIGCmagic社区 猫先生

---

 一、简 介

LLaVA-CoT引入了四个不同的阶段（摘要、标题、推理和结论），使模型能够独立进行系统化的多阶段推理，显著提高了在推理密集型任务上的准确性。

编译了LLaVA-CoT-100k数据集，整合了来自各种视觉问答来源的样本，并提供了结构化的推理注释，为训练提供了丰富的数据支持。

提出一种新的推理时阶段级束搜索方法，能够在每个阶段生成多个候选结果并选择最佳结果继续生成过程，实现了有效的推理时扩展。

通过监督微调，LLaVA-CoT不仅在广泛的推理基准上超越了其基础模型，还超过了更大且闭源的模型，如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。

​

图1. LLaVA-CoT和其他模型在六个多模态推理基准测试中的性能。尽管LLaVA-CoT是从Llama-3.2-11B-Vision-Instruct模型中微调而来的（该模型的平均分数最低），但它胜过了许多更大的开源模型，甚至一些闭源模型

---

二、引 言

大语言模型在推理能力上取得了显著进步，特别是在推理时间扩展方面，如OpenAI的o1所示。然而，当前的视觉语言模型（VLMs）往往难以进行系统和结构化的推理，尤其是在处理复杂的视觉问答任务时。

本文要解决的问题是如何提升视觉语言模型（VLMs）在处理复杂视觉问答任务时的系统性结构化推理能力。

现有的VLMs在推理过程中缺乏系统性和结构性，导致在复杂推理任务中频繁出现错误和幻觉输出；如何有效地进行推理时间扩展，以应对更复杂的任务和场景。