港中文：描述和思考增强大模型的多模态认知

📖标题：Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs
🌐来源：arXiv, 2503.12303

🌟摘要

🔸尽管多模态大型语言模型（MLLM）具有令人印象深刻的能力，但它们面临着细粒度感知和复杂推理的挑战。由于收集思维链（CoT）推理数据以改进推理的成本极高，流行的多模态预训练方法侧重于通过训练高质量的图像标题来增强感知。虽然利用高级MLLM生成字幕可以提高可扩展性，但输出往往缺乏全面性和准确性。
🔸在本文中，我们介绍了自我改进认知框架（SICOG），这是一个自我学习框架，旨在通过使用自生成数据的多模式预训练来增强下一代基础MLLM的系统认知能力，从而构建下一代MLLM。具体来说，我们提出了描述链，这是一种通过逐步实现视觉理解来提高MLLM系统感知的方法，确保了更大的全面性和准确性。此外，我们采用结构化的CoT推理技术，使MLLM能够集成深入的多模态推理。为了构建具有自我改进认知能力的下一代基础MLLM，SICOG首先使用最少的外部注释为MLLM配备了系统的感知和推理能力。然后，增强的模型会生成详细的标题和CoT推理数据，并通过自一致性进行进一步策划。这些精心策划的数据最终用于多模式预训练，以开发下一代基础模型。
🔸在不同基准上对低分辨率和高分辨率MLLM进行的广泛实验表明，SICOG仅使用213K个自生成的预训练样本，就可以生产出认知能力显著提高的下一代基础MLLM，与流行的预训练方法相比，其性能领先于基准。项目地址为https://github.com/thunlp/SICOG

🛎️文章简介

🔸研究问题：当前多模态大语言模型（MLLM）在视觉理解和推理能力方面存在局限性，如何通过自我学习和系统化的方法来提升这些模型的认知能力？
🔸主要贡献：论文提出了SICOG框架，通过引入“描述链”（Chain-of-Description）和“思维链”（Chain-of-Thought）来增强MLLM的系统性多模态认知能力，进而提升其在视觉理解和推理任务中的表现。

📝重点思路

🔸 通过最小化注释数据集对MLLM进行微调，使其能够系统性地解释和整合多模态信息。
🔸 引入“描述链”方法，通过逐步分析和分解复杂场景来训练模型，以实现更深层次的视觉信息理解。
🔸 采用结构化的思维链方法，在预训练阶段引入思维链推理，以促进多模态信息的有效整合和深入分析。
🔸 通过自生成的数据进行多模态预训练，减少对外部注释的依赖，从而提高模型的自我改进能力。

🔎分析总结

🔸 实验结果表明，SICOG在提升系统性视觉理解方面显著提高了基础MLLM的准确性，与依赖大量外部注释的方法相比，SICOG在多个基准测试中表现出色。
🔸 在多模态推理任务中，SICOG结合视觉信息和逻辑推理的能力，使其在复杂推理任务中优于单一依赖视觉识别的模型，提升了2.5%-4%的准确性。
🔸 通过自生成的高质量描述和思维链数据，SICOG在减少“幻觉”现象（即模型生成不准确描述）方面表现良好，保持了模型的鲁棒性。
🔸 研究还发现，增强推理能力可能会在某些情况下影响感知能力，强调了在模型优化中平衡这两者的重要性。

💡个人观点

论文的核心是通过“描述链”来增强场景理解，通过“思维链”强化信息分析。

🧩附录