多模态系列-综述MM-LLMs: Recent Advances in MultiModal Large Language Models

Homepage：https://mm-llms.github.io/

Paper: https://arxiv.org/abs/2401.13601

1 摘要

在过去的一年中，多模态大型语言模型（MM-LLMs）取得了实质性的进展，通过高效的训练策略，增强了现成的语言模型，以支持多模态输入或输出。由此产生的模型不仅保留了语言模型的固有推理和决策能力，还赋予了多样化的多模态任务。在本文中，我们提供了一份旨在促进进一步研究多模态大型语言模型的综合调查。首先，我们概述了模型架构和训练流程的一般设计公式。随后，我们介绍了一个包含122个多模态大型语言模型的分类体系，每个模型都具有其特定的公式。此外，我们回顾了选定多模态大型语言模型在主流基准测试上的性能，并总结了关键的训练方法，以增强多模态大型语言模型的效力。最后，