综述论文 | 多模态视觉大模型

Vision-Language Instruction Tuning: A Review and Analysis

https://arxiv.org/pdf/2311.08172.pdf

https://github.com/palchenli/VL-Instruction-Tuning

指令调优是大型语言模型（LLMs）的一个重要的有监督训练阶段，旨在增强LLMs执行指令和适应用户偏好的能力。随着多模态数据被纳入LLMs、不断增加，人们对视觉语言指令调优的性能越来越感兴趣，因为相对于纯文本指令，它呈现出更复杂的特征。

本文系统回顾了多模态LLMs中最新的视觉语言指令调优设置和数据集，并总结了高质量视觉语言调优数据应具备的特征。将这些特征视为构建视觉语言指令数据的基本原则，并提出一个完整的构建流水线，包括数据收集、指令生成和质量控制模块，其中融入了精心设计的指令属性评估指标。基于构建的指令数据对三个广泛使用的多模态LLMs进行了视觉语言指令调优，并进行广泛的实验来验证本文中提出的构建原则的合理性。

---

How to Bridge the Gap between Modalities: A Comprehensive Survey on Multimodal Large Language Model

https://arxiv.org/pdf/2311.07594.pdf

本综述论文探讨了多模态大型语言模型（MLLMs），它将GPT-4等大型语言模型与文本和视觉等多模态数据进行整合。MLLMs展示了生成图像叙事和回答基于图像的问题等能力，弥合了实现真实世界人机交互的差距，并暗示了通往人工智能的潜在路径。然而，MLLMs在处理多模态语义差异方面仍面临挑战，可能导致错误生成，给社会带来潜在风险。

选择合适的模态对齐方法至关重要，因为不恰当的方法可能需要更多的参数，但性能改进有限。本文旨在探索LLMs的模态对齐方法及其现有能力。实施模态对齐使LLMs能够解决环境问题并提高可访问性。

本研究将MLLMs中现有的模态对齐方法分为四组进行调查：（1）多模态转换器，将数据转换为LLMs可以理解的形式；（2）多模态感知器，改进LLMs感知不同类型数据的能力；（3）工具辅助，将数据转换为一种常见格式，通常是文本；（4）数据驱动方法，教导LLMs理解数据集中特定类型的数据。这个领域仍处于探索和实验阶段，组织和更新各种现有的多模态信息对齐研究方法。