LLaVA 1.5：Improved Baselines with Visual Instruction Tuning

发表时间：CVPR 2024

论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.pdf

作者单位：University of Wisconsin–Madison

主要思想：大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中，我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明，LLAVA 中的全连接视觉语言连接器非常强大和数据效率。

实现方式：LLaVA 1.5和LLaVA在模型架构上基本一致，对LLM模型和跨模态连接器做了修改，但是模型效果逐渐开始炸裂。与LLaVA一样，Vison Token与Language Token指令在同一个特征空间，一起拼接（concantate）一起送进大模型。

LLM模型：LLM语言模型升级为Vicuna v1.5 13B，语言模型参数量更大，效果更好。

Connector：跨模态连接器（对应LLaVA中的线性层），由原来的单个线性层替换为MLP层（多层线性层叠加）

Vision Encoder: 输入图像分辨率由224增大为336，使用CLIP ViT-L/336px，对图像细节理解能力更强更高质量的数据：真所谓 Data is All you need!

通过对LLaVA进行两个简单的改进，即MLP 跨模态连接器 和 添加面向学术任务VQA数据集的简单响应格式的提示词（如Answer the question using a single word or phrase，使用一个单词或者短语回答，而不是长篇大论）。此外，还有其他的一些缩放，比如模型、数据集和图像分辨率。

实验：从训练的细节上看，LLaVA 1.5的训练方式和LLaVA 1.0基本一致。但在一些细节上不同，比如Optimizer换成AdamW、batch size更大、Stage 2更少的epochs，整体的训练时长基本翻倍。使用更多数据集或更大图像分辨率会带来模型性能的提升。

结构与改进：

下图左边部分为LLaVA1.0的模型结构与训练数据量，右侧为改进LLaVA1.5

• 结构上，将视觉特征提取器从 CLIP-vit-L-14 (224x224图像输入)改为了CLIP-vit-L/336(将真实图像resize到336x336再输入编码器)；视觉特征从线性映射（单个神经元），改进为多层告感知机（MLP）。

• 数据上，大量提高数据量，如Table2所示。

• 训练上，LLaVA1.5可以使用Lora微调：Finetune_Custom_Data.md

结论：我们的发现包括：

1. 扩展到高分辨率图像输入。我们表明，LLAVA 的架构通过简单地将图像划分为网格并保持其数据效率，在扩展到更高的分辨率方面是通用的；随着分辨率的增加，它提高了模型的详细感知能力，减少了幻觉。

1. 组合能力。我们发现大型多模态模型能够泛化到组合能力。例如，对长格式语言推理的训练以及较短的视觉推理可以提高模型对多模态问题的写作能力。

2. 数据效率。我们表明，将 LlaVA 的训练数据混合随机下采样高达 75% 不会显着降低模型的性能，这表明更复杂的数据集压缩策略的可能性可以进一步提高 LlaVA 已经有效的训练pipline（现有的数据是冗余的）。

3. 数据缩放。数据量过大到超出模型能力所能承受的范围时候，模型会产生幻觉。这进一步表明，需要在更详细地改进数据注释和模型正确处理此类粒度信息的能力之间取得平衡。我们希望这一发现为未来的工作提供了参考，即处理幻觉和模型和数据的缩放。