VLM系列文章5-Idefics2

论文：https://arxiv.org/html/2405.02246v1

本文继续探究构建VLM的关键组件是什么，从pre-trained models, architecture choice, data, and training methods 角度出发进行控制变量法实验；并提出了Idefics2系列模型，同时提出了一个新的SFT数据集。

1、动机

关键组件探究：

• 1、模型架构：视觉和文本如何交互，对推理的影响？
• 2、训练策略对于稳定性影响？

2. 消融实验

前提：

• 训练6’000 步
• 在4个下游任务中汇报4-shot结果，任务包括：VQAv2、TextVQA、OKVQA、COCO caption；

2.1 VLM中视觉和语言同样重要吗？

LLaMA-1-7B(35.1% on MMLU 62.5
Mistral-7B(60.1% on MMLU) 67.6 yields a boost of 5.1

• CLIP-ViT-H (78.0% on ImageNet： 57.4
• SigLIP-SO400M (83.2% on ImageNet) yields a 3.3 increase in performance on the benchmarks： 60.2
• EVA-CLIP-5B：60.7 （参数量大10倍，可能训练不充分）
  

1、对于固定参数来说，对应最终性能的影响。LLM的作用要大于视觉模块；

2.2 自回归架构还是cross-attention架构

• 参数量：cross-attention 架构比自回归架构多1.3B；
• 推理：cross-attention 架构比自回归架构多10%；

发现：

1、当预训练主干保持冻结状态时，交叉注意力架构的性能优于完全自回归架构。然而，在训练单峰主干时，完全自回归架构优于交叉注意力架构，尽管后者具有更多参数。
2、在完全自回归架构下解冻预训练的主干可能会导致训练不稳定。利用 LoRA 仍然可以增加训练的表现力并使其稳定。

2.3 效率提升在何处？

1、通过可学习的池化（Q-former）减少视觉标记的数量可显着提高训练和推理的计算效率，同时提高下游任务的性能。

2.4 保留原始宽高比和图像分辨率

采用在固定大小的方形图像上预先训练的视觉编码器来保留图像的原始长宽比和分辨率，不会降低性能，同时加速训练和推理并减少内存。

3. 模型训练

3.1 Multi-stage pre-training

• Interleaved image-text documents：OBELICS
• Image-text pairs：LAION COCO …
• PDF documents

We use a learning rate of 10−4 and do around 2 epochs on our training data.
It corresponds to approximately 1.5 billion images and 225 billion text tokens.

3.2 Instruction fine-tuning

• Cauldron : massive collection of 50 vision-language datasets, covering a wide range of tasks
• text-only instruction datasets to the mixture：
• DoRA训练、NEFTune、训练阶段随机scale up分辨率、多轮中shuffle；
  
  

3.3 Optimizing for chat scenarios

We fine-tune Idefics2 for a few hundred steps on LLaVA-Conv and ShareGPT4V with a large batch size.

4. 总结

近期的几篇文章算是对MLLM中几个关键组件进行分析，看看是哪些因素启动关键因素。