CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models

本文是LLM系列文章，针对《CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models》的翻译。

摘要

多模态大型语言模型（MLLM）中的指令调优旨在将骨干LLM与预训练的特征编码器平滑地集成到下游任务中。主要的挑战是如何通过合作学习有效地找到协同作用，其中LLM在下游任务中调整其推理能力，而特征编码器调整其编码以提供更相关的模态信息。在本文中，我们从理论和实证的角度分析了MLLM指令调优，我们发现两个组件（即特征编码器和LLM）之间的不平衡学习会导致学习梯度减小，从而减缓模型收敛，并由于学习不足而经常导致次优结果。受我们研究结果的启发，我们提出了一种定量评估学习平衡的方法，并在此基础上进一步设计了一个动态学习调度器，以更好地协调学习。此外，我们引入了一种辅助损失正则化方法，以促进MLLM生成分布的更新，同时考虑每个模型组件的学习状态，这可能会防止每个组件的梯度减小，并能够更准确地估计学习平衡系数。我们使用多个LLM主干和特征编码器进行实验，我们的技术与模型无关，可以与各种MLLM主干进行通用集成。在视觉和音频中的多个下游任务和模态上的实验结果表明，所提出的方法在MLLM指令调优方面具有更好的效率和有效性。

1 引言