Multimodal Instruction Tuning with Conditional Mixture of LoRA

本文是LLM系列文章，针对《Multimodal Instruction Tuning with Conditional Mixture of LoRA》的翻译。

摘要

多模态大型语言模型（MLLM）在不同领域的各种任务中表现出了非凡的熟练程度，人们越来越关注提高它们对看不见的多模态任务的零距离泛化能力。多模态指令调整已经成为一种成功的策略，通过指令在不同的多模态任务上微调预训练模型来实现零样本泛化。随着MLLM的复杂性和规模的增长，对低秩自适应（LoRA）等参数高效微调方法的需求变得至关重要，LoRA可以用最少的参数集进行微调。然而，在多模态指令调优中应用LoRA会带来任务干扰的挑战，这会导致性能下降，特别是在处理大量多模态任务时。为了解决这个问题，本文介绍了一种将多模态指令调优与LoRA条件混合（MixLoRA）相结合的新方法。它在LoRA的基础上进行了创新，根据每个输入实例的独特需求动态构建低秩自适应矩阵，旨在减轻任务干扰。在各种多模态评估数据集上的实验结果表明，MixLoRA不仅在相同甚至更高的排名下优于传统LoRA，证明了其在各种多模态任务中的有效性和适应性。

1 引言

2 相关工作

3 LoRA多模态指令调优中的任务干扰