MIXLORA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts

本文是LLM系列文章，针对《MIXLORA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts》的翻译。

摘要

微调大型语言模型（LLM）是一种常见的做法，可以使预训练模型适应特定的应用程序。虽然像LoRA这样的方法在微调过程中有效地解决了GPU内存限制，但它们的性能往往不足，特别是在多任务场景中。相比之下，混合专家（MoE）模型，如Mixtral 8x7B，在多任务学习场景中表现出卓越的性能，同时保持了减少的参数数量。然而，这些MoE的资源需求仍然具有挑战性，特别是对于内存小于24GB的消费级GPU。为了应对这些挑战，我们提出了MIXLORA，这是一种基于LoRA构建资源高效稀疏MoE模型的方法。MIXLORA在冻结的预训练密集模型的前馈网络块中插入多个基于LoRA的专家，并采用常用的top-k路由器。与其他基于LoRA的MoE方法不同，MIXLORA通过利用独立的注意力层LoRA适配器来提高模型性能。此外，采用辅助负载平衡损耗来解决路由器的不平衡问题。我们的评估表明，在多任务学习场景中，与最先进的PEFT方法相比，MIXLORA的准确率提高了约9%。我们还提出了一种新的高通量框架，以缓解MOE模型训练和推理过程中的计算和内存瓶颈。该框架在训练