优化大模型微调：MoLA层级专家分配策略

人工智能咨询培训老师叶梓 转载标明出处

大模型（LLMs）的微调过程中，计算资源的需求巨大，这促使研究者们探索参数高效微调（PEFT）技术。低秩适应（LoRA）和专家混合模型（MoE）的结合显示出了提升性能的潜力，但大多数现有方法只是简单地在MoE框架下用LoRA适配器替换专家，并且每一层都分配相同数量的专家。这种方法可能会导致一些问题，比如由于表示崩溃或学习到的路由策略过拟合，导致专家之间的冗余。来自美国西北大学、Mineral Research和Google DeepMind的研究人员提出了一种新颖的参数高效MoE方法，通过层级专家分配（MoLA）来优化Transformer模型的性能。

论文链接：https://arxiv.org/pdf/2402.08562

项目链接：https://github.com/GCYZSL/MoLA

方法

MoE-LoRA与层级分配（MoLA）的新方法不仅结合了LoRA和MoE技术，还通过智能的层级专家分配来优化模型。在这种方法中，不是给Transformer的每一层分配相同数量的专家，而是根据每一层的需求分配不同数量的专家。

Figure 1 展示了MoLA架构的总览。在这种架构下，LoRA-MoE被应用于预训练的Transformer模型，并且每个模型层可以采用不同数量的专家。在训练过程中，预训练的权重被冻结，只有LoRA专家被调整作为权重的适配器。这种设计允许模型在保持预训练权重不变的同时，通过调整LoRA专家来适应特定的任务或数据集。

在训练预训练的LLM时，不是将每个密集线性层的权重矩阵分解成一对低秩矩阵，而是创建多对低秩矩阵，每对称为一个LoRA专家。通过学习一个路由模块来为每个输入令牌指定不同的LoRA专家。对于具有m层的Transformer模型，为第j层分配Nj个专家，并有个专家总计。对于第j层模块