近期一些MoE-LoRA的相关Paper

本文主要调研了近期MoE结构的参数有效性微调的方法

• MIXLORA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts

  • 2024.04
  • 提出了MixLoRA，不同于其它方法，MixLoRA的每个专家都由原始模型层结构和LoRA组成，与传统的MoE模型更加相似。
  • MixLoRA使用top-k router策略，训练时加入了expert balance loss，MixLoRA也探索了对self-attention使用MoE-LoRA，结果是进一步提升了整体效果。整体结构与PESC非常相似。
  • 

• Higher Layers Need More LoRA Experts

  • 2024.02
  • 论文验证了模型的较低层的expert之间相似性更大，存在参数冗余
  • 论文提出了MoLA，从对比实验中可以得出，固定expert的总数，模型较高层相比较低层设置更多的expert，效果表现最好

• Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks

  • 2024.01，PESC

  • 提出了一种MoE-LoRA架构模型PESC，该方法使用了串行结构的adapter-MoE，并在损失中添加了expert balance loss

• LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models via MoE-Style Plugin

  • 2023.12
  • 实验发现在SFT阶段显著增加指令数据量会损害LLMs中的世界知识
  • 引入了LoRAMoE框架，通过集成LoRAs和路由器来增强模型处理下游任务的能力，同时减轻世界知识遗忘。具体是提出局部平衡约束，以鼓励专家之间的合作，并在不同类型的任务上实现专家的专业化。

• When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications

  • 2023.10
  • 主要为了解决任务多样性问题和高昂的调优成本，提出的方法主要应用的医疗领域
  • MOELoRA：结合了MoE和LoRA，核心是门控的设计，具体是不同层共享门控，构建任务类型的embedding，通过一个线性层输出专家权重，这里可以使用稀疏和非稀疏的加权方式。
  • 推理时，可以恢复出每个任务类型的微调权重，并将微调权重与原始模型合并，避免的MoE带来的额外推理成本

• Pushing Mixture of Experts to the Limit: Extremely Parameter Efficient MoE for Instruction Tuning

  • 2023.09
  • 提出了结合peft和MoE的两种方法MoV和MoLoRA
  • 结论1：上一层网络输出x作为门控网络的输入相比sentence embedding效果更好
  • 结论2：专家数量达到10时，效果开始区域稳定
  • 结论3：soft merging策略相比离散路由策略效果更好

点击查看我的更多AI学习笔记github