本文提出MoELoRA，一种改进参数高效微调（PEFT）的方法，用于增强大型语言模型（LLM）的适应性。MoELoRA以LoRA为基础，通过对比学习解决MoE中的随机路由问题，提高在数学和常识推理任务上的性能。实验证明，MoELoRA在相同参数量下优于LoRA，与175B GPT-3.5模型的表现相当。
本文是LLM系列文章，针对《MoELoRA: Contrastive Learning Guided Mixture of Experts on
Parameter
摘要
为了增强大型语言模型（LLM）对下游任务的适应性，通常需要进行微调。尽管如此，更新数十亿个参数的过程需要大量的计算资源和训练时间，这对大规模模型在各种场景中的广泛应用构成了重大障碍。为了解决这个问题，参数有效微调（PEFT）已成为最近研究的一个突出范式。然而，当前采用有限全局参数集的PEFT方法（如LoRA，它将低秩近似矩阵添加到所有权重）在灵活组合下游任务中的不同计算模块方面面临挑战。在这项工作中，我们介绍了一种新的PEFT方法：MoELoRA。我们将LoRA视为专家混合（MoE），为了缓解在MoE中观察到的随机路由现象，我们建议利用对比学习来鼓励专家学习不同的特征。我们对11项数学推理和常识推理基准任务进行了实验。在相同数量的参数下，我们的方法显著优于LoRA。在数学推理中，MoELoRA的平均性能比LoRA高4.2%，在几个基准测试中与175B GPT-3.5相比表现出了竞争力。
已下架不支持订阅
627
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
