Cohere：改进MoE路由机制的LLM框架Nexus

📖标题：Nexus: Specialization meets Adaptability for Efficiently Training Mixture of Experts
🌐来源：arXiv, 2408.15901

摘要

🔸效率、专业化和对新数据分布的适应性是当前大型语言模型中难以结合的品质。混合专家（MoE）架构一直是重要研究的焦点，因为其固有的条件计算能够实现这些理想的特性。
🔸在这项工作中，我们专注于将密集的专家模型“升级”到MoE中，旨在提高专业化程度，同时增加轻松适应新任务的能力。我们介绍了Nexus，这是一种具有自适应路由的增强型MoE架构，其中模型学习从域表示中投影专家嵌入。这种方法允许Nexus在通过单独训练的密集模型进行初始升级后灵活地添加新的专家，而不需要对看不见的数据域进行大规模的MoE训练。
🔸实验表明，Nexus在初始升级周期的基础上实现了高达2.1%的相对增益，在使用有限的微调数据与新专家一起扩展MoE时实现了18.8%的相对增益。Nexus的这种灵活性对于实现一个开源生态系统至关重要，在这个生态系统中，每个用户都可以根据自己的需求不断组装自己的MoE组合。

🛎️文章简介

🔸研究问题：如何有效地将单独训练的密集专家模型改造成一个混合专家模型（MoE࿰