A Closer Look into Mixture-of-Experts in Large Language Models

本文是LLM系列文章，针对《A Closer Look into Mixture-of-Experts in Large Language Models》的翻译。

摘要

专家混合（MoE）因其独特的属性和卓越的性能而受到越来越多的关注，尤其是在语言任务方面。通过稀疏地激活每个token的参数子集，MoE 架构可以在不牺牲计算效率的情况下增加模型大小，从而在性能和训练成本之间实现更好的权衡。然而，MoE的底层机制仍缺乏进一步的探索，其模块化程度也存在疑问。在本文中，我们初步尝试了解基于 MoE 的大型语言模型的内部工作原理。具体来说，我们全面研究了最近三个基于 MoE 的模型的参数和行为特征，并揭示了一些有趣的观察结果，包括（1）神经元的行为就像细粒度的专家一样。 (2)MoE路由器通常选择输出范数较大的专家。 (3)专家多样性随着层数的增加而增加，而最后一层是异常值。根据观察结果，我们还为广大MoE从业者提供建议，例如路由器设计和专家分配。我们希望这项工作能够为 MoE 框架和其他模块化架构的未来研究带来启发。代码可在 https://github.com/kamanphoebe/Look-into-MoEs上获取。

1 引言