混合专家模型和LLAMA的详细配置

混合专家模型

    大语言模型能够通过扩展参数规模实现性能的提升。然而，随着模型参数规模的扩大，计算成本也随之增加。为了解决这一问题，研究人员在大语言模型中引入了基于稀疏激活的混合专家架构（Mixture-of-Experts, MoE），旨在不显著提升计算成本的同时实现对于模型参数的拓展。

    在混合专家架构中，每个混合专家层包含 𝐾 个专家组件，记为 [ E 1 , E 2 , . . . , E