微软 GRIN MoE：6.6B 激活参数模型

 是微软开源的一款 MoE 模型，使用了 SparseMixer-v2 而非传统 MoE，仅用 6.6B 激活参数（共 16x3.8B），在编程和数学任务上能力出色，适用于内存/计算资源受限以及对延迟敏感的场景。

该模型的 MMLU 基准测试得分为 79.4，远超参数量更高的 Mixtral 8x22B 等一众模型，你可以在 GRIN-MoE-Demo/GRIN-MoE直接试用。