大模型系列——专家混合模型 (MoE)快速指南

大模型系列——专家混合模型 (MoE)快速指南

专家混合 (MoE) 已成为一种流行的提高 LLM 效率的架构组件。在这篇博文中，我们将探讨研究人员在实现专家完美混合的道路上所采取的步骤。

专家混合 (MoE) 已成为一种流行的提高 LLM 效率的架构组件。在这篇博文中，我们将探讨研究人员在实现专家完美混合的道路上所采取的步骤。

MoE 已用于 Mixtral、DeepSeek-V2、Qwen2–57B-A14B 和 Jamba 等模型。但是，与任何架构组件一样，它具有超参数（专家总数、活跃专家数量、粒度），这些超参数会影响最终模型质量。

1、MoE 简介

在 GPU 和数据密集型 LLM 的世界中，在各种宝贵资源之间找到平衡非常重要。例如，如果我们希望 LLM 在各种任务中表现出色，可以通过增加参数数量来实现，这反过来会使推理（以及训练）更耗费计算资源。

MoE 的出现是为了创建一个规模大、能力强但在推理阶段要求稍低的 LLM。 MoE 建议拥有多个（例如 8 个）独立版本的前馈块 (FFN) — “专家” — 以及一个路由器，该