Mixture-of-Experts（MoE）原理与在DeepSeek中的应用

已于 2025-04-29 22:29:04 修改
阅读量302 收藏
点赞数 9
分类专栏： NLP/大模型八股 文章标签： deepseek 语言模型 人工智能 自然语言处理
于 2025-04-29 22:27:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41667743/article/details/147620953
版权

MoE机制简介

Mixture-of-Experts（MoE，混合专家）是一种“分而治之”的神经网络架构思想。在MoE模型中，存在多个并行的子网络，被称为“专家”。每个专家通常擅长处理特定类型的输入特征或知识片段。而在模型前向计算时，并非激活所有专家参与运算，而是通过一个专门的门控网络（Gate Network）为每个输入动态选择少量最适合的专家来处理。这种机制使每个输入仅激活模型中一小部分参数（稀疏激活），从而大幅提升模型参数规模上限的同时保持计算开销在可控范围内。

MoE的核心思想最早可以追溯到上世纪90年代：Jacobs等人在1991年提出了混合专家模型的概念，用多个专家网络共同完成任务，并由一个门控（ gating ）机制根据输入情况加权融合这些专家的输出。现代深度学习中，MoE架构在大规模模型上的成功应用始于2017年，Shazeer等人将MoE引入到语言模型训练中，构建了超大规模的MoE模型，使模型总参数量达到百亿级，但每次推理只需激活其中极小一部分参数。这项工作证明了MoE在参数扩展与计算效率上的巨大潜力：相比于传统“密集”模型需要激活所有参数，MoE模型通过稀疏激活节省了大量算力&#x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
第二代MoE（Mixture-of-Experts）大模型
百态老人的博客
12-25 785
Switch Transformer和GShard在实际应用中都展现了强大的性能和扩展能力，但在通信成本、训练不稳定性、负载均衡和硬件适应性等方面仍存在一些限制。
混合专家（Mixture-of-Experts，MoE）模型架构：机器学习的高效扩展之道
实战AI智能体
11-30 1414
想象一下，如果有一个专家团队，每位成员都拥有独特的技能和专长，能够高效协作，共同解决这些难题，那将是一种多么美妙的场景。传统模型在处理每个输入时，都会激活神经网络中的所有层和神经元，这导致了巨大的计算成本，推理速度减慢，并且消耗了大量内存。这本书不仅详细介绍了MoE模型的基本原理和架构，还通过丰富的案例和实战经验，展示了如何在不同的应用场景中有效地应用MoE模型。当然，MoE模型也并非完美无缺。这一过程中，门控网络会综合考虑输入数据的类型、大小、复杂度等因素，以及各个专家的专长和性能，从而做出最优的决策。
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 7363
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
LLMs之DeepSeek-V2：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-09 822
​ LLMs之DeepSeek-V2：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》翻译与解读 目录 《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》翻译与解读 Abstract 1、Introdu
Mixture-of-Experts (MoE)： 条件计算的诞生与崛起【下篇】
weixin_41446370的博客
09-30 1686
既然我们已经研究了条件计算的早期工作，那么我们就可以看看 MoE 在变换器架构中的一些应用。如今，基于 MoE 的 LLM 架构（如 Mixtral [13] 或 Grok）已广受欢迎，但 MoE 在语言模型方面的探索还处于几个阶段。在此，我们将探讨如何将 MoE 应用于编码器-解码器转换器架构。这项工作与现代 LLM 应用息息相关，并为在实践中有效使用 MoE 提供了无数经验。这些研究为以后探索基于模拟引擎的生成式 LLM 的工作奠定了基础。
Mixture-of-Experts (MoE)： 条件计算的诞生与崛起【上篇】
weixin_41446370的博客
09-29 1165
Decoder-only transformer 架构上图所示为大多数生成式 LLM 使用的标准纯解码器变换器架构；有关该架构的深入概述，请参见此处。在 LLM 中，MoE 对这一架构进行了简单的修改–用 MoE 层取代前馈子层！这个 MoE 层由多个专家组成（即从几个专家 [13] 到数千个专家 [5]），其中每个专家都是自己的前馈子层，具有独立的参数集；具体描述见下文。
深度探索Mixture-of-Experts（MoE）架构：DeepSeekMoE项目指南
gitblog_00904的博客
09-03 397
深度探索Mixture-of-Experts（MoE）架构：DeepSeekMoE项目指南 DeepSeek-MoE项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-MoE 欢迎来到DeepSeekMoE，一个旨在实现终极专家专长的混合专家语言模型项目。本指南将帮助您了解该项目的核心结构，以及如何着手进行项目设置与基本操作。以下是关键内容模块的详细介...
Sparsely-Gated Mixture-of-Experts Layer (MoE)论文解读与Pytorch代码实现
阿正的梦工坊
02-28 1049
MoE 的核心思想是通过引入一个稀疏门控机制（sparsely-gated mechanism）和多个专家网络（expert networks），使得神经网络能够根据输入动态选择一小部分专家进行计算，而不是对每个输入都激活整个网络。
Mixture-of-Experts：大语言模型的多路专家架构详解
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
01-07 784
Mixture-of-Experts 架构是一种强大的模型设计策略，特别适合于大规模语言模型的训练与推理。它通过引入专家网络和稀疏激活技术，实现了高效的计算资源利用，同时显著提升了模型的表达能力。无论是在理论研究还是实际应用中，MoE 都展现出巨大的潜力，推动了深度学习的发展。通过 Google Switch Transformer 等案例和代码实现，我们可以更直观地理解 MoE 的工作机制，并将其应用于实际项目中。
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
01-31
而在语言组件方面，它利用了DeepSeek MoE模型，并结合了多头潜在注意力机制，将关键值缓存压缩到潜在向量中，从而实现了高效的推理和高吞吐量。 DeepSeek-VL2系列包括三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-...
DeepSeek-V3 是一个强大的 Mixture-of-Experts (MoE) 语言模型，它拥有671B个总参数，每个 token 有37B个激活参数
04-22
DeepSeek-V3 是一个强大的 Mixture-of-Experts (MoE) 语言模型，它拥有671B个总参数，每个 token 有37B个激活参数。 为了实现高效的推理和具有成本效益的训练，DeepSeek-V3 采用了多头潜在注意力 （MLA） 和 ...
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1658
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 3169
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 302
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 742
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
花费7元训练自己的GPT 2模型
04-28 1183
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
【现代深度学习技术】循环神经网络07：通过时间反向传播
Morse_Chen的博客
04-28 1304
本文讲解循环神经网络的通过时间反向传播。RNN梯度分析及BPTT是理解其原理的关键，通过深入分析RNN的梯度计算过程，我们可以更好地理解梯度爆炸和梯度消失的问题，BPTT可有效训练RNN捕捉序列依赖。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 973
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
生产级RAG系统一些经验总结
最新发布
yanqianglifei的专栏
05-01 347
可能需要修剪或总结它们。一种常见方法是先检索，然后运行较小的语言模型或启发式算法，将每个检索到的文档总结为一段话，然后将这些摘要输入最终的语言模型。这有时被称为上下文压缩或自适应上下文。LlamaIndex等工具可以自动执行第二阶段，使用语言模型在最终答案之前将初始检索集压缩成更短的形式。仅在绝对需要时使用此方法，因为任何摘要都是额外的生成步骤，可能会引入自己的错误。随着2025年16k+标记模型的出现，如果适合，许多RAG系统尝试只提供原始文本，因为这保留了最大的细节。
Mixture-of-Experts（MoE
02-06
### Mixture-Experts (MoE) 是一种用于提升神经网络性能的技术，尤其适用于大规模分布式训练环境下的模型扩展。该架构的核心理念在于将多个小型专家子网络组合起来，在不同输入条件下激活特定的子集来处理数据[^1]。 #### 专家层设计 在 MoE 中，整个网络被划分为若干个并行工作的“专家”，每个专家都是独立的小型前馈神经网络。这些专家负责学习不同类型的数据特征，并根据当前样本的特点选择最合适的几个来进行计算。这种机制使得模型能够更加灵活地适应复杂多变的任务需求[^3]。 #### 路由器组件 除了众多的专家外，还有一个重要的组成部分叫做路由器(Router)，它决定了哪些专家应该参与到具体的预测过程中去。具体来说，给定一个输入向量 \( \mathbf{x} \)，路由器会先对其进行编码得到权重分布 \( w_i(\mathbf{x}) \)，再依据此概率分配任务给相应的专家们完成最终输出\[ y=\sum_{i=1}^{N}{w_i(\mathbf{x})f_i(\mathbf{x})}\]。 ```python import torch.nn as nn class Router(nn.Module): def __init__(self, input_dim, num_experts): super().__init__() self.linear = nn.Linear(input_dim, num_experts) def forward(self, x): logits = self.linear(x) weights = F.softmax(logits, dim=-1) return weights ``` ### 应用实例分析 Google 开发的 Switch Transformer 就是一个基于 MoE 思想构建的大规模预训练语言模型。在这个例子中，研究人员利用稀疏门控结构实现了参数数量级上的显著增长而不增加太多额外开销；同时保持了良好的泛化能力和推理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Chaos_Wang_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值