一步一步理解大模型：混合专家模型（MoE）简介

已于 2023-07-31 02:23:11 修改
阅读量3.7w 收藏 74
点赞数 16
文章标签： 人工智能 深度学习 自然语言处理
于 2023-07-25 04:57:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chattyfish/article/details/131908504
版权

混合专家模型，英文叫Mixture of Experts (MoE) 是一种模型设计策略，它通过将多个模型（称为"专家"）直接结合在一起，以获得更好的预测性能。在大模型中，MoE方案可以有效地提高模型的容量和效率。一般而言，大模型的MoE有一个门控机制和一套门控输出机制来合并和平衡专家的选择，用于决定每个专家对最终预测的；有一套专家选择机制，会根据门控机制的输出选择一部分专家进行预测。这样可以减少计算量，并使模型能够针对不同的输入选择最合适的专家。还有一套训练机制。

在Mixture of Experts (MoE)架构中，有如下几种常见模式（所有图片均来自提出者的论文）：

ST (Switch Transformer): Switch Transformer中，模型的每一层都是一个专家网络的集合，输入数据会被动态地路由到不同的专家进行处理。

ST在Transformer模型中用一个稀疏的Switch前馈网络（FFN）层（浅蓝色）替换Transformer中存在的密集FFN层。该层独立地对序列中的标记进行操作，然后路由到多个FFN专家中。switch FFN层返回所选FFN的输出，然后乘以路由器阈值，然后进行合并。

EC (Expert Choice)

最低0.47元/天 解锁文章
chattyfish
关注
混合专家（MoE）模型
数字人生
04-03 2239
当数据流通过MoE层时，每个输入令牌会动态地路由到一部分专家进行计算，这样可以实现更加高效的计算，并且随着每个专家在特定任务上的专业化，可以获得更好的结果。在MoE模型中，每个专家模型可以专注于解决特定的子问题，而整体模型则能够在复杂的任务中获得更好的性能。门控网络（gating network）在混合专家模型中起到了决策的作用，它负责学习在特定输入条件下如何调配不同专家的权重，以便有效整合这些专家的知识来作出最终的预测或决策。随着硬件技术的不断进步和人工智能领域的发展，混合专家方法有望迎来更广泛的应用。
大模型的研究新方向：混合专家模型（MoE）
人工智能曾小健
06-26 1370
大模型的研究新方向：混合专家模型（MoE） 吴蔚喆羚羊工业大模型2024-05-27 21:40安徽 随着GPT-4、DeepSeekMoE等模型的发布中均涉及到了混合专家模型（MoE，Mixture of Experts）的话题，MoE 模型已经成为开放 AI 社区的热门话题。2023年6月，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B的专家模型组成。假如把8个专家模型比喻为比GPT-3还大的脑袋，那GPT-4就是一个八个头的超级大怪兽。 GPT-4（M
深度解读混合专家模型（MoE）：算法、演变与原理
Y525698136的博客
11-21 2275
Mixture-of-Experts（MoE）是一种强大的模型架构，它通过将任务分配给专门的专家，使神经网络能够高效地扩展。
大模型：混合专家模型（MoE）概述
m0_59235945的博客
12-14 1262
随着GPT-4、DeepSeekMoE等模型的发布中均涉及到了混合专家模型（MoE，Mixture of Experts）的话题，MoE 模型已经成为开放 AI 社区的热门话题。2023年6月，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B的专家模型组成。假如把8个专家模型比喻为比GPT-3还大的脑袋，那GPT-4就是一个八个头的超级大怪兽。GPT-4（MoE）比GPT-3（Transformer）和GPT-3.5（RLHF）强大一个数量级的关键，可能就是来源于MoE架构。
50张图，直观理解混合专家（MoE）大模型
OneFlow深度学习框架
11-29 4537
Mixtral 8x7B的高效训练与推理效果曾引发AI社区对混合专家（MoE）模型的广泛关注，后来居上的国产开源大模型De‍epSeek以及腾讯近期开源的Hunyuan-Large（基于Transformer的最大MoE模型）也选择了MoE框架路线。为何大语言模型总是离不开MoE的身影？借助50多个图例，数据科学家Maarten Grootendorst由浅入深多维度剖析了MoE模型，从基础概念出...
大模型-moe混合专家模型
weixin_44885180的博客
09-18 504
九、专家的数量对预训练有何影响？六、为什么门控网络要引入噪声呢。十二、MoE和稠密模型的对比。十一、MoE模型的主要特点。四、介绍稀疏 MoE 层。七、如何均衡专家间的负载。五、介绍门控网络或路由。十、什么是topK门控。十五、微调MoE的方法。十六、MoE的并行计算。二、MoE出现的背景。三、有哪些MoE模型。
专家混合模型MoE
大连赵哥的博客
06-24 427
专家混合模型MoE
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 6330
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
MoE 混合专家模型（Mixture of Experts）
wangqiaowq的博客
06-05 974
MoE是一种神经网络架构设计，在Transformer模块中集成了专家/模型层。当数据流经MoE层时，每个输入token都会动态路由到专家子模型进行处理。当每个专家专门从事特定任务时，这种方法可以实现更高效的计算并获得更好的结果。MoE最关键的组件：- 专家（Expert）：MoE层由许多专家、小型MLP或复杂的LLM（如 Mistral 7B）组成。- 路由器（Router）：路由器确定将哪些输入token分配给哪些专家。路由策略有两种：token选择路由器或路由器选择token。
万字长文！小白也能懂的混合专家模型（MoE）深度解析
最新发布
2401_85373691的博客
01-17 1093
1.1 MoE模型定义混合专家模型（Mixture of Experts，MoE）是一种先进的神经网络架构，旨在通过整合多个模型或“专家”的预测来提升整体模型性能。MoE模型的核心思想是将输入数据分配给不同的专家子模型，然后将所有子模型的输出进行合并，以生成最终结果。这种分配可以根据输入数据的特征进行动态调整，确保每个专家处理其最擅长的数据类型或任务方面，从而实现更高效、准确的预测。专家（Experts）：模型中的每个专家都是一个独立的神经网络，专门处理输入数据的特定子集或特定任务。
【大模型理论篇】Mixture of Experts(混合专家模型, MOE)
源泉的小广场
08-25 5801
大模型、transformer、混合专家模型、MoE、mixture of experts、稀疏性、模型算力、LLM、SMoE、gemini、mixtral、万亿参数大模型、门控机制、专家混合
AI前沿系列（一）：混合专家模型技术（MoE）-中信建投-计算机行业-20230818.pdf
08-23
AI前沿系列（一）：混合专家模型技术（MoE） 混合专家模型技术（MoE）是一种稀疏门控制的深度学习技术，由专家模型和门控模型组成。MoE通过门控网络实现任务/训练数据在不同专家模型间的分配，让每个模型专注处理其...
时间序列预测的大规模混合专家模型TIME-MOE
10-25
内容概要：本文介绍了TIME-MOE（大规模时间序列基础模型），一种基于稀疏混合专家（MoE）设计的时间序列预训练架构。TIME-MOE利用了解码器仅有型的变压器模型，支持灵活的预测范围和多分辨率预测头，能够有效减少...
【有啥问啥】大模型中的MoE是什么？
Chauvin的博客
07-17 3008
MoE通过将任务分配给多个专家模型并引入门控机制，有效地减少了计算复杂度，提高了模型的效率和性能。不同类型的MoE模型可以根据具体的应用场景进行选择和调整。通过合理设计和使用MoE，能够显著提升深度学习模型的训练和推理效率。
混合专家模型（MoE）入门
weixin_44858814的博客
08-11 2226
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE) 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。
混合专家模型 (MoE) 简述
2301_81940605的博客
03-11 4199
本文主要想梳理一下 MoE 模型相关的概念，并阅读整理部分开源 MoE 模型的论文，简要地描述整体架构等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值