混合专家模型（MoE）的概念介绍和应用案例

已于 2023-11-15 17:10:26 修改
阅读量2.6w 收藏 103
点赞数 25
分类专栏： 混合专家模型 文章标签： 学习 机器学习 AIGC
于 2023-09-13 19:55:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cold_code486/article/details/132831065
版权
本文介绍了Mixture-of-Experts(MoE)模型，一种通过将任务分解为独立专家处理的神经网络架构，对比了其与集成学习的差异，强调了MoE在大模型训练中的优势，如降低训练成本和提升性能。Google的GLaM模型展示了MoE的实际应用和效率提升。
摘要由CSDN通过智能技术生成

目录

Mixture-of-Experts (MoE)

MoE的结构说明

MoE和集成学习的对比

大模型中的MoE应用

        自2022年ChatGPT诞生以来，因其在语言理解和知识问答方面的优异表现，大模型受到了学术界和工业界的广泛关注，并被认为具备记忆和应用世界知识的能力。但训练大模型和提高模型的推理速度并非易事，近期在大模型训练领域，MoE这一范式吸引了很多科研人的目光。

Mixture-of-Experts (MoE)

        1991年，混合专家模型（MoE）的创始论文《Adaptive Mixtures of Local Experts》由机器学习领域的大牛Michael Jordan和人工智能教父、图灵奖得主Geoffrey Hinton等联合发表。

        这篇论文的摘要中提到：We present a new supervised learning procedure for systems composed of many separate networks, each of which learns to handle a subset of the complete set of training cases.

        作者在该篇论文中提出了一个全新的监督学习范式！这个范式将一个系统巧妙地拆分成了多个独立的网络，每个网络都针对性地处理一部分训练数据集。这些独立的神经网络就像是一群各具专长的专家，各司其职。当我们把每个专家的学习成果加权汇总起来，就得到了最终的结果。

        MoE的学习过程可以看做是多层监督网络的超级模块版，或者说是竞争学习的新概念版。更有趣的是，由于每个专家都是独立训练的，它们只专注于自己“擅长”的那一部分数据，这有效地减少了各种数据间的干扰，同时也让学习速度和泛化能力都得到了极大的提升！

MoE的结构说明

        MoE架构的基本原理非常简单明了，它主要包括两个核心组件：GateNet和Experts。GateNet的作用在于判定输入样本应该由哪个专家模型接管处理。而Experts则构成了一组相对独立的专家模型，每个专家负责处理特定的输入子空间。

        在MoE架构中，首先，输入样本会经过GateNet进行一个多分类的判别过程，以确定最适合的专家模型。这个过程被称为“experts selection”，也是整个MoE模型中的核心思想，学术界也称为稀疏性激活。接着，被选定（激活）的专家模型接管输入样本的处理，从而产生最终的预测结果。

        MoE模型的另一个重要特点是专家模型的相对独立性。每个专家负责处理特定的输入子空间，这使得MoE能够灵活地应对不同领域或特定类型的输入数据。因此，MoE架构通过有效地利用GateNet和一组相对独立的Experts，为输入样本提供高效而灵活的处理方式。

MoE和集成学习的对比

MoE和集成学习的思想异曲同工，都是集成了多个模型的方法，但它们的实现方式有很大不同。下面将以表格的形式比较两者的区别。

混合专家VS.集成学习
MoEEnsemble Learning
技术类别神经网络技术

机器学习技术

应用目的提高模型收敛和推理速度提高模型预测精确度
训练步骤

1.将预测建模任务分解为若干子任务，在每个子任务上训练一个专家模型（Expert Model）

2.开发一个门控模型（Gating Model），来预测的输入应分配给哪个专家

训练不同的学习器或者多个相同的学习器，比决策树、SVM、朴素贝叶斯、逻辑回归等，这些基础学习器可以使用相同或不同的训练数据。按照学习策略和训练串行或者并行方式可分为Bagging（独立）、Boosting（依赖）、Stacking等

结果输出组合各个模型的结果输出

        总的来讲，与MoE的最大不同的地方是集成学习不需要将任务分解为子任务，而是将多个基础学习器组合起来。这些基础学习器可以使用相同或不同的算法，并且可以使用相同或不同的训练数据

大模型中的MoE应用

        目前的研究结果大多表明模型的呈现效果与参数量呈正相关——高要求，大体量。下表是几个著名大模型的参数量以及训练所用的数据体量。可以看到，目前的大模型参数量已经堆到千亿级甚至万亿级（1亿参数以16位float存储,大约占250MB），而用于训练这些模型的数据则更为庞大。

模型的参数量和训练数据（数据参考模型官网或者出处论文）
模型名称（研发机构）参数量训练数据
ChatGPT-3.5（openAI）1750亿3000亿 token
ChatGPT-4.0（openAI）10000亿14200亿 token
LLaMA (Meta)650亿10000亿 token
GLaM (Google)
12000亿16000亿 token

文心一言（百度）

2600亿10000亿+ 网页数据
星火大模型（科大讯飞）1700亿中国科技论文数据库(CSTDP）1.7亿+论文
天工大模型（昆仑万维）1000亿

30000亿 token

Ernie3.0 Titan2600亿--
Megatron-Turing NLG5300亿--

        MoE提供了一种加速大型模型训练和推理的策略。举例来说，Google借助MoE开发了名为GLaM的语言模型。最大的GLaM拥有1.2万亿个参数，相比之下，GPT-3.5拥有1750亿个参数，但GLaM只需1/3的训练成本。此外，GLaM在zero-shot和one-shot的性能表现也优于GPT-3.5。

        微软的报告指出，他们基于MoE的语言模型在与具有相同模型质量的密集模型相比时，训练成本降低了5倍。这表明MoE的运用可以极大地提升大型模型的训练效率，同时保持了出色的性能表现。

fastmoe:PyTorch的快速MoE提示
03-07
|| 介绍 一个易于使用且高效的系统，可支持PyTorch的专家混合（MoE）模型。 安装 先决条件 带有CUDA的PyTorch是必需的。 该存储库目前已通过PyTorch v1.8.0和CUDA 10进行了测试，并具有对较早版本的设计兼容性。 如果启用了分布式专家功能，则需要具有P2P通信支持的NCCL，通常版本>=2.7.5 。 正在安装 FastMoE包含一组PyTorch定制的运算符，包括C和Python组件。 使用python setup.py install可以轻松安装并享受使用FastMoE进行培训的乐趣。 分布式专家功能默认情况下处于禁用状态。 如果要启用它， USE_NCCL=1环境变量USE_NCCL=1传递给安装脚本。 请注意，需要一个额外的NCCL开发人员程序包，该程序包必须与您的PyTorch的NCCL版本一致，可以通过运行torch.cuda.nccl.
一份MoE 可视化指南
zenRRan的博客
10-08 856
编辑：AI椰青整理：https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts在查看最新发布的LLMs时，你可能会在标题中看到“MoE”这个词。那么，这个“MoE”到底代表什么？为什么现在有这么多 LLM 都在使用它呢？在本视觉指南中，我们将通过 50 多个图示来详细探讨这一重要组件：专家混合模...
【有啥问啥】大模型中的MoE是什么？
Chauvin的博客
07-17 2392
MoE通过将任务分配给多个专家模型并引入门控机制，有效地减少了计算复杂度，提高了模型的效率和性能。不同类型的MoE模型可以根据具体的应用场景进行选择和调整。通过合理设计和使用MoE，能够显著提升深度学习模型的训练和推理效率。
图解 MoE 模型
lyy2017175913的博客
10-14 1163
密集层（Dense Layers）稀疏层（Sparse Layers）专家能学到什么？专家的架构专家混合模型（MoE）是一种通过使用多个不同的子模型（或“专家”）来提升 LLM 质量的技术。MoE 的两个主要组成部分为：专家（Experts）：每个前馈神经网络层（FFNN）现在都有一组可以选择的“专家”。这些“专家”通常本身也是前馈神经网络（FFNN）。路由器或门控网络（Router 或 Gate Network）：决定哪些 token 被发送到哪些专家。
【人工智能】MOE架构的详细解析
weixin_51306394的博客
09-10 1649
MOE（Mixture of Experts，混合专家）架构是一种用于提高深度学习模型性能和效率的神经网络架构设计。以下是对MOE架构的详细解析：
大模型笔记(一)：混合专家模型MoE代码实践
m0_47738450的博客
08-19 2310
MoE，全称Mixture of Experts，混合专家模型。MoE是大模型架构的一种，其核心工作设计思路是“术业有专攻”，即将任务分门别类，然后分给多个“专家”进行解决。与MoE相对应的概念是稠密（Dense）模型，可以理解为它是一个“通才”模型。一个通才能够处理多个不同的任务，但一群专家能够更高效、更专业地解决多个问题。1 MoE发展MoE的概念起源于 1991 年的论文。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统并建立一个监管机制。
混合专家（MoE）模型
数字人生
04-03 2040
当数据流通过MoE层时，每个输入令牌会动态地路由到一部分专家进行计算，这样可以实现更加高效的计算，并且随着每个专家在特定任务上的专业化，可以获得更好的结果。在MoE模型中，每个专家模型可以专注于解决特定的子问题，而整体模型则能够在复杂的任务中获得更好的性能。门控网络（gating network）在混合专家模型中起到了决策的作用，它负责学习在特定输入条件下如何调配不同专家的权重，以便有效整合这些专家的知识来作出最终的预测或决策。随着硬件技术的不断进步和人工智能领域的发展，混合专家方法有望迎来更广泛的应用。
一步一步理解大模型：混合专家模型（MoE）简介
热门推荐
chattyfish的博客
07-25 3万+
混合专家模型，英文叫Mixture of Experts (MoE) 是一种模型设计策略，它通过将多个模型（称为"专家"）的预测结果结合在一起，以获得更好的预测性能。
稀疏大模型简述：从MoE、Sparse Attention到GLaM
夕小瑶科技说
03-22 1万+
文 | 唐工源 | 知乎Sparsity, ..., is another important algorithmic advance that can greatly improve efficiency. 稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。The use of sparsity in models is ... very high...
混合专家系统（MoE）
Zoe_Su的博客
11-09 2万+
混合专家系统（Mixture of Experts）原理：混合专家系统（MoE）是一种神经网络，也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型，各个模型被称为专家，而门控模块用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型可采用不同的函数（各种线性或非线性函数）。混合专家系统就是将多个模型
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 5653
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
时间序列预测的大规模混合专家模型TIME-MOE
最新发布
10-25
内容概要：本文介绍了TIME-MOE（大规模时间序列基础模型），一种基于稀疏混合专家（MoE）设计的时间序列预训练架构。TIME-MOE利用了解码器仅有型的变压器模型，支持灵活的预测范围和多分辨率预测头，能够有效减少...
AI前沿系列（一）：混合专家模型技术（MoE）-中信建投-计算机行业-20230818.pdf
08-23
在混合专家模型技术（MoE）应用领域中，自然语言处理领域的GLaM模型在零样本、单样本和少样本学习任务上相较于GPT-3分别实现了平均10.2%、6.3%和4.4%的性能提升，多模态领域的LIMoE在零样本、少样本的图像分类任务中...
中文Mixtral混合专家大模型（Chinese Mixtral MoE LLMs）.zip
03-14
**中文Mixtral混合专家大模型（Chinese Mixtral MoE LLMs）** 在当前的人工智能领域，大规模预训练模型已经成为推动技术创新的关键因素。中文Mixtral混合专家大模型（Chinese Mixtral MoE LLMs）是这样一个前沿的AI...
《AI大模型应用》-中文Mixtral混合专家大模型（Chinese Mixtral MoE LLMs）.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
AI前沿系列（一）：混合专家模型技术（MoE）-中信建投-计算机行业PPT
05-04
### 混合专家模型技术（MoE）详解 #### 一、混合专家模型（MoE）概述 **混合专家模型技术（MoE）**是一种先进的深度学习技术，它通过结合专家模型和门控模型来实现高效的任务处理。在MoE架构中，门控网络负责根据...
大模型-moe混合专家模型
weixin_44885180的博客
09-18 328
九、专家的数量对预训练有何影响？六、为什么门控网络要引入噪声呢。十二、MoE和稠密模型的对比。十一、MoE模型的主要特点。四、介绍稀疏 MoE 层。七、如何均衡专家间的负载。五、介绍门控网络或路由。十、什么是topK门控。十五、微调MoE的方法。十六、MoE的并行计算。二、MoE出现的背景。三、有哪些MoE模型。
2024最火热的大模型技术方向：MoE，国产MoE大模型大爆发！
u012744245的博客
04-17 2018
根据官方公布的数据， XVERSE-MoE-A4.2B 模型的评测结果与阿里的Qwen1.5-MoE-A2.7B接近，超过了DeepSeek-16B-MoE模型，与Mistral-7B、LLaMA2 34B等在同一个水平。而与另外两个模型不同的是，XVERSE-MoE-A4.2B 固定了2个专家，每次推理的时候必然激活，而剩余的6个专家则是根据推理输入进行路由选择，这样做是为了保证模型在基础通用能力上获得对应的领域性能。Mistral-7B×8-MoE 是一个稀疏的混合专家网络，是一个纯解码器模型。
AI通用大模型 —— Pathways，MoE, etc.
LJ的博客
06-26 1225
但为了与更多紧迫挑战任务的深度和复杂性相匹配，将需要新的、更强大的人工智能系统 —— 这些系统可以将人工智能的成熟方法与新兴的研究方向结合起来，从而能够解决我们今天无法解决的问题。Pathways将使单个人工智能系统能够在数千或数百万个任务中进行泛化，以理解不同类型的数据，并以惊人的效率做到这一点——将我们从仅仅识别模式的单一用途模型时代推进到一个更通用的智能系统反映对我们世界的更深入理解并能够适应新需求的时代。我们的大脑有许多不同的部分专门负责不同的任务，但我们只在特定的情况下调用相关的部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

恭仔さん

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值