提升和创新！10款最新创新混合专家模型（MoE）汇总！（附论文）

最新推荐文章于 2024-08-19 11:05:37 发布
最新推荐文章于 2024-08-19 11:05:37 发布
阅读量1.4k 收藏 15
点赞数 22
文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82426425/article/details/135646953
版权
本文汇总了10款最新混合专家模型（MoE），包括DeepSeekMoE、Mixtral 8x7B、Flan-MoE等，这些模型在提高处理速度、增强泛化能力和简化架构方面取得突破，适用于语言模型、代码生成、语音识别等任务。各模型通过优化专家选择、并行训练和动态配置，实现了高效能与低计算需求的平衡。
摘要由CSDN通过智能技术生成

随着深度学习技术的不断发展，混合专家模型（MoE）已成为一种备受关注的新型模型，MoE通过结合多个专家模型来提高预测精度和泛化能力，从而在各种任务中表现出卓越的性能。

今天特意给大家整理了10个最新MoE模型，包含提高处理速度、增强模型泛化能力、简化模型架构等方面，大家可以认真研究一下！

1、DeepSeekMoE

论文：DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

Deepseekmoe：在混合专家语言模型中走向最终的专家专业化

简述：本文提出了一个新架构DeepSeekMoE，它通过优化专家的选择和利用共享专家来捕捉普遍知识，加强了模型的专业化。在测试中，2亿参数的DeepSeekMoE就达到了GShard 29亿参数模型的水平，它的性能在16亿参数上也非常出色，与计算量更大的LLaMA2 70亿参数相当。推进到1450亿参数，DeepSeekMoE在减少了计算需求的同时，性能媲美或优于传统MoE模型。

图片

2、 Mixtral 8x7B

论文：Mixtral of Experts

专家组合

简述：本文提出了Mixtral 8x7B，这是一种稀疏专家混合 （SMoE） 语言模型，在数学、代码生成和多语言基准测试方面远远优于 Llama 2 70B，并提供了一个经过微调以遵循指令的模型 Mixtral 8x7B - Instruct，它在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - 聊天模型。

最低0.47元/天 解锁文章
AI热心分享家
关注
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1502
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
混合专家（MoE）模型
数字人生
04-03 2006
当数据流通过MoE层时，每个输入令牌会动态地路由到一部分专家进行计算，这样可以实现更加高效的计算，并且随着每个专家在特定任务上的专业化，可以获得更好的结果。在MoE模型中，每个专家模型可以专注于解决特定的子问题，而整体模型则能够在复杂的任务中获得更好的性能。门控网络（gating network）在混合专家模型中起到了决策的作用，它负责学习在特定输入条件下如何调配不同专家的权重，以便有效整合这些专家的知识来作出最终的预测或决策。随着硬件技术的不断进步和人工智能领域的发展，混合专家方法有望迎来更广泛的应用。
从ACL 2024录用论文看混合专家模型（MoE）最新研究进展
最新发布
Kaiyuan_sjtu的博客
08-19 95
作者| 杨远航整理|PaperWeeklyACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。下面是列表，顺序大抵是个人兴趣程度排序。1. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixtu...
混合专家模型（MoE）的概念介绍和应用案例
恭仔的博客
09-13 2万+
混合专家模型（MoE）是什么，大模型为什么青睐这一模式，稀疏激活的思想能带来什么？
快速理解MoE模型
01-30 590
因此就会减少训练的计算量，降低计算所需要的GPU（8B*7的模型，本应该需要56B模型所需的GPU，使用专家模型结构后，装载模型需要47B模型所需的GPU，训练时只需要14B模型的GPU）同时参数是共享的，也会进一步的减少GPU（减少到12B模型的GPU占用）。GPT4和GLaM都是MoE结构的模型，MoE模型并没有解决幻觉的问题，只是在超大的模型上，减少了训练和推理的计算，降低了训练和推理的成本，让专家模型更专注。此类模型容易过拟合。图中，显示了3类模型的结构，小模型，典型的稠密大模型和MoE模型。
历史最全混合专家（MOE）模型相关精选论文、系统、应用整理分享
lqfarmer的博客
07-02 1662
稀疏性（Sparsity），指的是模型具有非常大的容量，但只有模型的用于给定的任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。 2017年，谷歌引入了稀疏门控的专家混合层（Sparsely-Gated Mixture-of-Experts Layer，MoE），该层在各种转换基准测试中显示出更好的结果，同时使用的计算比以前最先进的密集 LSTM 模型少10倍。 本资源整理了近年来混合专家(MoE) 相关的论文，并进行了详细分类。为这个知识库加注星标，然
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 5534
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
大模型的研究新方向：混合专家模型（MoE）
南七小僧的学海无涯
04-23 284
混合专家模型的实现涉及对专家模型和门控网络的联合训练，在整个数据输入处理的过程中，门控网络起到了动态调配专家模型资源的关键作用，使混合专家模型能够灵活地适应不同的输入数据分布和任务要求。说到这里的“门”概念，与LSTM网络的“门”概念有所不同，MoE的“门”概念主要是用于匹配数据和专家模型之间的连接，就好比不同班级的学生要进不同的教室上课一样，而LSTM的“门”概念主要是一种控制信息流动的装置，它可以保留或通过一定比例的数据，更像是在控制流量，而MoE的“门”概念可以看作是选择要通过的对象。
最强开源模型 Mixtral-8x7B-Instruct-v0.1 详细介绍：稀疏 Mixtral of experts
AI天才研究院
02-02 1255
同样，在推理过程中，假设每个令牌仅使用两名专家，推理速度 (FLOP) 就像使用 12B 模型（而不是 14B 模型），因为它计算 2x7B 矩阵乘法，但共享一些层。然后，输入的信息将以最高的概率发送给专家，确保最合适的专家处理手头的任务。C) 另请注意，虽然有推理服务，但实现了 FP8 实现，每个令牌运行 3 个专家（而不是默认的 2 个）——但激活更多专家是有害的，因为该模型经过训练只需要处理 3 个专家的贡献2个顶级的。它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。
有效人工智能团队构建：机器学习模型与多个专家补充，提高预测准确度与适应性
+v：mala2277获取更多论文--形成有效的人工智能团队：构建机器学习模型，补充多个专家帕特里克·海姆1分，塞巴斯蒂安·谢尔哈姆1分，2分，迈克尔·沃辛1分，Johannes Jakubik1和Gerhard Satzger1卡尔斯鲁厄理工2...
混合专家模型 (MoE) 简述
2301_81940605的博客
03-11 3573
本文主要想梳理一下 MoE 模型相关的概念，并阅读整理部分开源 MoE 模型的论文，简要地描述整体架构等。
一步一步理解大模型：混合专家模型（MoE）简介
热门推荐
chattyfish的博客
07-25 3万+
混合专家模型，英文叫Mixture of Experts (MoE) 是一种模型设计策略，它通过将多个模型（称为"专家"）的预测结果结合在一起，以获得更好的预测性能。
混合专家系统（MoE）
Zoe_Su的博客
11-09 2万+
混合专家系统（Mixture of Experts）原理：混合专家系统（MoE）是一种神经网络，也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型，各个模型被称为专家，而门控模块用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型可采用不同的函数（各种线性或非线性函数）。混合专家系统就是将多个模型
一文读懂「MOE，Mixed Expert Models」混合专家模型
女王の专属领地
02-03 3334
混合专家（Mixture of Experts，简称MoE）是一种集成学习方法，它通过将多个专业化的子模型（即“专家”）组合起来，形成一个整体模型，每一个“专家”都在其擅长的领域内做出贡献。而决定哪个“专家”参与解答特定问题的，是一个称为“门控网络”的机制。每个专家模型可以专注于解决特定的子问题，而整体模型则能够在复杂的任务中获得更好的性能。MoE提出的前提是如果有一个包括了多个领域知识的复杂问题，我们该使用什么样的方法来解决呢？
FastMoE开源分布式MoE模型训练系统
朝闻道
01-23 1148
公众号：系统之神与我同在 FastMoE开源分布式MoE模型训练系统 本文分为三部分： 回顾MOE的发展历程 FastMOE的框架设计 FastMOE v0.2的特性 预训练模型的发展趋势:规模越来越大 MOE结构：扩充模型容量的新途径训 MoE的发展历史 图解（巧妙地运用数据并行来构建MOE专家池）解 图解（T5+MoE） MOE模型研究前沿 使用pytorch和MoE训练您的MOE网络 FastMoE的并行模式 FastMOE的实战成果 FastMOE v0.2 开源分布式MOE模型训
【有啥问啥】大模型中的MoE是什么？
Chauvin的博客
07-17 2264
MoE通过将任务分配给多个专家模型并引入门控机制，有效地减少了计算复杂度，提高了模型的效率和性能。不同类型的MoE模型可以根据具体的应用场景进行选择和调整。通过合理设计和使用MoE，能够显著提升深度学习模型的训练和推理效率。
什么是MOE架构
qq_15821487的博客
06-21 2476
此次基于的模型是MoE（Mixture-of-Experts layer），它被称为专家混合模型。也就是在Transformer架构的基础上，加设了“专家层”。稀疏化的方法便是无需让整个模型来处理所有的输入。通过对神经网络进行划分，它让神经网络也“专业对口”，不同的子模型只处理固定类型的任务或数据。它是一个并行的FNN，取代了原本的前馈网络。这里的“专家”，也就是模型内部的不同子模型。每一层中的专家由门控网络控制，该网络根据输入数据激活专家。对于每个标记，门控网络选择最合适的专家来处理数据。
【论文阅读】MOE，《OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER》
bylander的博客
04-23 645
MoE这种方法很容易想象，因为人的大脑有类似的机制。人的大脑针对不同的任务，只有部分的神经元集群激发进行工作，大脑的不同区域有不同的分工。
混合专家模型MoE：提升AI效率的关键技术
混合专家模型的未来可能涉及模型压缩、模型并行化、以及在跨领域融合中的应用，这将推动AI技术的进一步发展和创新。 总结来说，混合专家模型技术是当前人工智能领域的热点研究，它通过稀疏结构和动态分配任务，不仅...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值