稀疏大模型简述：从MoE、Sparse Attention到GLaM

最新推荐文章于 2024-09-18 14:54:57 发布
最新推荐文章于 2024-09-18 14:54:57 发布
阅读量1.3k 收藏
点赞数
分类专栏： 人工智能 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/125338527
版权

稀疏性（Sparsity），指的是模型具有非常大的容量，但只有模型的用于给定的任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。

  • 2017年，谷歌引入了稀疏门控的专家混合层（Sparsely-Gated Mixture-of-Experts Layer，MoE），该层在各种转换基准测试中显示出更好的结果，同时使用的计算比以前最先进的密集 LSTM 模型少10倍。

  • 2021年，谷歌的 Switch Transformers 将 MoE 风格的架构与 Transformer 模型架构相结合，与密集的 T5-Base Transformer 模型相比，训练时间和效率提高了7倍。

  • 2021年，谷歌的 GLaM 模型表明，Transformer 和 MoE 风格的层可以组合在一起生成一个模型，在29个基准测试中平均超过GPT-3模型的精度，而使用3倍少的能耗进行训练和2倍少的计算进行推理。

另外，稀疏性的概念，也可以应用于降低核心 Transformer 架构中注意力机制的成本（ETC 模型、BigBird 模型等）。

参考资料：
稀疏大模型简述：从MoE、Sparse Attention到GLaM

u013250861
关注
专栏目录
大语言模型原理基础与前沿 通过稀疏MoE扩展视觉语言模型
AI天才研究院
06-26 824
大语言模型原理基础与前沿 通过稀疏MoE扩展视觉语言模型 1.背景介绍 在人工智能领域，语言模型和视觉模型的结合已经成为一个重要的研究方向。大语言模型（Large Language Models, LLMs）如GPT-3、BERT等，已经在自然语言处理（NLP）任务中
一步一步理解大模型：混合专家模型（MoE）简介
南七小僧的学海无涯
04-23 195
混合专家模型，英文叫Mixture of Experts (MoE) 是一种模型设计策略，它通过将多个模型（称为"专家"）直接结合在一起，以获得更好的预测性能。: Expert Choice的中文为专家选择，方法是设置一组具有预定缓冲区容量的专家，给专家分配给前k个令牌，产生一个令牌到专家的得分矩阵，然后用该矩阵做出路由决策。: Switch Transformer中，模型的每一层都是一个专家网络的集合，输入数据会被动态地路由到不同的专家进行处理。来合并和平衡专家的选择，用于决定每个专家对最终预测的；
超越CLIP！谷歌发布首个大规模MoE架构的视觉语言模型
夕小瑶科技说
06-14 1243
文 | 明敏（发自凹非寺）源 | 量子位多模态模型常见，但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE，首次将稀疏化方法用在了图像文本混合模型上。要知道，随着大模型参数呈指数级增加，训练成本也是一路飙升。所以如何降低训练成本，成为了目前学界重点关注的一个问题。谷歌想到的办法，不是拼硬件，而是从模型本身入手。利用稀疏化的方法，让每次输入只需激活部分网络就能完成任务。...
大模型笔记(一)：混合专家模型MoE代码实践
m0_47738450的博客
08-19 1099
MoE，全称Mixture of Experts，混合专家模型。MoE是大模型架构的一种，其核心工作设计思路是“术业有专攻”，即将任务分门别类，然后分给多个“专家”进行解决。与MoE相对应的概念是稠密（Dense）模型，可以理解为它是一个“通才”模型。一个通才能够处理多个不同的任务，但一群专家能够更高效、更专业地解决多个问题。1 MoE发展MoE的概念起源于 1991 年的论文。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统并建立一个监管机制。
【有啥问啥】大模型中的MoE是什么？
Chauvin的博客
07-17 1937
MoE通过将任务分配给多个专家模型并引入门控机制，有效地减少了计算复杂度，提高了模型的效率和性能。不同类型的MoE模型可以根据具体的应用场景进行选择和调整。通过合理设计和使用MoE，能够显著提升深度学习模型的训练和推理效率。
历史最全混合专家（MOE）模型相关精选论文、系统、应用整理分享
lqfarmer的博客
07-02 1635
稀疏性（Sparsity），指的是模型具有非常大的容量，但只有模型的用于给定的任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。 2017年，谷歌引入了稀疏门控的专家混合层（Sparsely-Gated Mixture-of-Experts Layer，MoE），该层在各种转换基准测试中显示出更好的结果，同时使用的计算比以前最先进的密集 LSTM 模型少10倍。 本资源整理了近年来混合专家(MoE) 相关的论文，并进行了详细分类。为这个知识库加注星标，然
LIMoE：稀疏化专家混合模型（Sparse Mixture-of-Experts Models）
滢滢码仔
01-22 773
它们在模型内部设置了很多“专家”，每个“专家”只需处理对应部分的输入，根据任务情况按需使用“专家”就好，但也不是完全割裂开来，模型内部仍有可共享的部分。这里的“专家”，也就是模型内部的不同子模型。缺点：任务太多时不如针对每个任务训练一个模型，又或者随着新任务的增加而导致模型对之前任务的作用效果变差，从而表现出灾难性遗忘现象。不是对每个输入都使用模型的每个部分进行处理，而是采用条件计算学习将输入路由到巨大网络中的不同“专家”处。优点：“专家”在专注于不同的任务或数据类型时，仍然可以使用模型的共享部分。
MoE~~~
whaosoft143ai的博客
04-02 566
为了利用任务之间的关联，作者引入了 Mod-Squad 模型，它是多个专家组成的模块化模型。Mod-Squad 整合了 Mixture of Expert (MoE) 层到 Vision Transformer 模型中，并引入了新的损失函数鼓励专家和任务之间的稀疏但强烈的依赖关系。之前的 MoE 模型收敛后，可以根据不同图片使用不同的专家，但是针对某个任务，模型会收敛到倾向于使用全部专家。Mod-Squad 可以做到让模型针对图片来使用不同的专家，并且模型可以在收敛后，达到一个任务只使用一部分专家的状态。
《AI大模型应用》-中文Mixtral混合专家大模型（Chinese Mixtral MoE LLMs）.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
混合专家系统（MoE）
热门推荐
Zoe_Su的博客
11-09 2万+
混合专家系统（Mixture of Experts）原理：混合专家系统（MoE）是一种神经网络，也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型，各个模型被称为专家，而门控模块用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型可采用不同的函数（各种线性或非线性函数）。混合专家系统就是将多个模型
2024最火热的大模型技术方向：MoE，国产MoE大模型大爆发！
u012744245的博客
04-17 1895
根据官方公布的数据， XVERSE-MoE-A4.2B 模型的评测结果与阿里的Qwen1.5-MoE-A2.7B接近，超过了DeepSeek-16B-MoE模型，与Mistral-7B、LLaMA2 34B等在同一个水平。而与另外两个模型不同的是，XVERSE-MoE-A4.2B 固定了2个专家，每次推理的时候必然激活，而剩余的6个专家则是根据推理输入进行路由选择，这样做是为了保证模型在基础通用能力上获得对应的领域性能。Mistral-7B×8-MoE 是一个稀疏的混合专家网络，是一个纯解码器模型。
混合专家模型（MoE）的概念介绍和应用案例
恭仔的博客
09-13 2万+
混合专家模型（MoE）是什么，大模型为什么青睐这一模式，稀疏激活的思想能带来什么？
大模型的研究新方向：混合专家模型（MoE）
m0_59235245的博客
06-11 1313
随着GPT-4、DeepSeekMoE等模型的发布中均涉及到了混合专家模型（MoE，Mixture of Experts）的话题，MoE 模型已经成为开放 AI 社区的热门话题。2023年6月，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B的专家模型组成。假如把8个专家模型比喻为比GPT-3还大的脑袋，那GPT-4就是一个八个头的超级大怪兽。GPT-4（MoE）比GPT-3（Transformer）和GPT-3.5（RLHF）强大一个数量级的关键，可能就是来源于MoE架构。
聊聊最近很火的混合专家模型（MoE）
产品老A，6年互联网大厂AIPM，专注探索新型人机交互
05-29 2298
MoE架构的核心思想是将一个复杂的问题分解成多个更小、更易于管理的子问题，并由不同的专家网络分别处理。这些专家网络专注于解决特定类型的问题，通过组合各自的输出来提供最终的解决方案，提高模型的整体性能和效率。
30年历史回顾，Jeff Dean：我们整理了一份「稀疏专家模型」研究综述
fengdu78的博客
10-05 352
机器之心报道机器之心编辑部30年时间，稀疏专家模型已逐渐成为一种很有前途的解决方案。稀疏专家模型是一个已有 30 年历史的概念，至今依然被广泛使用，是深度学习中的流行架构。此类架构包括混合专家系统（MoE）、Switch Transformer、路由网络、BASE 层等。稀疏专家模型已经在自然语言处理、计算机视觉和语音识别等多个领域展示出良好的性能。近日，谷歌 AI 负责人 Jeff Dean 等...
混合专家模型 (MoE) 详解
Hugging Face
12-26 1492
随着 Mixtral 8x7B (announcement, model card) 的推出，一种称为混合专家模型 (Mixed Expert Models，简称 MoEs) 的 Transformer 模型在开源人工智能社区引起了广泛关注。在本篇博文中，我们将深入探讨 MoEs 的核心组件、训练方法，以及在推理过程中需要考量的各种因素。让我们开始吧！简短总结混合专家模型 (MoEs):与稠密模型...
MMOE模型
weixin_40042644的博客
05-22 3220
一、shared-buttom Mul-task Model 如上图所示，shared-buttom网络位于底部，多个任务共用这一层。往上，k个子任务分别对应一个tower network，每个子任务输出一个目标 ； 二、Mixture-of-Experts Moe模型用公式可以表示为，其中。其中是n个expert network，具体来说g产生n个exerts 熵的概率分布， 最终输出时所有experts的带权加和。显然，...
大模型-moe混合专家模型
最新发布
weixin_44885180的博客
09-18 216
九、专家的数量对预训练有何影响？六、为什么门控网络要引入噪声呢。十二、MoE和稠密模型的对比。十一、MoE模型的主要特点。四、介绍稀疏 MoE 层。七、如何均衡专家间的负载。五、介绍门控网络或路由。十、什么是topK门控。十五、微调MoE的方法。十六、MoE的并行计算。二、MoE出现的背景。三、有哪些MoE模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值