【笔记】Mixture-of-Depths（MoD），改变了以往Transformer计算模式

最新推荐文章于 2024-10-06 21:18:37 发布
最新推荐文章于 2024-10-06 21:18:37 发布
阅读量385 收藏
点赞数 2
文章标签： 笔记 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangdaojun/article/details/138243660
版权

目录

Mixture-of-Depths（MoD）

MOD 通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。

在的大模型训练和推理中，有很多计算是没必要的。比如预测下一个句子很难，但是预测句子结束的标点符号很简单。如果给它们分配同样的计算资源，那么后者明显浪费了。

链接

它在输入序列中的特定位置动态分配FLOPs（运算次数或计算资源），优化不同层次的模型深度中的分配。

通过限制给定层的自注意力和MLP计算的token数量，迫使神经网络学会主要关注真正重要的信息。

deardao
关注
Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
c_cpp_csharp的专栏
05-17 163
基于Transformer的语言模型将FLOP均匀地分布在输入序列中。在这项工作中，我们证明了Transformer可以学习将FLOP（或计算）动态分配到序列中的特定位置，从而优化沿序列在模型深度上的不同层的分配。我们的方法通过限制token数量来强制执行总计算预算(𝑘) 其可以参与在给定层的自注意力和MLP计算。要处理的token由网络使用顶部确定-𝑘 路由机制。自从𝑘 是先验定义的，与其他条件计算技术不同，这个简单的过程使用具有已知张量大小的静态计算图。
大模型的实践应用23-深度混合的transformer改造模型MoD，计算提速50%，算力资源大大节省
weixin_42878111的博客
04-29 201
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用23-深度混合的transformer改造模型MoD，计算提速50%，算力资源大大节省。“Mixture-of-Depths Transformer”是创新型语言模型，与传统的模型不同，这个模型能够根据输入序列的特定部分动态调整其计算资源的分配，而不是简单地对所有部分进行平均分配。这种策略使得模型在保持原有性能的同时，能够显著减少计算量，从而提升处理速度。实验结果显示，相较于计算量相当的基准模型，这种新型模型的速度提升了66%。
7年来Google首次更新transformer框架，性能提升50%
人工智能研究所的博客
04-15 1155
虽然很多人对transformer模型并不太熟悉，但是要是提起ChatGPT，Sora文生视频，Google Gemini等大语言模型，也许会有很多人了解。岂不知这些大模型的主干都是由transformer模型框架构成，而transformer模型最核心的便是注意力机制了。
CV算法工程师的LLM日志（5）Mixture-of-depths——transformers改进结构 【15分钟代码和原理速通】
啥都会一点的小程的博客
04-22 1112
Mod通俗易懂的代码和原理
【论文速读】MOD，《Mixture-of-Depths: Dynamically allocating compute in transformer-based language models》
bylander的博客
06-07 1130
Transformer模型在前向传播中对每个token均匀分配计算资源，这在处理不同的语言建模问题时并不高效，因为并非所有token和序列都需要相同的计算量来进行准确预测。MoD模型旨在解决这一问题，通过动态分配计算资源，以更高效地使用计算预算。
（2024，FLOPs 动态分配，MoD，MoDE，top-k 路由，块丢弃）在基于 Transformer 的语言模型中动态分配计算
qq_44681809的博客
04-12 1303
Transformers 可以学习动态地分配计算给序列中的特定位置。该方法通过路由器为不同的 token 计算权重，从而决定哪些 token 要参与块的计算（自注意力和 MLP），哪些 token 要绕过块，以此来限制总计算预算。
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 5251
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
【论文阅读】MOA，《Mixture-of-Agents Enhances Large Language Model Capabilities》
bylander的博客
06-19 1781
文章提出了一种新的方法，称为 Mixture-of-Agents（MoA），利用多个大型语言模型（LLMs）的集体优势来提高自然语言理解和生成任务的性能。MoA 方法通过构建分层的 MoA 架构，每层包含多个 LLM Agents，每个Agent使用前一层所有Agents的输出作为辅助信息来生成其响应。MoA 模型在 AlpacaEval 2.0、MT-Bench 和 FLASK 等基准测试中取得了最先进的性能，超越了 GPT-4 Omni。
论文笔记｜OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
qq_40519226的博客
01-08 1978
论文阅读笔记，ICLR 2017的OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER，引入了稀疏门控专家混合层（MoE），由多达数千个前馈子网络组成。可训练的门控网络确定用于每个示例的这些专家的稀疏组合。
mixture-of-experts:混合Keras专家层
04-30
混合Keras专家层 该存储库包含实现专家模型的卷积和密集混合的Keras层。 专家层的密集混合物 文件DenseMoE.py包含一个DenseMoE.py层，该层实现了专家模型的密集混合： 该层可以与Dense层相同的方式使用。...
mixture-of-experts:Noam Shazeer等人的“稀疏门控专家混合物层”的PyTorch重新实现。 https
05-04
PyTorch专家层的稀疏门控混合物 该存储库包含对PyTorch的《 描述的稀疏门控MoE层的PyTorch重新实现。 from moe import MoE # instantiate the MoE layer model = MoE ( input_size = 1000 , num_classes = 20 , ...
Mixture-of-Experts with Expert Choice Routing.pdf
06-15
在深度学习领域，特别是自然语言处理（NLP）任务中，混合专家模型（Mixture-of-Experts, MoE）因其能够有效利用大量参数而受到广泛关注。通过允许参数数量大幅增加的同时保持每个样本或令牌所需的计算量不变，MoE...
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
最新发布
haidizym的博客
10-06 403
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 920
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 541
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 812
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
数据结构-哈西表笔记
2302_80490510的博客
10-05 322
如果不用去重就可以用哈希表。
【韩顺平Java笔记】第6章：数组、排序和查找
随手写写
10-02 807
排序是将多个数据，依指定的顺序进行排列的过程。
MIXTURE-OF-EXPERTS
08-22
MTURE-OF-EXPERTS是一种推荐系统中的模型。它是一种多专家模型，可以将不同的专家的知识和能力结合起来，以提高推荐系统的性能。MMoE是MIXTURE-OF-EXPERTS的一种改进的模型。它引入了gate门函数来控制每个专家的权重输出。在MMoE实践过程中，发现了一个问题，即有时只有一个专家起作用，其权重被极化成001的形式。因此，MMoE是一种可以解决这个问题的改进的推荐模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [一文看懂推荐系统：排序02：Multi-gate Mixture-of-Experts (MMoE)](https://blog.csdn.net/weixin_46838716/article/details/126458980)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值