【论文笔记】Switch Transformer, Google 2021

已于 2022-02-12 16:50:15 修改
阅读量2.1k 收藏 2
点赞数
分类专栏： 论文分析 文章标签： transformer 深度学习
于 2022-02-11 16:35:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cmajalis/article/details/122883592
版权
本文介绍了Google的Switch Transformer，它简化了MoE路由算法，通过使用稀疏激活的专家模型，实现了在固定计算成本下扩大模型规模。在相同计算资源下，Switch模型的预训练速度比密集模型快7倍，并且在多种下游任务中表现出色。此外，作者还提出了一种方法，即使在资源有限的情况下，也能实现模型蒸馏和性能提升。
摘要由CSDN通过智能技术生成

论文信息

标题：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

作者：William Fedus, Barret Zoph, Noam Shazeer, (Google 2021)

资源：paper、code

摘要

MoE (Mixture of Expert) 模型的特点：

  • select different parameters for each incoming example.
  • a sparsely-activated model – with an outrageous number of parameters – but a constant computational cost.
  • 限制MoE广泛使用的因素&#
最低0.47元/天 解锁文章
cmajalis
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[MoE论文翻译]Switch Transformer通过简单高效的稀疏性扩展到万亿参数模型
人工智能曾小健
06-26 861
在深度学习中，模型通常对所有输入重用相同的参数。专家混合 (MoE) 模型违背了这一点，而是为每个传入示例选择不同参数。结果是一个稀疏激活的模型——参数数量惊人——但计算成本恒定。然而，尽管教育部取得了一些显着的成功，但广泛采用仍因复杂性、通信成本和训练不稳定而受到阻碍。我们通过引入开关变压器来解决这些问题。我们简化了 MoE 路由算法，并设计了直观的改进模型，降低了通信和计算成本。我们提出的训练技术减轻了不稳定性，并且我们首次展示了大型稀疏模型可以使用较低精度（bfloat16）格式进行训练。
Switch Transformer
烟杨绿未成
04-09 3208
SWITCH TRANSFORMER：Transformer类的万亿级别模型 2021年1月，谷歌大脑团队发布了一篇文章“SWITCH TRANSFORMERS: SCALING TO TRILLION PARAMETER MODELS WITH SIMPLE AND EFFICIENT SPARSITY”，文章提出了号称拥有万亿级别的Transformer类模型，命名为SwitchTransformer。以下为本文的主要逻辑结构： 简述预训练语言模型的发展脉络 介绍文章的研究成果介绍Switch..
Switch Transformers 的模型架构
步子哥的博客
12-18 560
Switch Transformers 代表了 Transformer 模型发展的一个重要方向，它通过引入稀疏性和 MoE 技术，为提升模型性能和可扩展性提供了新的可能性。**注意力模块：**注意力模块用于处理输入和专家参数之间的交互。注意力模块可以是标准的 Transformer 注意力模块，也可以是其他改进后的注意力模块。**专家：**Switch Transformers 由多个专家组成，每个专家都具有独立的参数。专家的数量可以根据需要进行调整。**路由器：**路由器负责根据输入选择合适的专家。
论文研究-基于NOX的switch组件的分析与改进 .pdf
08-19
基于NOX的switch组件的分析与改进，徐秋伊，，OpenFlow是美国斯坦福大学于2007年提出的一种支持网络创新研究的新型网络交换模型，该模型通过开放的流表支持用户对网络的处理行为进
关于MUD（一）
weijiahongsz的博客
12-02 1667
作为一个网络设备厂商，思科的物联网方案，对网络连接，安全，可视化等方面的思考更为深入，也在这些方向上提出了一些方案。 按思科的观点，如果要实现物联网的安全，就要了解更多接入网络的设备信息，比如：谁？ 什么类型，位置，接入方式（有线，无线，其他），它的行为，合规性，是否访问还是的网络资源，是否必需， 设备行为正常与否？ 知道这些，网络可以做两件事，大大提升网络的安全性： 第一件事、实现对物联网设备的状态可视化 第二件事，基于意图，自动执行网络策略，实现segmentation，降低网络安全风险。 MUD就是
Switch Transformers：通往万亿参数模型之路
weixin_51697828的博客
12-20 833
原文：Fedus,William,BarretZophandNoamM.Shazeer.“SwitchTransformers:ScalingtoTrillionParameterModelswithSimpleandEfficientSparsity.”ArXivabs/2101.03961(2021). 1.Abstract 在深度学习中，模型通常对所有输入复用相同的参数。混合专家(MoE)模型对此不屑一顾，而是为每个输入的示例选择不同的参数。结果形...
深入解读首个万亿级语言模型Switch Transformer
Paper weekly
04-26 3069
作者｜AI Box来源｜RUC AI Box本文深入解读了由 Google Brain 设计的名叫「Switch Transformer」的简化稀疏架构，可以将语言模型的参数量扩展至 1...
transformer论文笔记及思维导图
03-12
transformer论文笔记及思维导图，自留。推荐下列课程 【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...
机器学习笔记-Transformer
08-03
Transformer语言模型是一种基于注意力机制的深度学习模型，它是在2017年由Google提出的，被广泛应用于自然语言处理领域。 Transformer模型主要由编码器和解码器组成，其中编码器将输入的文本序列转换为一组向量，...
Transformer 相关论文
最新发布
04-19
### Transformer 相关论文：视觉Transformer模型压缩与加速策略 #### 概述 近年来，Transformer 模型在计算机视觉领域取得了显著成就，特别是在图像分类、目标检测等任务上展现出卓越性能。然而，这类模型通常计算...
hackatom-transformer-2021
02-08
Transformer模型由Google在2017年的论文《Attention is All You Need》中提出，彻底改变了序列到序列学习的方式。它主要应用于机器翻译、文本生成、问答系统等多个自然语言处理任务。 这个项目可能是为了教授或实践...
Transformer学习笔记
08-07
Tranformer源码
稀疏专家混合模型的崛起：Switch Transformer
数智笔记
02-24 1522
稀疏MoE是一项开创性的技术，因为它允许我们以约O(1)的计算复杂度扩展建模容量，并实现了Google的Switch Transformer、OpenAI的GPT-4、Mistral AI的Mixtral-8x7b等突破性进展。Switch Transformer 将 T5 Transformer 中的 FFN 层替换为使用硬路由的稀疏 MoE 层。容量因子决定了每个专家允许处理多少个标记，是在权衡标记丢弃和机器利用率之间进行交换的杠杆。
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
hellozhxy的博客
01-12 374
专家混合（MoE）模型则不同，它针对每个输入示例选择不同的参数。其结果是一个稀疏激活的模型--参数数量多得离谱--但计算成本不变。然而，尽管 MoE 取得了一些显著的成功，其广泛应用仍受到复杂性、通信成本和训练不稳定性的阻碍。我们通过引入Switch Transformers来解决这些问题。我们简化了 MoE 路由算法，设计了直观的改进模型，降低了通信和计算成本。我们提出的训练技术可减轻不稳定性，并首次展示了可使用较低精度（bfloat16）格式训练大型稀疏模型。
谷歌新语言模型Switch Transformer
deephub
01-27 6139
在过去的三年中，基于transformer的语言模型(LMs)在自然语言处理(NLP)领域一直占据着主导地位。Transformer 通常是在大量非结构化文本上预先训练的巨大网络，它能够捕捉有用的语言属性。然后，我么可以对预先训练的模型进行微调，以适应各种各样的最终任务，如回答问题或机器翻译，通过微调即使是在少量的标记数据上也可以训练出可用的模型。Switch Transformer发布前，谷歌的T5模型一直是多个NLP基准上的记录保持者，但是最近被它自己的Switch Transformer超越。 并非所
Transformer变体（Sparse Transformer，Longformer，Switch Transformer）
nakaizura
02-01 3692
不知不觉Transformer已经逐步渗透到了各个领域，就其本身也产生了相当多的变体，如上图。博主前一篇类似博文更新了 Transformer变体（Star-Transformer，Transformer-XL），本篇文章想整理一下这两篇很重要的Transformer变体，分别是Sparse Transformer and Switch Transformer。 Explicit Sparse Transformer: : Concentrated Attention Through Explicit .
Facebook经典CTR预估模型
hellozhxy的博客
10-28 565
这里是「王喆的机器学习笔记」的第九篇文章，今天我们重读一篇经典的CTR预估领域的论文，Facebook在2014发表的“Practical Lessons from Predicting Clicks on Ads at Facebook”。 在这篇文章中，Facebook提出了经典的GBDT（Gradient Boosting Decision Trees）+LR(Logistics Regression)的CTR模型结构，可以说开启了特征工程模型化、自动化的新阶段。此外其在五年前就采用的online
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值