文章介绍了Switch Transformer模型，这是一种追求更高计算效率的稀疏激活专家模型。与T5模型对比，Switch Transformer在相同计算成本下表现更优，特别是在大规模参数设置下，其负对数困惑度更高，表明预测准确性增强。此外，该模型能被有效蒸馏为小而密集的模型，同时提升了预训练和微调的技术。Switch Transformer的编码器模块采用稀疏Switch FFN替代传统FFN，通过路由门值选择激活的专家，实现高效计算。
Switch Transformer: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
下载地址:
https://arxiv.org/pdf/2101.03961.pdf
github 代码：https://github.com/tensorflow/mesh/blob/master/mesh_tensorflow/transformer/moe.py
公众号：AliceWanderAI
Introduction
作者在Introduction 中提出：
为了寻求更高的计算效率，我们提出了一种稀疏激活的专家模型：Switch Transformer。在我们的案例中，稀疏性来自为每个输入样本仅激活神经网络权重的子集。
For seeking greater computational efficiency, we propose a sparsely-activated expert model: the Switch Transformer. In our case the sparsity comes from activating a subset of the neural network weights for each incoming example.
上面左图显示的是：sparse model
最低0.47元/天 解锁文章
扫一扫
1226
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
