ImageNet准确率超过90%！谷歌大脑开源V-MoE，用稀疏条件计算来训练目前最大的视觉模型！（NeurIPS 2021）...

关注公众号，发现CV技术之美

▊ 写在前面

稀疏的专家混合网络 (Sparsely-gated Mixture of Experts networks (MoEs)) 在自然语言处理中显示出出色的可扩展性。然而，在计算机视觉中，几乎所有SOTA网络都是 “密集的”，也就是说，对于每个输入，每个参数都要参与计算 。

在本文中，作者提出了一种视觉MoE (V-MoE)，这是视觉Transformer的稀疏版本，它是可扩展的，并且可以与最大的密集网络性能相近。当应用于图像识别时，V-MoE与最新网络的性能相近，同时在推理时只需要一半的计算开销。

此外，作者提出了路由算法的扩展，该算法可以对整个batch中的每个输入的子集进行优先级排序，从而实现每幅图像的自适应计算。这使得V-MOE能够在测试时能够更好的权衡性能和计算量。最后，作者展示了V-MoE在视觉模型缩放方面的潜力，并在ImageNet上训练了一个15B参数的模型，达到了准确率90.35% 。

▊ 1. 论文和代码地址

Scaling Vision with Sparse Mixture of Experts

论文地址：https://arxiv.org/abs/2106.05974

代码地址：https://github.com/google-research/vmoe

▊ 2. Motivation

深度学习的一系列研究表明，增加网络容量和数据集大小通常会提高性能。在计算机视觉中，在大型数据集上预训练的大型模型通常会达到SOTA的水平。这种方法在自然语言处理(NLP)中取得了更大的成功，在自然语言处理中，大型的预训练模型无处不在，并且在许多任务上表现得非常好。

Text Transformers是迄今为止最大的模型，有些模型的参数超过100B。然而，这种模型的训练和推理成本都是非常昂贵的。这是因为这些深度网络通常是 “密集的”—每个样本都使用每个参数进行处理，因此具有很高的计算成本。

相比之下，条件计算旨在通过仅将参数子集应用于每个样本来增加模型容量，同时保持训练和推理成本大致恒定 。在NLP中，稀疏混合专家(MOE)</