VanillaNet详解：极简的网络模型

0. 引言

深度学习模型架构越复杂越好吗？

自过去的几十年里，人工神经网络取得了显著的进展，这归功于一种理念：增加网络的复杂度可以提高性能。从 AlexNet 引爆了深度学习在计算机视觉的热潮后，研究者们为了提升深度网络的性能，精心地设计出了各种各样的模块，包括 ResNet 中的残差，ViT 中的注意力机制等。然而，尽管深层的复杂神经网络可以取得很好的性能，但他们在实际应用中的推理速度往往会受到这些复杂操作的影响而变慢。

来自华为诺亚、悉尼大学的研究者们提出了一种极简的神经网络模型 VanillaNet，以极简主义的设计为理念，网络中仅仅包含最简单的卷积计算，去掉了残差和注意力模块，在计算机视觉中的各种任务上都取得了不俗的效果。13 层的 VanillaNet 模型在 ImageNet 上就可以达到 83% 的精度，挑战了深度学习模型中复杂设计的必要性。

论文名称：VanillaNet: the Power of Minimalism in Deep Learning
论文地址：