演进中的归一化-激活层

这篇论文由来自 Google Brain 和 Google DeepMind 的 Han Jiao Liu、Andrew Brock、Karen Simonian 和 Guo Wili 共同撰写，其主题是关于进化图像神经网络中的归一化激活层。

论文指出，现有的图像神经网络架构，如 ResNet、MobileNet 和 EfficientNet，都遵循相似的设计原则，即由包含跳跃连接的模块堆叠而成。这些模块通常包含卷积层、批归一化层和非线性激活层（如 ReLU）。

论文重点关注批归一化层和激活层，并将其结合成一个名为“evoNorm”的层。evoNorm 层通过进化搜索来替代传统的归一化和激活层，并旨在提升网络性能。

论文通过将归一化和激活层分解成基本操作（如输入信号、组均值、偏差项、组标准差等）的方式，构建了一个图来表示这些操作的组合。然后，通过进化搜索，论文发现了一种新的激活函数，名为 evoNormS0，其数学表达式与传统的激活函数类似，但通过不同的操作组合实现。

总而言之，这篇论文通过进化搜索方法，提出了一种新的归一化激活层 evoNorm，旨在替代传统的批归一化层和激活层，以提升图像神经网络的性能。

归一化和激活层在历史上经历了各种手工制作变体的尝试，并取得了不同的结果。本文提出了一种进化搜索方法，旨在确定在特定设置下最终、最优的归一化-激活层组合。https://arxiv.org/abs/2004.02967摘要：归一化层和激活函数是深度神经网络中至关重要的组成部分，它们经常相互关联。我们没有分别设计它们，而是将它们统一到一个计算图中，并从低级原语开始进化其结构。我们的层搜索算法导致了 EvoNorms 的发现，这是一种超越现有设计模式的新归一化-激活层集合。其中一些层具有独立于批次统计的特性。我们的实验表明，EvoNorms 不仅在各种图像分类模型（包括 ResNets、MobileNets 和 EfficientNets）上表现出色，而且可以很好地迁移到 Mask R-CNN 用于实例分割和 BigGAN 用于图像合成，在许多情况下显著优于基于 BatchNorm 和 GroupNorm 的层。