Squeeze-and-Excitation Networks（论文翻译）

摘要

卷积神经网络建立在卷积操作的基础上，它通过在局部感受野中将空间和通道信息融合在一起来提取信息特征。为了提高网络的表示能力，最近的几种方法已经显示出增强空间编码的好处。在这项工作中，我们专注于通道关系并提出了一个新的架构单元，我们称之为“Squeezeand-Excitation”（SE）块，它通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。我们证明，通过将这些块堆叠在一起，我们可以构建 SENet 架构，该架构在具有挑战性的数据集上泛化得非常好。至关重要的是，我们发现 SE 块以最小的额外计算成本为现有的最先进的深度架构带来了显着的性能改进。 SENets 为我们的 ILSVRC 2017 分类提交奠定了基础，该分类获得了第一名，并将 top-5 错误显着降低至 2.251%，相对于 2016 年的获胜条目实现了 ∼25% 的相对改进。代码和模型可在 https:// github.com/hujie-frank/SENet。

1.引言

卷积神经网络 (CNN) 已被证明是处理各种视觉任务的有效模型 [21、27、33、45]。对于每个卷积层，学习一组滤波器来表示沿输入通道的局部空间连接模式。换句话说，通过在局部感受野内将空间和通道信息融合在一起，卷积滤波器有望成为信息组合。通过堆叠一系列与非线性和下采样交错的卷积层，CNN 能够捕获具有全局感受野的分层模式作为强大的图像描述。最近的工作表明，通过显式嵌入学习机制可以提高网络的性能帮助捕获空间相关性，而无需额外的监督。Inception 架构 [16, 43] 推广了一种这样的方法，这表明网络可以通过在其模块中嵌入多尺度过程来实现具有竞争力的准确性。最近的工作试图更好地模拟空间依赖性 [1, 31] 并结合空间注意力 [19]。

        在本文中，我们通过引入一个新的架构单元，我们将其称为“挤压和激励”（SE）块，来研究架构设计的不同方面 - 通道关系。我们的目标是通过显式建模其卷积特征的通道之间的相互依赖关系来提高网络的表示能力。为了实现这一点，我们提出了一种允许网络执行特征重新校准的机制，通过它可以学习使用全局信息来选择性地强调信息特征并抑制不太有用的特征。

        SE构建块的基本结构如图1所示。对于任何给定的变换 Ftr : X → U, X ∈ RH′×W ′×C′, U ∈ RH×W ×C，（例如一个卷积或一组卷积），我们可以构造一个对应的 SE 块来执行特征重新校准如下。特征 U 首先通过挤压操作，该操作聚合跨空间维度 H × W 的特征图以生成通道描述符。该描述符嵌入了通道特征响应的全局分布，使来自网络全局感受野的信息能够被其较低层利用。随后是激发操作，其中通过基于通道依赖性的自门控机制为每个通道学习的特定于样本的激活控制每个通道的激发。然后对特征图 U 进行重新加权以生成 SE 块的输出，然后可以将其直接馈送到后续层。

         SE 网络可以通过简单地堆叠 SE 构建块的集合来生成。 SE 块也可以用作架构中任何深度的原始块的直接替代品。然而，虽然构建块的模板是通用的，但正如我们在第 6.4