SENet论文记录

概述

CNN的核心构件是卷积算子，它使用网络在每一层的局部感受野内融合空间和信道信息来构建信息特征，研究试图通过提高空间编码的质量来增强CNN的代表性。卷积神经网络由一系列的卷积层，非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像特征来进行图像描述。SE模块通过明确地建模通道之间的依赖关系，自适应地重新校准通道方向的特征响应。在网络的每个卷积上，一组滤波器沿着输入信道表达邻近空间连接模式，在局部感受野融合空间和信道信息。最新研究表明，通过将学习机制集成到网络中，帮助捕获特征之间的空间相关性，可以增强CNN表示。一种方法由Inception系列流行起来，进一步的工作是设法更好地模拟空间依赖，并将attention纳入网络结构。在这篇网络中，我们研究了网络设计的另一个方面——通道之间的关系。
我们可以看到已经有很多工作在空间维度上提升网络的性能。那么很自然的想到，网络是否可以从其他方面来考虑提升性能，比如考虑特征通道之间的关系。我们通过这一点提出SENet。我们提出的网络中Squeeze和Excitation是两个关键的操作。SE目标是通过明确地建模卷积特性通道之间的相互依赖关系来提高网络的表示质量，所以，提出一种机制，允许网络执行特征重标定，通过这种机制，可以学习使用全局信息，有选择地强调重要特征，抑制不重要的特征。

Squeeze-and-Excitation Module

上图是SE模块示意图。给定一个输入x，其特征通道数为C‘，通过一系列卷积等变换后得到一个特征通道数c