SENets：Squeeze-and-Excitation Networks 论文阅读

概述：

本文ILSVRC 2017 classification的冠军之作，着重考察了深度卷积各通道间的关系，提出了Squeeze-and-Excitation结构，是网络结构设计的一种新的思想。基于目前主流的Inception或者ResNet结构，Squeeze-and-Excitation结构也非常易于添加实现。

Abstract：

卷积通过在一定感受野内融合空间和各通道间的信息达到提取特征的目的，目前有许多工作着眼于如何增强空间编码，这篇文章则更加关注于卷积过程中各通道之间的联系，提出了Squeeze-and-Excitation模块，旨在显式地表达各通道间的相互依赖关系。事实证明，SE模块显著地提高了现有模型的分类精度，SENets也获得了ILSVRC 2017 classification的冠军。

Introduction：

卷积的滤波器在局部感受野内去学习提取图像的二维空间信息和各通道之间的信息，对于二维空间的滤波增强方法研究较多，诸如Inception结构，使用不同尺寸的滤波核对同一feature map提取特征，以获得不同大小的感受野增强网络的表达能力。

在本篇文章中，作者从另外一个方面----Channel Relationship入手，设计一个新颖的Squeeze-and-Excitation模块去探索模拟各通道之间的相互依赖关系，从而达到增强网络表达的能力。

SE模块的基本结构如下图所示：

特征U首先经过squeeze处理，原来每个H*W的通道将产生一个唯一的描述子，这个描述子含有全局感受野的信息（说白了就是全局池化）。得到每个通道的全局描述子后，紧随其后的是excitation处理（两个fc）。

在论文中，我们看到这两步操作带来的计算量和复杂度是非常小的，但是对现有网络的改善较大，刷新了ILSVRC classification的记录。

Squeeze-and-Excitation Blocks：

Squeeze： global information embedding

一定大小的滤波核只能融合局部感受野内的信息，作用范围有限，不能考虑信息，特别是在低层卷积中，感受野的尺寸均较小。为了解决这一问题，作者提出squeeze 模块，将全局空间信息压缩为一个描述子，如figure 1所示，Squeeze 操作将维度为C*H*W的特征map 压缩为C*1*1：

                                                            

本文中使用的是较为简单的全局池化，当然也可以使用其他复杂的统计学原理。

Excitatiion：Adaptive Recalibration

为了充分利用Squeeze 提取的全局信息，作者使用excitation操作去充分挖掘各通道间的相互依赖关系。在这里作者使用了较为简单的带有Sigmiod激励的门限机制，如下式所示：

                                                

W1和W2代表两个全连接操作，其中 代表ReLU。为了降低计算量，引进一个比例因子r去控制通道数的数量，其中

。所以经过Squeeze和excitation 后，相当于产生维度为C*1*1的标量数据，Squeeze和excitation模块最后的输出是

                                                            

其中为公式(3)输出的标量，表示每个通道的尺度因子。

为直观地对Squeeze-and-Excitation模块进行理解，作者以Inception和ResNet为基本框架去应用SE模块，基本结构如下：

以上是鄙人对于SENets核心的理解，如有不妥之处，还望指正交流！