轻量级模块SENet与SKNet详解

SENet & SKNet

SENet（Squeeze-and-Excitation Networks）是2017ImageNet分类比赛冠军模型，论文发表于2018年CVPR，目前是CVPR2018引用量最多的论文。SKNet(Selective Kernel Networks)是2019CVPR的一篇文章。二者有一定共通之处，本文将这两个模型放在一起对比分析。
Paper : Sequeeze-and-excitation networks，Selective Kernel Networks
Github: Sequeeze-and-excitation networks，Selective Kernel Networks

1.引入

卷积核通常被看作是在局部感受野上，将空间(spatial)信息和特征维度(channel-wise)信息进行聚合的信息聚合体

从卷积核的意义入手，目前很多卷积神经网络的相关工作都是通过改进网络的空间结构来优化模型。如Inception模块通过引入不同大小的卷积核来获得不同感受野上的信息。或inside-outside网络参考空间上下文信息，等等。

那么可不可以在网络中加入特征维度信息呢？

基于这一想法，诞生了Squeeze-and-Excitation Networks。

2.SE-Net结构

SENet的作者想通过该模块实现两个功能

(1) 显式地建立模型，定义通道间关系
(2) 实现“特征重标定”。即对于不同channel-wise，加强有用信息并压缩无用信息

接下来看一下SENet结构

上图中X为输入向量，F_tr为一次普通卷积操作，从U到$\tilde{X}$的三步操作Squeeze，Excitation，Scale为SENet模块主要构成

2.1 Sequeeze：Global Information Embedding

In order to tackle the issue of exploiting channel dependencies, we first consider the signal to each channel in the output features. Each of the learned filters operates with a local receptive field and consequently each unit of the transformation output U is unable to exploit contextual information outside of this region.

为了能够建模通道间依赖关系，作者想要首先把每个通道信息用一个通道描述符来表示。即将每个通道上H$\times$W维度的信息压缩为一个数。我们可以很容易的想到一个办法——全局平均池化。（对应结构图中 F_sq(·) 操作）

Formally, a statistic z ∈ R^C is generated by shrinking U through its spatial dimensions H ×W ,such that the c -th element of z is calculated by:

这样我们就把H$\times$W$\times$C的矩阵压缩到了1$\times$ 1$\times$C，每个通道的信息都用该通道的全局平均池化值来表示

2.2 Excitation: Adaptive Recalibration

To make use of the information aggregated in the squeeze operation, we follow it with a second operation which aims to fully capture channel-wise dependencies.

为了能够使用这些压缩过的信息对通道关系进行建模，我们进行了第二步操作Excitation。
我们希望通道间关系的建模是灵活并且非线性的，于是在此处作者使用了一个简单且有效的全连接结构。（对应结构图中F_ex( · , W) 操作）

To meet these criteria, we opt to employ a simple gating mechanism with a sigmoid activation:
where δ refers to the ReLU function, W₁∈ R^{C$\times$ C r \frac{C}{r}}