SENet中SE通道注意力模块

---

学习内容：

原论文：Squeeze-and-Excitation Networks

论文链接：https://arxiv.org/abs/1709.01507

SE（Squeeze and Excitation） Module是属于通道注意力的一个轻量化模块，其主要通过在通道方向的分数，对通道进行加权，使得模型更加注意到某一通道。

SE Module结构图：

首先对x进行一系列变换，得到SE模块真正的输入X，文中就是一个标准的卷积操作。

SE模块可以分为两部分，分别是Squeeze和Excitation：

Squeeze：

        对输入X进行降维，输入X原来的维度是[c2, h, w]，降维后变成[c2, 1, 1]，这里是使用了全局平均池化操作，将通道方向的每个矩阵通过池化变成一个实数。

Excitation：

        对Squeeze后的结果进行两次全连接，第一次降低通道的数量[c2/16, 1, 1]，第二次又恢复到原来的大小[c2, 1, 1]，再经过一个Sigmoid激活函数，得到通道方向的注意力分数[c2, 1, 1]

随后将注意力分数与原输入相乘，进行加权，得到输出。

SENet在具体网络中的应用：

这里使用的是Global Average Pooling作为Squeeze操作。紧接着两个全连接层组成一个Bottleneck 结构去建模通道间的相关性，并输出和输入特征同样数目的权重。

我们将特征维度降低到输入的 1/16，然后经过ReLu激活后再通过一个全连接层回到原来的维度。这样做比直接用一个全连接层的好处在于：

①具有更多的非线性，可以更好地拟合通道间复杂的相关性；

②极大地减少了参数量和计算量。然后通过一个 Sigmoid 的门获得 0~1 之间归一化的权重

最后通过一个Scale的操作来将归一化后的权重加权到每个通道的特征上。

不仅如此，SE 模块还可以嵌入到含有跳跃连接的模块中。上右图是将SE嵌入到ResNet模块中的一个例子，操作过程基本和SE-Inception相同。

---