计算机视觉通道域（channel）注意力机制——SENet

属于注意力机制在cv领域的channel注意力机制，SENet一个很大的优点就是可以很方便地集成到现有网络中，提升网络性能，并且代价很小。

首先是结构：

 

原来的任意变换将输入X变为输出U，现在假设输出的U不是最优的，每个通道的重要程度不同，有的通道更有用。

对于每一输出通道，先global average pool，每个通道得到1个标量，C个通道得到C个数，然后经过FC-ReLU-FC-Sigmoid得到C个0到1之间的标量，作为通道的权重，原来的输出通道每个通道用对应的权重进行加权（对应通道的每个元素与权重分别相乘），得到新的加权后的特征，作者称之为feature recalibration。

第一步每个通道HxW个数全局平均池化得到一个标量，称之为Squeeze，然后两个FC得到01之间的一个权重值，对原始的每个HxW的每个元素乘以对应通道的权重，得到新的feature map，称之为Excitation。任意的原始网络结构，都可以通过这个Squeeze-Excitation的方式进行feature recalibration，采用了改方式的网络，即SENet版本。

上面的模块很通用，也可以很容易地和现有网络集成，得到对应地SENet版本，提升现有网络性能，SENet泛指所有的采用了上述结构地网络。另外，SENet也可以特指作者 ILSVRC 2017夺冠中采用的SE-ResNeXt-152 (64 × 4d）。