通道注意力机制 -- Squeeze-and-Excitation (SE)

SE 通道注意力

SE的架构如上图所示，简单描述为：

对于一个输入X，其经过卷积之后得到一个feature map（U），对于该feature map即可接上一个SE块，来附加上通道注意力；
对于U，先将其每个通道的空间信息压缩到一个单值，也即从HWC大小的U得到了11C大小的向量；
然后，对该向量应用一组FC层进行权重调整，得到一个11C的通道注意力向量；
最后，将通道注意力向量加权到U，形成一个加权后的feature map。
可以看出，SE的原理还是非常简单，总的来说，SE就是对每个通道上的权重进行了显式建模，然后再对原feature map加权，使其每个通道具有不同的重要程度，也即有了通道注意力机制。

压缩（Squeeze）

这个操作就是一个全局平均池化（global average pooling）。经过压缩操作后特征图被压缩为1×1×C向量。

激励（Excitation）