学习笔记5-SENet

注意力和门机制:注意力将可用处理资源的分配偏向于输入信号的信息最丰富的组成部分。

卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。而本文提出专注于通道，并提出了一种架构单元，称之为“Squeeze-and-Excitation”（SE）块。

动机：通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。

为了达到上述目的，我们提出了一种机制，使网络能够执行特征重新校准，通过这种机制可以学习使用全局信息来选择性地强调信息特征并抑制不太有用的特征。

SE模块

本文通过显式建模通道依赖性来实现确保能够提高网络对信息特征的敏感度，以便在进入下一个转换之前通过两步重新校准滤波器响应，两步为：squeeze和excitation操作。

Squeeze:全局信息嵌入。为了解决利用通道依赖性的问题，我们首先考虑输出特征中每个通道的信号。每个学习到的滤波器都对局部感受野进行操作，因此变换输出U的每个单元都无法利用该区域之外的上下文信息。在网络较低的层次上其感受野尺寸很小，这个问题变得更严重。为了减轻这个问题，我们提出将全局空间信息压缩成一个通道描述符。这是通过使用全局平均池化生成通道统计实现的。