对于任何给定的变换,例如卷积或一组卷积操作,都可以添加一个相应的挤压和激励模块(Squeeze-and-Excitation block)[14] 用于重新校准特征。
如图1所示,特征U首先经过一次挤压(squeeze)操作,通过在空间维度上整合特征图的方式,生成一个通道描述符。该描述符中嵌入了通道特征响应的全局分布,目的在于帮助网络更低层利用来自全局感受野的信息。之后进行一次激励(exciation)操作,通过基于通道间依赖性的自门限机制(self-gating mechanism)来考察各通道间的依赖程度。当两次操作完成后,重新加权的特征图作为SE模块的输出进入到后续层中参与训练。
图1 挤压和激励模块(SE block)