SENet原理与torch实现

SENet (Squeeze-and-Excitation Network) https://arxiv.org/pdf/1709.01507

原理

SE模块是一个即插即用的模块，它是对特征图进行处理变换，将输入的$C^{{}^{\prime }}\ast W^{{}^{\prime }}\ast H^{{}^{\prime }}$变为$C\ast W\ast H$。如上图。做这个变换的原因是考虑特征的不同通道之间的关系，对于特征图而言，大量的通道中，可能有的通道的特征图有用，而有的无效，SE的想法就是通过学习的方式获取每个特征通道的重要程度，然后依照这个重要程度提升有用的特征，抑制无效的特征。

模块名称的由来是图上的两个操作：squeeze和excitation。$F_{tr}$部分是一个普通的卷积变换，将输入变为$C\ast W\ast H$形状的$U$。对$U$进行