SENet

卷积核是卷积神经网络的核心，通常被看作是在局部感受野上，对空间尺度信息和通道尺度信息进行了信息融合。卷积神经网络通常包括一系列的卷积层，非线性层，下采样层。

很多工作提出来从空间维度层面来提升性能，比如Inception结构中引入了多尺度信息，聚合多种不同感受野上的特征来获得性能增益。SENet是基于能否从通道层面（考虑特征通道之间的关系）的考虑提出的，动机是希望显式的建模特征通道之间的相互依赖关系，通过学习自动的获取到每个特征通道之间的重要程度，然后依据这个重要程度去提升有用的特征并抑制对当前任务作用不大的特征。

Fsq操作就是在空间特征维度上，通过全局平均池化操作将每个二维特征通道变成一个实数，这个实数在一定程度上具有全局的感受野，并且输出维度与输入维度相同

Fex操作包括：全连接（将通道数变为原来的十六分之一）+非线性激活（RELU）+全连接（将通道数变为原来的c）

Fscale操作：将Fex的输出权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。