SE Module

SE Module

SE 结构是由momenta胡杰等人发表的ImageNet2017 冠军模型(插件)

SE 结构的作用：特征重标定。对每个特征通道设置权重激励，抑制对当前任务无用的特征

SE 结构的主要组成部分由池化层、全连接层(或者替换为卷积层)、ReLu组成

1. squeeze。将空间维度进行特征压缩，将CxHxW压缩为Cx1x1,表征着1x1能获取全局的感受野。
2. excitation。目的是生成每个特征通道的权重，这个权重作为后续表示每个特征通道的重要性(参数代表每个特征通道的重要性)，sigmoid函数获取每个通道归一化后的权重。
3. 使用Scale做权重与原先的每个特征加权(通道权重相乘–>各通道权重值分别和原特征图对应通道的二维矩阵相乘)

SE结构在Resnet中的应用：在每一个bottlenet的残差结构中进行卷积的最后卷积层加入SEnet，之后在做残差相加。

SE Module源码

class SEModule(nn.Module):
    '''
    SEModule :
    1. 使用global average pooling做squeeze(压缩)操作， 目的是将空间维度进行特征压缩，将CxHxW压缩为Cx1x1,表征着
        1x1能获取全局的感受野
    2. 使用FC层、Relu、FC层、sigmoid函数做excitation(激励)操作，目的是生成每个特征通道的权重，这个权重作为后续表示每个特征通道的重要性(参数
        代表每个特征通道的重要性)，sigmoid函数获取每个通道归一化后的权重
    3. 使用Scale做权重与原先的每个特征加权(通道权重相乘-->各通道权重值分别和原特征图对应通道的二维矩阵相乘)
    总结：
        SE module具有注意机制的原因是：区分每个特征通道的重要性，为每个特征通道赋予权重，降低不重要的特征影响。
        SE module：完成在通道维度上对原始特征的重标定

        SE module在resnet50的嵌入，主要是嵌入在每一个残差模块，残差的输出是SE module的输入；SE module的输出与该残差结构的
            另一分支进行残差相加
    '''

    def __init__(self, channel, reduction=16):
        super(SEModule, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)

SEResnet50 模型

if __name__ == '__main__':
    import timm
    model = timm.create_model("seresnet50",pretrained=False)
    print(model)