注意力机制：SEnet and CABD and BAM

注意力机制是源于nlp，在这篇论文中主要使用的是squeeze and excitation（压缩和激活）模块。

优点：可以学习使用全局信息来选择性地强调信息特征和抑制无用的特征。
se结构简单，轻量化，可以直接放在最先进的框架中，而且计算简单，只是稍微增加了计算的复杂度。
自动学习，而不是手工设计。
#SEnet

0.基础知识

0.1 Feedforword 结构

Feedforword 结构中主要起作用的是激活函数，通过激活函数增加模型的非线性学习能力；一般网络都是一个线性学习套一个激活函数增加它的学习能力，但self-attention里没有进行任何非线性学习，所以会在self-attention后增加feedforward层提高非线性学习能力
transfomer中的Feedforword 结构一般为两层，经过两层Feedforword 结构数据维度不会改变，是一个先升维再降维的过程

1.压缩SQUEEZE

首先是 Squeeze 操作，我们顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。使用全局均值池化：就是把一个通道上所有的数加起来然后除以元素个数

#和论文中表述的一样，很简洁，就是全局池化、线性层降维、relu、升维、在sigmoid
class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)#全局均值池化
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),#//整除
            nn.ReLU(inplace=True),#
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)#y.expand_as(x)是要y扩展到和x一样维度，之后再乘以x，就是给每个特征值加上通道注意力的权重

class SEBasicBlock(nn.Module):
    expansion = 1

    def __init__(self, inplanes, planes, stride=1, downsample=None, groups=1,
                 base_width=64, dilation=1, norm_layer=None,
                 *, reduction=16):
        #plane就是通道数，reduction是经验值，给固定了
        super(SEBasicBlock, self).__init__()
        self.conv1 = conv3x3(inplanes, planes, stride)
        self.bn1 = nn.BatchNorm2d(planes)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = conv3x3(planes, planes, 1)
        self.bn2 = nn.BatchNorm2d(planes)
        self.se = SELayer(planes, reduction)#很简单就插入了，轻量化模组
        self.downsample = downsample
        self.stride = stride

    def forward(self, x):
        residual = x#先保存一个输入
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)
        out = self.se(out)#给加完权了

        if self.downsample is not None:
            residual = self.downsample(x)

        out += residual
        out = self.relu(out)

        return out

class SEBottleneck(nn.Module):
    expansion = 4

    def __init__(self, inplanes, planes, stride=1, downsample=None, groups=1,
                 base_width=64, dilation=1, norm_layer=None,
                 *, reduction=16):
        super(SEBottleneck, self).__init__()
        self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False)
        self.bn1 = nn.BatchNorm2d(planes)
        self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride,
                               padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(planes)
        self.conv3 = nn.Conv2d(planes, planes * 4, kernel_size=1, bias=False)
        self.bn3 = nn.BatchNorm2d(planes * 4)
        self.relu = nn.ReLU(inplace=True)
        self.se = SELayer(planes * 4, reduction)
        self.downsample = downsample
        self.stride = stride

    def forward(self, x):
        residual = x

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)
        out = self.relu(out)

        out = self.conv3(out)
        out = self.bn3(out)
        out = self.se(out)

        if self.downsample is not None:
            residual = self.downsample(x)

        out += residual
        out = self.relu(out)

        return out

2.激活EXCITATION

为了限制模型复杂度和辅助泛化，论文通过引入两个全连接（FC）层（都是1
*1的conv层），即降维层参数为W1，降维比例为r（论文把它设置为16），然后经过一个ReLU，然后是一个参数为W2的升维层，再sigmoid一下。最后得到1*1*C的实数数列结合U（原始feature map）。通过参数 w 来为每个特征通道生成权重，其中参数 w 被学习用来显式地建模特征通道间的相关性。

最后是一个 Reweight 的操作，我们将 Excitation 的输出的权重看做是进过特征选择后的每个特征通道的权重，然后通过乘法逐通道加权到先前的特征上。

CBAM: Convolutional Block Attention Module

1.基础知识

整体结构如下，先全局池化—>全连接---->relu---->全连接---->sigmoid

宽度、深度、基数depth, width, and cardinality.
网络更深带来的一个非常大的好处，就是逐层的抽象，不断精炼提取知识，更深的网络层能学习到更加复杂的表达。

而宽度就起到了另外一个作用，那就是让每一层学习到更加丰富的特征，比如不同方向，不同频率的纹理特征。

ResNeXt的作者引入了一个被称为“基数”（cardinality）的超参数 - 即独立路径的数量，以提供一种新方式来调整模型容量。实验表明，通过增加“基数”提高准确度相比让网络加深或扩大来提高准确度更有效。这里的基数就是32，我感觉就是残差模块的宽度。

2.CBAM

2.1注意力机制

本文的作者觉得senet中提出的通道注意力只是次优特征，用使用空间注意力，并且使用了最大池化而不是全局均值池化
#####2.2.2卷积块注意力模块

整个注意力实施的过程，可以如下表示：
和senet一样，分两步：先提取相关注意力权重;再把权重乘到特征图谱上再进行下一步的前向传播。

2.2.新的通道注意力

使用最大池化和平均池化对feature map在空间维度上进行压缩，得到两个不同的空间背景描述。使用由多层感知器（只有一个隐藏层，所以可以写成两次矩阵乘法）组成的共享网络对这两个不同的空间背景描述进行计算得到channel attention map，最后加起来做sigmoid。这里池化后的f是11c维度，解决的是what

2.3空间注意力

这一步是输入是上一步的输出，即可通道注意力加权后的后特征图谱，这里池化完后的数据是1*h*w，结果基于channel 做concat操作。然后经过一个卷积操作，降维为1个channel。再经过sigmoid生成spatial attention feature。最后将该feature和该模块的输入feature做乘法，得到最终生成的特征。解决的是where的问题

2.4cbam+res

作者把cbam模块和res模块做了个串联，通道注意力为空间注意力服务，空间注意力为残差服务。也可以和senet一样，直接加载卷积的过程中，因为这就是个很轻量化的模块。

BAM

0.Bottleneck

先复习一下resent中残差块中的瓶颈模块


使用的是1*1的卷积神经网络，结构很方便改变维度。灵活设计网络，并且减小计算量。
#1.Bottleneck Attention Module
之前的cbam是先进行通道注意力，然后以其为输入进行计算空间注意力。在bam中是分步计算，求和在sigmoid

1.1通道注意力

和之前一样的是先全局均值池化、升维、降维；r还是16
和之前不一样的是这次使用了偏执和归一化

1.2空间注意力

先使用1*1卷积对跨通道的特征映射进行整合和压缩，再使用两个3*3卷积去获得上下文信息，最后再来个1*1卷积又变成了1*h*w维度的权重图谱了。而且还是用了归一化处理。

1.3结合两个注意力分支

这次的注意力图谱不再是2d的了，现在是3d的了。两个图谱的维度不一样，通道的是1*1*c,空间的是1*h*w，他把attention maps扩大到c*h*w维度

2.实验结果