注意力机制及代码详解

原文地址
注意力机制的核心重点是让网络关注到它更需要关注的地方

当我们使用卷积神经网络去处理图片的时候，我们更希望卷积神经网络去注意应该注意的地方，而不是什么都关注，我们不可能动手去调节需要注意的地方。这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要
注意力机制就是实现网络自适应注意的一个方式

一般而言，注意力机制可以分为通道注意力机制，空间注意力机制，以及二者的结合
1.SENet的实现
其重点是获得输入进来的特征层，每一个通道的权值。
具体实现方法是：
1.对于输入进来的特征层进行全局平均池化
2.然后进行两次全连接，第一次全连接神经元个数较少，第二次全连接神经元个数和输入特征层相同
3.在完成两次全连接后，我们再取一次Sigmoid将值固定再0-1之间，此时我们获得了输入特征层每一个特征层每一个通道的权值（0-1之间）
4.在获得这个权值后，我们将这个权值乘上原输入特征层即可

实现代码

import torch
from torch import nn

class senet(nn.Module):
    #因为要考虑输入进来的通道数，所以要传入，还要传入一个ratio,代表缩放的比例，第一次连接的比例少
    def __init__(self, channel, ratio=16):
        super(senet, self).__init__()   # 初始化的一个过程
        # 在高宽上进行平均池化，在完成平均池化后高宽是1了，所以自适应平均池化的参数设为1
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        # 定义两次全连接
        self.fc = nn.Sequential(
            # 定义一个神经元个数较少的全连接
            nn.Linear(channel, channel//ratio, False),  #不使用偏置量，设为False
            nn.ReLU(),  #激活函数
            nn.Linear(channel // ratio, channel,False),
            nn.Sigmoid(),
        )
    def forward(self,x):
        # 特征层的size，第一维度是batchsize,第二维度是通道数，第三维度是高，第四维度是宽
        b, c, h, w = x.size()
        # b, c, h, w -> b, c, 1, 1(平均池化后的形状是这样的,我们要去掉后两个维度，所以要reshape一下，用view)
        avg = self.avg_pool(x).view([b, c])
        #全连接层后，把它的宽高维度添加上去，再reshape下
        # b, c -> b, c//ratio ->b,c -> b, c, 1, 1
        fc = self.fc(avg).view([b, c, 1, 1])
        # 输出每个通道的权值
        print(fc)
        #之后将两次全连接后的结果乘上输入进来的特征层
        return x * fc

 # 输入通道数是512
model = senet(512)
print(model)
#随便定义一个输入看看
inputs = torch.ones([2, 512, 26, 26])

outputs = model(inputs)

2.CBAM的实现
CBAM将通道注意力机制和空间注意力机制进行另一个结合，CBMA会对输入进来的特征层分别进行通道注意力机制的处理和空间注意力机制的处理

下图是通道注意力机制和空间注意力机制的具体实现方式：
图像的上半部分为通道注意力机制，通道注意力机制的实现可以分为两个部分，我们会对输入进来的单个特征层，分别进行全局平均池化和全局最大池化。之后对平均池化和最大池化的结果，利用共享的全连接层进行处理，我们会对处理后的两个结果进行相加，然后取一个sigmoid，此时我们获得了输入特征层每一个通道的权值（0-1之间）。在获得这个权值后，我们将这个权值乘上原输入特征层即可。

图像的下半部分为空间注意力机制，我们会对输入进来的特征层，在每一个特征点的通道上取最大值和平均值。之后将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，然后取一个sigmoid，此时我们获得了输入特征层每一个特征点的权值（0-1之间）。在获得这个权值后，我们将这个权值乘上原输入特征层即可。

import torch
from torch import nn
class channel_attention(nn.Module):
    def