注意力机制--CBAM

renxingshen2022

已于 2022-11-15 11:48:19 修改

阅读量3.3k

点赞数

分类专栏：卷积注意力机制文章标签： python 深度学习

于 2022-11-10 15:55:27 首次发布

本文链接：https://blog.csdn.net/renxingshen2022/article/details/127380714

版权

卷积注意力机制专栏收录该内容

6 篇文章 9 订阅

订阅专栏

注意力机制CBAM

简介

2018年ECCV，和BAM为同一团队打造。论文连接:CBAM
Convolutional Block Attention Module.
CBAM是轻量级注意力机制模块，不仅参数量和计算量小，而且能即插即用。

目的

对中间特征图从空间、通道两个维度上进行特征重构，无缝衔接到CNN中，实现端到端的训练。

算法流程图

在这里插入图片描述
首先，利用通道注意力机制对输入特征图进行特征重构，然后利用空间注意力机制对重构后的特征图在进行重构，等到最后的特征图。

step1:CBAM通道注意力操作：
在这里插入图片描述
输入特征图 $F$ 经过全局平均池化和全局最大池化，分别得到一维特征向量；两个特征向量经过一个权值共享的MLP，然后再进行权值相加，最后记过sigmoid激活函数得到通道注意力机制 $M_c$ 。
详细计算公式如下：
在这里插入图片描述
step2:CBAM空间注意力操作：

输入特征图 $F^{'}$ 在通道维度上经过全局平均池化和全局最大池化，分别得到size与 $F^{'}$ 相同，通道数为1的两个特征图；然后将两个特征图进行concat，再利用一个7*7的卷积核进行卷积操作，最后经过sigmoid激活函数得到空间注意力向量 $M_s$ 。
详细计算公式如下：
在这里插入图片描述
最后将 $F^{'}$ 与注意力向量 $M_s$ 相乘，得到最后的Refine Feature。

代码

代码粘贴自github。CBAM
地址：https://github.com/luuuyi/CBAM.PyTorch/blob/master/model/resnet_cbam.py

class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
           
        self.fc = nn.Sequential(nn.Conv2d(in_planes, in_planes // 16, 1, bias=False),
                               nn.ReLU(),
                               nn.Conv2d(in_planes // 16, in_planes, 1, bias=False))
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc(self.avg_pool(x))
        max_out = self.fc(self.max_pool(x))
        out = avg_out + max_out
        return self.sigmoid(out)

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv1(x)
        return self.sigmoid(x)