Coordinate Attention学习笔记

赫瑟尔

已于 2022-04-22 16:52:15 修改

阅读量4.3k

点赞数

分类专栏：深度学习文章标签：深度学习

于 2022-04-22 16:50:11 首次发布

本文链接：https://blog.csdn.net/qq_42075634/article/details/124348927

版权

本文详细探讨了深度学习中的Coordinate Attention，解释了其结合通道间关系和位置信息的优势，指出该方法能提升MobileNet_v2和MobileNeXt等模型的特征表示性能，尤其适用于语义分割等密集预测任务。

摘要由CSDN通过智能技术生成

CVPR2021
Paper：https://arxiv.org/pdf/2103.02907.pdf
GitHub：https://github.com/Andrew-Qibin/CoordAttention

Coordinate Attention详细解说博客
 SE,CBAM详解

SE

在这里插入图片描述

代码：

#SE模块
class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)

在这里插入图片描述

#SE-ResNet模型
class SEBottleneck(nn.Module):
        expansion = 4

        def __init__(self, inplanes, planes, stride=1, downsample=None, reduction=16):
            super(SEBottleneck, self).__init__()
            self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False)
            self.bn1 = nn.BatchNorm2d(planes)
            self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride,
                                   padding=1, bias=False)
            self.bn2 = nn.Bat