三分钟学会使用系列(YOLOv5)|SA注意力机制,涨点神器!

三分钟学会使用系列(YOLOv5)|SA注意力机制,涨点神器!


本文旨在让读者快速了解相关技术并运用,欢迎关注。
  1. 原文地址:SA-NET: Shuffle attention for deep convolutional neural networks
  2. 代码地址:《**SA-Net/models/sa_resnet.py at main · wofmanaf/SA-Net **》

1. SA注意力导读

​ SA-Net发表于ICASSP 2021,是由南京大学杨育彬等人提出了一种新的注意力机制:置换注意力机制(shuffle attention)。它是一种引入了特征分组与通道置换的超轻量型空间-通道注意力机制。在ImageNet与MS-COCO数据集上取得了优于SE、SGE等性能,同时具有更低的计算复杂度和参数量。
在这里插入图片描述


2. 代码

​ SA代码。

class sa_layer(nn.Module):
    """Constructs a Channel Spatial Group module.

    Args:
        k_size: Adaptive selection of kernel size
    """

    def __init__(self, channel, groups=64):
        super(sa_layer, self).__init__()
        self.groups = groups
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.cweight = Parameter(torch.zeros(1, channel // (2 * groups), 1, 1))
        self.cbias = Parameter(torch.ones(1, channel // (2 * groups), 1, 1))
        self.sweight = Parameter(torch.zeros(1, channel // (2 * groups), 1, 1))
        self.sbias = Parameter(torch.ones(1, channel // (2 * groups), 1, 1))

        self.sigmoid = nn.Sigmoid()
        self.gn = nn.GroupNorm(channel // (2 * groups), channel // (2 * groups))

    @staticmethod
    def channel_shuffle(x, groups):
        b, c, h, w = x.shape

        x = x.reshape(b, groups, -1, h, w)
        x = x.permute(0, 2, 1, 3, 4)

        # flatten
        x = x.reshape(b, -1, h, w)

        return x

    def forward(self, x):
        b, c, h, w = x.shape

        x = x.reshape(b * self.groups, -1, h, w)
        x_0, x_1 = x.chunk(2, dim=1)

        # channel attention
        xn = self.avg_pool(x_0)
        xn = self.cweight * xn + self.cbias
        xn = x_0 * self.sigmoid(xn)

        # spatial attention
        xs = self.gn(x_1)
        xs = self.sweight * xs + self.sbias
        xs = x_1 * self.sigmoid(xs)

        # concatenate along channel axis
        out = torch.cat([xn, xs], dim=1)
        out = out.reshape(b, -1, h, w)

        out = self.channel_shuffle(out, 2)
        return out

3. 使用教程

​ 以YOLOv5为例,加入SA注意力机制。

# YOLOv5 🚀 by Ultralytics, AGPL-3.0 license

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.25  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [ -1, 1, sa_layer, []],
   [-1, 1, SPPF, [1024, 5]],  # 10
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 14

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 18 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 21 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 11], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 24 (P5/32-large)


   [[18, 21, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

4. 参考

  1. 原文地址:SA-NET: Shuffle attention for deep convolutional neural networks
  2. 代码地址:《**SA-Net/models/sa_resnet.py at main · wofmanaf/SA-Net **》

  • 18
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
OpenWrt是一个基于Linux的嵌入式操作系统,用于路由器和其他嵌入式设备。它提供了丰富的功能和自定义选项,但对于一些用户来说,在配置和安装上可能稍显复杂。以下是一个简化的OpenWrt安装教程,只需要三分钟和三个简单的步骤即可完成。 第一步,准备工作。首先,确保你拥有兼容OpenWrt固件的路由器设备,并且已连接好电源和网络线。其次,访问OpenWrt官方网站,下载适用于你的路由器型号和版本的固件文件。将该文件保存到你的计算机上。 第二步,进入路由器管理界面。打开你的浏览器,并在地址栏中输入“192.168.1.1”这个默认的路由器管理IP地址。如果你的路由器IP地址有所不同,请查阅相关的资料。在登录界面输入默认的用户名和密码,通常为“root”和“admin”。登录成功后,你将进入路由器的管理页面。 第三步,安装OpenWrt固件。在路由器管理页面中,找到“系统设置”或“固件升级”等类似选项。点击“浏览”按钮,选择之前下载好的OpenWrt固件文件,并点击“安装”或“升级”按钮。等待数分钟,直到固件文件安装完成并路由器自动重启。 通过以上三个简单的步骤,你就可以完成OpenWrt的安装了。安装完成后,你可以进一步在管理界面中自定义设置、添加插件和配置网络等。请注意,在进行任何操作前,务必备份你的路由器配置和数据,以免造成不可挽回的损失。有需要时,也可以参考官方文档和社区论坛,深入了解和利用OpenWrt的更多功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值