即插即用篇 | YOLOv8 引入多光谱通道注意力 | 频率领域中的通道注意力网络

本改进已集成到 YOLOv8-Magic 框架。

在这里插入图片描述
在这里插入图片描述

注意力机制,尤其是通道注意力,在计算机视觉领域取得了巨大成功。许多工作聚焦于如何设计高效的通道注意力机制,同时忽略了一个基本问题,即通道注意力机制使用标量来表示通道,这很困难,因为会造成大量信息的丢失。在这项工作中,我们从不同的视角出发,将通道表示问题视为使用频率分析的压缩过程。基于频率分析,我们数学证明了常规的全局平均池化是频域中特征分解的一个特例。有了这个证明,我们自然地将通道注意力机制的压缩推广到频域,并提出了我们的方法,称为FcaNetFcaNet简单但有效。我们可以在现有通道注意力方法中修改几行代码来实现我们的方法。此外,与其他通道注意力方法相比,所提出的方法在图像分类、对象检测和实例分割任务上达到了最先进的结果。我们的方法能够持续超越基线SENet,在参数数量和计算成本相同的情况下。


1 论文简介

深度学习在图像识别、对象检测以及实例分割等计算机视觉任务中的广泛应用,促使研究者不断探索更加高效的模型架构。FcaNet(频率通道注意力网络)通过在频率领域优化通道注意力机制,提出了一种创新的视角来处理这些复

  • 10
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
引用[1]:高光谱图像(Hyperspectral Image, HSI)包含许多个狭窄的光谱波段,即HSI的光谱维,蕴含着丰富的光谱信息,可用于区分目标区域的地物信息。凭借其特有的光谱信息,HSI广泛应用于农业、分类、环境监测等方面。[1]引用[2]:Attention mechanism主要包括channel attention mechanism和spatial attention mechanism。前者的目的是找出哪个特征图对网络的学习比较重要。然后为不同通道的特征图重新分配权重。后者的目的是识别特征图哪些区域需要去重点关注。文章引入spectral attention分支,与channel分支和spatial分支构成一个联合的三分支attention block。[2]引用[3]:高光谱(HS)图像被广泛用于识别和表征感兴趣场景的目标,具有高获取成本和低空间分辨率。通过高空间分辨率多光谱(MS)图像的光谱重建获得高空间分辨率HS图像(HSI)是一种廉价的方法。在这文章,我们提出了一种渐进的空间-光谱联合网络(PSJN)来重建MS图像的HSI。PSJN由2-D空间特征提取模块、3-D渐进式空间-谱特征构造模块和谱后处理模块组成。[3] 问题: 高光谱注意力机制的权重是如何分配的? 回答: 高光谱图像注意力机制主要包括channel attention mechanism和spatial attention mechanism。其,channel attention mechanism用于确定哪个特征图对网络的学习更重要,并为不同通道的特征图重新分配权重。而spatial attention mechanism用于识别特征图需要重点关注的区域。此外,文章还引入了spectral attention分支,与channel分支和spatial分支构成一个联合的三分支attention block,以进一步提高注意力机制的效果。[2]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迪菲赫尔曼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值