YOLOv9改进 | 特征融合篇,YOLOv9添加iAFF(多尺度通道注意力模块),二次创新RepNCSPELAN4结构,提升小目标检测能力

47 篇文章 6 订阅 ¥199.90 ¥299.90

在这里插入图片描述

摘要

特征融合,即来自不同层或分支的特征的组合,是现代网络架构中无处不在的一部分。虽然它通常通过简单的操作(如求和或拼接)来实现,但这种方式可能并不是最佳选择。在这项工作中,提出了一种统一且通用的方案,即注意力特征融合(Attentional Feature Fusion),适用于大多数常见场景,包括短跳跃连接和长跳跃连接引起的特征融合以及 Inception 层内的特征融合。传统注意力机制往往忽略了不同尺度的特征问题,尤其是当融合特征来自不同尺度的层时。为了更好地融合语义和尺度不一致的特征,提出了一个多尺度通道注意力模块(Multi-Scale Channel Attention Module),通过对通道的多尺度上下文信息进行聚合,能够同时强调全局分布较大的对象以及局部分布较小的对象。通过这种方式,网络能够更好地识别和检测尺度变化较大的对象。总而言之,该模块解决了在不同尺度上给出的特征融合时出现的问题,特征图的初始整合可能成为瓶颈,并且通过增加另一个层次的注意力(称之为迭代注意力特征融合)可以缓解这一问题。iAFF在特征融合方面具有很大的潜力,可以持续产生更好的结果。

理论介绍

AFF和iAFF的示意图如下:

在这里插入图片描述

AFF模块: 通过关注通道的不同尺度(即多尺度通道注意力),解决不同层次特征融合的语义和尺度不一致问题。图(a)中两个输入特征图(X 和 Y)的信息,经过多尺度通道注意力模块(MS-CAM)后,输出特征图Z。具体流程如下:

  • 输入特征 X 和 Y:分别表示不同层或不同尺度的特征图。它们的尺寸都是 C×H×W (C 是通道数,H 和 W 是特征图的高度和宽度)。
  • 加权乘法:首先对 X 和 Y
    进行通道上的加权操作,用不同的权重去强调某些通道的信息。通过加权乘法后,两个特征会分别与权重矩阵进行逐通道的乘法操作。
  • MS-CAM:经过通道加权后的 X 和 Y
    被送入多尺度通道注意力模块(MS-CAM)。这个模块负责捕捉不同尺度的全局和局部信息,确保不同分辨率下的特征都能得到充分的融合。
  • 加法操作:最后,将来自 X 和 Y 的特征经过加权求和后得到输出特征 Z。

iAFF模块 :在AFF模块基础上进一步引入另一层注意力,改善特征融合质量。 这些模块通过更有效的特征融合方式提升了网络整体性能。流程:

  • 第一次加权和融合:与 AFF 一致,首先对输入特征 X 和 Y 进行加权乘法和融合操作,得到初步的输出特征。
  • <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值