YOLOv11改进 | 注意力篇 | YOLOv11引入GAM注意力机制

最新推荐文章于 2025-04-08 20:54:31 发布
最新推荐文章于 2025-04-08 20:54:31 发布
阅读量1.6k 收藏 17
点赞数 15
分类专栏： YOLOv11有效涨点专栏 文章标签： YOLO 深度学习 计算机视觉 目标检测 人工智能 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsg6698/article/details/142669615
版权

1.GAM介绍

摘要：为了提高各种计算机视觉任务的性能，人们研究了各种注意机制。然而，现有的方法忽略了保留通道和空间信息以增强跨维交互的重要性。因此，我们提出了一种通过减少信息减少和放大全球交互表示来提高深度神经网络性能的全球驻留机制。我们引入了具有多层单个Ceptron的3D置换用于信道注意，同时还引入了卷积空间注意子模块。对 CIFAR-100和lmageNet-1K上图像分类任务的拟议机制的评估表明我们的方法稳定地优于ResNet和轻量级的 MobileNet的几个最近的注意机制。

官方论文地址：https://ar5iv.labs.arxiv.org/html/2112.05561

官方代码地址：

了解本专栏 订阅专栏 解锁全文
YOLO11有效改进专栏目录
A1983Z的博客
10-14 1660
YOLO11改进专栏导航
YOLO11改进 | 注意力机制 | 添加GAM注意力机制 【完整代码】
kay_545
10-17 1381
yolo11，yolo11改进
YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10引入GAM和LinearAttention结合之LGAM注意力(全网独家创新)
tsg6698的博客
07-09 458
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~GAM仅依赖于通道注意力和空间注意力，没有使用线性注意力，因此在大规模数据处理时，LGAM具有明显的优势。综上所述，LGAM通过引入线性注意力机制、增强通道间的交互深度以及结合通道和空间注意力，实现了更高效、更强大和更全面的特征提取能力，在图像处理任务中表现优于传统的GAM注意力机制。
涨点技巧：注意力机制---Yolov5/Yolov7引入CBAM、GAM、Resnet_CBAM
03-17 9748
注意力机制全家桶系列之引入CBAM和GAM到yolo，结合通道和空间的注意力机制模块取得了涨点
【YOLO11改进trick】Attention引入，比CBAM还牛的GAM模块，含创新点GAM模块代码，方便发论文
向上生长的程序媛的博客
02-27 1260
注意力机制模块GAM引入YOLO11，显著提升检测精度，比其他注意力机制模块涨点明显，即插即用。推荐指数五颗星！适合发paper。
YOLOv11改进 | 独家创新- 注意力篇 | YOLOv11结合全新多尺度线性注意力机制MLAttention(全网独家创新)
tsg6698的博客
10-02 2082
(2). 多层次的特征融合：MLAttention模块中的多组卷积层会提取不同层次的特征，并通过逐步累加的方式将这些特征进行融合。这种设计不仅保留了原始特征的基本信息，还通过注意力机制对特征进行了加强，能够在保留基础信息的同时突出关键特征，进一步提升模型的特征表达能力。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv8改进 | 注意力机制 | 添加MSDA多尺度空洞注意力（全新的YOLOv8改进策略）
Snu77的博客
12-25 8917
本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是通过线性投影得到特征图X的相应查询、键和值。然后，将特征图的通道分成n个不同的头部，并在不同的头部中以不同的扩张率执行多尺度SWDA来提高模型的处理效率和检测精度。
YOLOv11模型改进-模块-引入空间自适应特征调制模块SAFM 提升多尺度、小目标检测
qq_64693987的博客
12-24 2203
SAFM 是一种空间自适应特征调制机制，它主要应用于图像超分辨率任务中。通过对输入特征进行动态调制，SAFM 能够自适应地选择代表性的特征表示，从而更好地恢复图像的细节和清晰度。这种机制的核心在于它能够从多尺度的角度处理特征，同时考虑局部和全局的信息，使得生成的特征更加具有判别性和鲁棒性。通道分割与初步处理首先对归一化的输入特征进行通道分割操作，产生四个部分组件。其中一个部分用深度卷积进行处理。其余三个部分则被送入多尺度特征生成单元，经过下采样、卷积和上采样等操作来生成多尺度特征。多尺度特征整合。
YOLOv11模型改进-注意力机制-引入自适应稀疏自注意力ASSA
qq_64693987的博客
10-16 3825
Adaptive Sparse Self-Attention（ASSA）是自适应稀疏Transformer（AST）模型中的关键组件，主要用于提升图像恢复任务的性能。ASSA的设计旨在减少标准Transformer模型中由于无关区域引入的噪声交互，同时解决特征冗余问题。稀疏自注意力（SSA）：使用基于ReLU的稀疏注意力机制，过滤掉查询与键之间低匹配的无关交互。这可以减少无效特征的参与，帮助聚焦在最有价值的信息交互上。
YOLOv11改进-卷积-引入Upsampling by Dynamic DySample 解决传统上采样灵活性问题
qq_64693987的博客
10-17 3508
现有的上采样方法如等，依赖于动态卷积来生成上采样的内容感知核，但这些方法需要额外的子网络生成动态卷积核计算量较大。尤其是 FADE 和 SAPA 需要高分辨率的特征图作为引导，进一步增加了计算负担，并限制了应用场景。DySample的核心思想是将上采样过程重新定义为点采样（Point Sampling）。通过学习输入特征图中的采样点坐标，DySample 生成内容感知的采样点来对特征图进行重新采样，而不是使用动态卷积核。具体实现步骤如下：​​1. 输入特征图：大小为 C×H×W的输入特征图。
YOLOv11改进 | 添加注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
10-23 2642
这篇文章给大家带来的改进机制是一个汇总篇，包含一些简单的注意力机制，本来一直不想发这些内容的（网上教程太多了，发出来增加文章数量也没什么意义），但是群内的读者很多都问我这些机制所以单独出一期视频来汇总一些比较简单的注意力机制添加的方法和使用教程，本文的内容不会过度的去解释原理，更多的是从从代码的使用上和实用的角度出发去写这篇教程。欢迎大家订阅我的专栏一起学习YOLO！YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、GAM2.1 GAM的介绍2.2 GAM的核心代码。
YOLOv8改进 | 注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
热门推荐
Snu77的博客
03-22 3万+
官方论文地址：官方论文地址点击此处即可跳转官方代码地址：官方代码地址点击此处即可跳转GAM旨在通过设计一种机制，减少信息损失并放大全局维度互动特征，从而解决传统注意力机制在通道和空间两个维度上保留信息不足的问题。GAM采用了顺序的通道-空间注意力机制，并对子模块进行了重新设计。具体来说，通道注意力子模块使用3D排列来跨三个维度保留信息，并通过一个两层的MLP增强跨维度的通道-空间依赖性。
YOLOv10改进 | 注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
07-14 1493
这篇文章给大家带来的改进机制是一个汇总篇，包含一些简单的注意力机制，本来一直不想发这些内容的（网上教程太多了，发出来增加文章数量也没什么意义），但是群内的读者很多都问我这些机制所以单独出一期视频来汇总一些比较简单的注意力机制添加的方法和使用教程，本文的内容不会过度的去解释原理，更多的是从从代码的使用上和实用的角度出发去写这篇教程。欢迎大家订阅我的专栏一起学习YOLO！YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、GAM2.1 GAM的介绍。
YOLOv10改进 | 注意力篇 | YOLOv10引入GAM注意力机制
tsg6698的博客
06-12 1097
对 CIFAR-100和lmageNet-1K上图像分类任务的拟议机制的评估表明我们的方法稳定地优于ResNet和轻量级的 MobileNet的几个最近的注意机制。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~新建一个yolov10nGAM.yaml文件后，在Backbone部分添加了GAM注意力机制，大家可以在其他地方多尝试。
YOLOv11改进 | YOLOv11引入MobileNetV4
最新发布
MR_Colorful的博客
04-08 1157
主要是对该文章进行复现，以及对一些问题进行解答。
YOLOv11改进，YOLOv11改进损失函数采用Powerful-IoU：自适应惩罚因子和基于锚框质量的梯度调节函数（2024年最新IOU）
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
10-09 1118
物体定位是物体检测中的一项关键任务，它严重依赖于边界框回归 (BBR) 损失函数的评估和优化。因此，边界框回归损失函数显著影响物体检测器的性能。大多数 BBR 损失可归类为 𝑙𝑛-norm 和基于 IoU 的损失。如下图所示，不同IoU 损失函数引导的锚框回归过程。彩色框为不同损失函数引导的锚框在回归过程中的分布。很明显，PIoU 损失引导的锚框回归最快，可以最快地逼近目标框。而且，除 PIoU 损失外，所有损失函数引导的锚框都存在面积扩大的问题，而 PIoU 损失引导的锚框不存在此问题。
YOLOv11模型改进-注意力-引入单头自注意力Single-Head Self-Attention（SHSA）解决小目标、遮挡
qq_64693987的博客
10-21 4037
SHSA通过仅对部分输入通道应用单头注意力，减少了计算冗余和内存访问成本。部分通道处理：仅对部分输入通道（默认比例为1/4.67）应用注意力层，其余通道保持不变。全通道投影：最终的投影应用于所有通道，确保注意力特征有效传播到所有通道。简化操作：减少内存绑定操作，提高了计算效率。
YOLOv11模型改进-模块-引入特征细化模块FRFN 解决小目标、遮挡等问题
qq_64693987的博客
12-24 1913
FRFN 是一种专门设计的深度学习结构，旨在提高图像处理任务中的特征表示能力。它的核心设计理念是通过逐层细化和优化特征图，从而实现更高的分类和检测精度。1. 特征提取层：通过卷积层提取初始特征，并进行批量归一化以增强稳定性。2. 特征细化模块：在每个模块中，当前层特征图与前一层特征图进行融合，以强化特征表示。3. 跳跃连接：通过跳跃连接保留多尺度信息，帮助缓解深层网络中的信息丢失。4. 非线性激活：使用激活函数（如ReLU）增加模型的非线性能力。5. 输出层。
yolov11 注意力机制
02-10
### YOLOv11中的注意力机制实现及其在目标检测中的应用 #### 注意力机制的重要性 为了增强YOLOv11的目标检测性能，引入了多种类型的注意力机制来改善特征图的质量。这些方法有助于更好地捕捉多尺度信息以及处理小目标和遮挡等问题[^1]。 #### MSDA多尺度空洞注意力 一种具体的改进方式是在YOLOv11中加入MSDA（Multi-Scale Dilated Attention），这是一种基于自注意力机制的方法，可以有效地获取不同尺度下的语义信息。通过调整不同的膨胀率参数，使得网络能够在更广泛的范围内感知上下文关系，从而提高对于各种尺寸物体的识别准确性[^4]。 ```python class MSDABlock(nn.Module): def __init__(self, channels): super(MSDABlock, self).__init__() # 定义多个带有不同扩张系数的一维卷积层模拟多尺度感受野 self.branches = nn.ModuleList([ nn.Conv2d(channels, channels//3, kernel_size=3, dilation=dil, padding=dil) for dil in [1, 2, 5] ]) def forward(self, x): out = torch.cat([branch(x) for branch in self.branches], dim=1) return F.relu(out) ``` #### LSKA大核可分离卷积注意力模块 除了上述提到的MSDA外，另一种有效的技术是采用LSKA（Large Separable Kernel Attention）。该组件融合了较大卷积核带来的广泛视野优势与轻量级的深度方向上的分解操作，既减少了运算负担又提升了模型的表现力。特别是当应用于小型物品或是密集分布的对象群组时效果显著[^3]。 ```python import math from functools import partial def lsk_block(in_channels, out_channels, stride=1, groups=1, norm_layer=None): layers = [] if norm_layer is None: norm_layer = nn.BatchNorm2d # 使用较大的7x7卷积代替标准的小型滤波器 conv_func = partial(nn.Conv2d, kernel_size=(7, 7), bias=False) layers.append(conv_func(in_channels=in_channels, out_channels=out_channels, stride=stride)) layers.append(norm_layer(out_channels)) layers.append(nn.ReLU(inplace=True)) return nn.Sequential(*layers) class LSkaBlock(nn.Module): expansion = 4 def __init__( self, inplanes: int, planes: int, stride: int = 1, downsample=None, groups: int = 1, base_width: int = 64, dilation: int = 1, norm_layer=None ) -> None: super(LSkaBlock, self).__init__() width = int(planes * (base_width / 64.)) * groups # Both self.conv2 and self.downsample layers downsample the input when stride != 1 self.conv1 = lsk_block( inplanes, width, stride, groups, norm_layer) self.conv2 = lsk_block(width, width, groups=groups, norm_layer=norm_layer) self.conv3 = lsk_block(width, planes * self.expansion, groups=groups, norm_layer=norm_layer) self.shortcut = nn.Identity() if downsample is not None or inplanes != planes * self.expansion: self.shortcut = nn.Sequential( nn.Conv2d(inplanes, planes*self.expansion, kernel_size=1, stride=stride, bias=False), norm_layer(planes * self.expansion) ) self.act_fn = nn.ReLU(inplace=True) def forward(self, x): identity = self.shortcut(x) out = self.conv1(x) out = self.conv2(out) out = self.conv3(out) out += identity out = self.act_fn(out) return out ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值