YOLOv11改进 | 注意力篇 | YOLOv11引入ACmix注意力机制

最新推荐文章于 2025-02-08 10:14:58 发布
最新推荐文章于 2025-02-08 10:14:58 发布
阅读量813 收藏 11
点赞数 9
分类专栏： YOLOv11有效涨点专栏 文章标签： YOLO 人工智能 深度学习 计算机视觉 机器学习 目标检测 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsg6698/article/details/142679174
版权

1. ACmix介绍

1.1  摘要：卷积和自注意力是表示学习的两种强大技术，它们通常被认为是两种彼此不同的同行方法。 在本文中，我们表明它们之间存在很强的潜在关系，从某种意义上说，这两种范式的大量计算实际上是通过相同的操作完成的。 具体来说，我们首先证明内核大小为 k×k 的传统卷积可以分解为 k2 个单独的 1×1 卷积，然后进行移位和求和操作。 然后，我们将自注意力模块中的查询、键和值的投影解释为多个 1×1 卷积，然后计算注意力权重和值的聚合。 因此，两个模块的第一阶段都包括类似的操作。 更重要的是，与第二级相比，第一级贡献了主要的计算复杂性（通道大小的平方）。 这种观察自然地导致了这两个看似不同的范式的优雅整合，即一个混合模型，它既享受自注意力和卷积（ACmix）的好处，同时与纯卷积或自注意力对应物相比具有最小的计算开销。 大量实验表明，我们的模型在图像识别和下游任务方面比竞争基线取得了持续改进的结果。

官方论文地址：

了解本专栏 订阅专栏 解锁全文
YOLOv10改进 | 注意力篇 | YOLOv10引入ACmix注意力机制
tsg6698的博客
06-15 329
在本文中，我们表明它们之间存在很强的潜在关系，从某种意义上说，这两种范式的大量计算实际上是通过相同的操作完成的。这种观察自然地导致了这两个看似不同的范式的优雅整合，即一个混合模型，它既享受自注意力和卷积（ACmix）的好处，同时与纯卷积或自注意力对应物相比具有最小的计算开销。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLO11论文 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】
kay_545
11-04 1658
yolo11，yolo11热力图，yolo11改进，yolo11论文
YOLOv11 论文阅读笔记
qq_62844104的博客
02-08 1703
YOLOv11 代表了 CV 领域的重大进步，提供了增强的性能和多功能性的引人注目的组合。] 等不同行业的宝贵工具。它的无缝集成能力和更高的效率使其成为寻求实施或升级其 CV 系统的企业的有吸引力的选择。总之，YOLOv11 融合了增强的特征提取、优化的性能和广泛的任务支持，使其成为解决研究和实际应用中复杂视觉识别挑战的强大解决方案。我们随后的分析将深入研究 YOLO11 的架构创新，包括其改进的主干和颈部结构，以及它在各种计算机视觉任务（如对象检测、实例分割和姿势估计）中的性能。
YOLOv11改进 | Neck篇 | YOLOv11引入Slim-Neck（轻量）
tsg6698的博客
10-01 2065
在标准的CNN架构中，随着网络深度的增加，空间信息逐步转化为通道信息，这一转换过程在每次特征图的空间压缩和通道扩展操作中往往伴随着语义信息的部分损失。GSConv通过其独特的设计，旨在在维持较低时间复杂度的同时，最大化地保留通道之间的潜在连接，从而减少信息的丢失。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
ACmix
qq_42129459的博客
04-17 1899
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 ACmix摘要一、KeyPoint二、设计方法1.Convolution2.读入数据总结 摘要 本文中，作者对卷积和self-attention进行对比研究，并证明了他们之间存在着很强的潜在关系，并且在某种意义上它们这两种操作实际上是在做相同的操作。
Self-Attention和CNN的优雅集成，清华大学等提出ACmix，性能速度全面提升
机器学习社区
12-03 3169
清华大学等提出了一个混合模型ACmix：它既兼顾Self-Attention和Convolution的优点，同时与Convolution或Self-Attention对应的模型相比，具有更小的计算开销。实验表明，本文方法在图像识别和下游任务上取得了持续改进的结果。 >>加入极市CV技术交流群，走在计算机视觉的最前沿论文链接：https://arxiv.org/pdf/2111.14
快速总结ACmix
qq_39027890的博客
10-11 360
自注意力机制：作者根据self-attention的原理，同样分解为两个阶段，把第一个阶段中将Q-K-V三个变量计算过程看成1×1的卷积核计算的过程。两个模块共享相同的1×1的卷积操作，重复使用计算后的特征图进行不同的聚合操作，最后将两个路径的输出加在一起，并由学习的参数进行控制比例。卷积操作：作者将核大小为K*K的卷积操作，进行分解为阶段一与阶段二，在阶段一的操作中存在着与1×1卷积核有着相同的计算构成的一部分。(2)提出了一种优雅的自注意力和卷积模块的集成方式，它兼具两者的优点。总之，上述分析表明，
YOLOv8改进 | 注意力篇 | YOLOv8引入ACmix注意力机制
tsg6698的博客
08-31 425
在本文中，我们表明它们之间存在很强的潜在关系，从某种意义上说，这两种范式的大量计算实际上是通过相同的操作完成的。这种观察自然地导致了这两个看似不同的范式的优雅整合，即一个混合模型，它既享受自注意力和卷积（ACmix）的好处，同时与纯卷积或自注意力对应物相比具有最小的计算开销。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv8改进 | 注意力机制 | 添加ACmix自注意力与卷积混合模型改善模型特征识别效率（提高FPS+检测效率）
Snu77的博客
12-28 8221
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。
YOLOv11改进 | 添加注意力机制 | 添加iRMB倒置残差块注意力机制（轻量化注意力机制）
Snu77的博客
10-21 1674
本文给家大家带来的改进机制是iRMB，其是在论文Rethinking Mobile Block for Efficient Attention-based Models种提出，论文提出了一个新的主干网络EMO后面我也会教大家如何使用该主干，本文先教大家使用该文中提出的注意力机制其主要思想是将轻量级的CNN架构与基于注意力的模型结构相结合有点类似ACmix)，我将iRMB和C2f结合，然后也将其用在了检测头种进行尝试三种结果进行对比，针对的作用也不相同，但是无论那种实验均有一定涨点效果。
YOLO11论文 | 实用脚本 | 绘制多个实验的loss、mAP@0.5、mAP@0.5:0.95的高级图像【科研必备 + 绘图神器】
kay_545
10-31 1150
yolo11，论文绘图
ACmix:卷积和self-attention的结合，YOLOv5改进之ACmix
weixin_47060902的博客
11-03 517
yolov5改进之ACmix，卷积和自注意力结合
ACmix：卷积与self-Attention的融合
tiehanhanzainal的博客
07-18 6161
ACmix是一种高效的卷积自注意力融合方法，集中了两种结构的优势，同时又能在计算开销上保持在能接受的范围。
ACmix：自注意力与卷积的结合
m0_63642362的博客
08-01 2638
卷积和自注意力是表示学习的两种强大技术，ACmix将自注意力与卷积相结合，并通过大量实验证明其在图像识别和下游任务的竞争基线上取得了持续改进的结果
【论文速看】DL最新进展20241001-目标检测YOLOv11、CNN、人脸修复
qq_40734883的博客
10-01 3003
【论文速看】DL最新进展20241001-目标检测YOLOv11、CNN、人脸修复
混合注意力 ACmix | On the Integration of Self-Attention and Convolution
YOLOv8项目贡献者
04-28 1363
CVPR2022 ACmix 注意力模块
YOLO元年！目标检测最强模型YOLOV11发布，全网首发yolov11原理+实战+论文解读教程！通俗易懂，科研人连夜水一篇SCI论文！计算机视觉|CV
yyyyyybw的博客
10-21 4844
Ultralytics的创始人兼CEO Glenn Jocher宣布，，它代表了计算机视觉领域的一次质的飞跃。YOLOv11 是近期受到关注的目标检测模型。它在 YOLOv9 及 v10 的基础上进行了改进，YOLO11不仅仅是一次简单的升级,包括增强的特征提取、优化的训练方法等，参数量比 YOLOv8 少 22%，推理速度比 YOLOv10 快 2%。性能飞跃：在COCO数据集上，YOLO11m比YOLOv8m使用22%更少的参数，却实现了更高的平均精度（mAP）。
注意力机制 改进YOLOV11
最新发布
02-19
### 使用注意力机制优化 YOLOv11 目标检测模型的方法 #### SimAM 模块简介 SimAM是一种简单且无参数的注意力模块，适用于卷积神经网络。此模块基于神经科学理论定义的能量函数来计算三维注意力建立权重，能够有效地提升网络表示能力，并具备轻量化和高效的特性[^1]。 ```python import torch.nn as nn class SimAM(nn.Module): def __init__(self, lambda_param=0.75): super(SimAM, self).__init__() self.lambda_param = lambda_param def forward(self, x): b, c, h, w = x.size() n = w * h - 1 # 计算能量分布 x_minus_mu_square = (x - x.mean(dim=[2,3], keepdim=True)).pow(2) val = x_minus_mu_square / ((n/(n-1))*(x_minus_mu_square.sum(dim=[2,3], keepdim=True))) # 应用激活函数得到最终输出 return x * (val + self.lambda_param + 1).clamp(min=0).sqrt() ``` #### 将SimAM融入YOLOv11架构 为了使YOLOv11受益于SimAM的优势，在设计阶段可以考虑将SimAM放置在网络的不同层次上，特别是在骨干网之后或颈部之前的位置。这有助于加强特征提取过程中的空间信息处理，进而改善对于小型目标及部分遮挡对象的识别效果。 #### ACmix 自注意力与卷积混合模型的应用 另一种方法涉及采用ACmix自注意力机制及其变体C2PSA。这种方法允许同时利用自注意力带来的全局感受野优势以及标准卷积捕捉局部模式的能力。具体来说，可以通过一系列1×1卷积层先映射输入特征图至中间状态；接着依据特定策略组合这些特征以形成新的表达形式[^3]。 ```python from functools import partial import torch from timm.models.layers import DropPath, trunc_normal_ def acmix(x, lamda=0.1): B_, C_, H_, W_ = x.shape qkv = x.reshape(B_, C_, -1) # 实现细节省略... out = ... # 经过处理后的张量 return out class ACMixBlock(nn.Module): def __init__(self, dim, num_heads=8, mlp_ratio=4., drop_path=0., act_layer=nn.GELU, norm_layer=partial(nn.LayerNorm, eps=1e-6)): super().__init__() self.norm1 = norm_layer(dim) self.attn = acmix(...) ... ``` 通过上述两种途径之一或者两者结合的方式引入适当类型的注意力机制，可望显著提高YOLOv11在各种条件下的表现水平，特别是针对那些难以被发现的小型物体或是处于复杂环境里的实例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值