YOLOv11改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力

最新推荐文章于 2025-03-17 17:13:20 发布
最新推荐文章于 2025-03-17 17:13:20 发布
阅读量904 收藏 2
点赞数 6
分类专栏： YOLOv11改进专栏 文章标签： YOLO 深度学习 计算机视觉 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/142925365
版权

一、本文介绍

本文记录的是利用单头自注意力SHSA改进YOLOv11检测模型，详细说明了优化原因，注意事项等。传统的自注意力机制虽能提升性能，但计算量大，内存访问成本高，而SHSA从根本上避免了多注意力头机制带来的计算冗余。并且改进后的模型在相同计算预算下，能够堆叠更多宽度更大的块，从而提高性能。

专栏目录：YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv11改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

了解本专栏 订阅专栏 解锁全文
YOLOv11改进策略【Conv和Transformer】| ACmix 卷积和自注意力的结合，充分发挥两者优势
Limiiiing的博客
10-14 830
传统的卷积可以分解为多个1×11×11×1卷积，然后是位移和求和操作。例如对于一个k×kk×kk×k的卷积核，可分解为k2k^{2}k2个1×1×1×卷积。
YOLOv11改进策略【Conv和Transformer】| 引入CVPR-2024 RepViT 轻量级的Vision Transformers模块 RepViTBlock
最新发布
Limiiiing的博客
03-24 337
本文记录的是。RepVit的网络结构借鉴ViT的设计理念，通过分离的token mixe和减少推理时的计算和内存成本，同时减少扩展比率并增加宽度，降低延迟，并通过来弥补参数大幅减少的问题，在轻量化的同时提高准确性。
Swin Transformer + YOLO系列!（以YOLOv11为例） 层级式特征提取 猛猛提点！保姆级手把手教程来了！（已出单版！！！！）
m0_56520034的博客
03-17 1004
上图为Swin Transformer网络结构图传统检测基于卷积思想（CNN）进行特征提取，CNN更为关注局部特征，忽略了局部与局部之间的联系，而Transformer很好地解决了这一问题。Swin Transformer更多地结合了计算机视觉的先验知识，实现了与卷积神经网络类似的层级化结构设计，通过Self Window、Shifted Window配对的灵活的自注意力机制，使得网络在较浅的层级就已经拥有了覆盖全局的感受野，拥有全局建模的能力，并且提高了模型的计算性能。详细内容，请见原文。
YOLOv11改进策略【Conv和Transformer】| 上下文转换器CoT 结合静态和动态上下文信息的注意力机制 (含二次创新C3k2)
Limiiiing的博客
10-18 590
本文记录的是利用模块优化的目标检测网络模型。 将静态上下文和自注意力学习动态上下文统一在一个架构中，有效地提升了在 2D 特征图上进行视觉表示学习时自注意力学习的能力，本文将深入研究的原理，并将其应用到中，进而更有效的增强模型对视觉信息的学习和表示能力。Contextual Transformer Networks for Visual Recognition如图所示，假设输入的2D特征图为XXX，键K=XK = XK=X，查询Q=XQ = XQ=X，值V=XWvV = XW_{v}V=XWv​。首先使用k
YOLOv11改进策略【Conv和Transformer】| CVPR-2021 Bottleneck Transformers 简单且高效的自注意力模块
Limiiiing的博客
10-12 470
本文记录的是利用优化的目标检测网络模型。标准的卷积操作虽然能有效捕获局部信息，但在处理需要全局信息整合的任务时存在局限性，而自注意力机制能够有效地建模长距离依赖，因此考虑将其引入到视觉架构中。本文利用将标准卷积和自注意力相结合，提高模型的全局感知能力。Bottleneck Transformers for Visual Recognition是一种将自注意力（Self-Attention）融入计算机视觉任务的骨干架构，其设计的原理和优势如下：是通过将ResNet瓶颈块中的空间3×3卷积替换为来构建的（如图所
YOLOv11改进策略【Conv和Transformer】| 2024 AssemFormer 结合卷积与 Transformer 优势，弥补传统方法不足
Limiiiing的博客
10-12 936
本文记录的是利用优化的目标检测网络模型。传统卷积和池化操作会导致信息丢失和压缩缺陷，且传统的注意力机制通常产生固定维度的注意力图，忽略了背景中的丰富上下文信息。本文的利用改进，以在特征传递和融合过程中增加多尺度的学习能力。Exploiting Scale-Variant Attention for Segmenting Small Medical Objects包含一个3×33×33×3卷积和一个1×11×11×1卷积，接着是两个Transformer块和两个卷积操作。它通过堆叠和拆分特征图来连接卷积和Tr
YOLOv8改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力
Limiiiing的博客
12-14 111
宏观设计层面：传统的高效模型大多采用4×44×44×4的patchify stem和4阶段配置，存在空间冗余，导致早期阶段速度瓶颈且内存访问成本高。研究发现采用更大步长的16×1616×1616×16patchify stem和3阶段设计可减少空间冗余，降低内存访问成本，提高性能。微观设计层面：**多注意力头机制（MHSA）**在计算和应用注意力映射时虽能提升性能，但存在冗余。
RT-DETR改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力
Limiiiing的博客
11-28 264
宏观设计层面：传统的高效模型大多采用4×44×44×4的patchify stem和4阶段配置，存在空间冗余，导致早期阶段速度瓶颈且内存访问成本高。研究发现采用更大步长的16×1616×1616×16patchify stem和3阶段设计可减少空间冗余，降低内存访问成本，提高性能。微观设计层面：**多注意力头机制（MHSA）**在计算和应用注意力映射时虽能提升性能，但存在冗余。
YOLOv10改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力
Limiiiing的博客
11-11 422
宏观设计层面：传统的高效模型大多采用4×44×44×4的patchify stem和4阶段配置，存在空间冗余，导致早期阶段速度瓶颈且内存访问成本高。研究发现采用更大步长的16×1616×1616×16patchify stem和3阶段设计可减少空间冗余，降低内存访问成本，提高性能。微观设计层面：**多注意力头机制（MHSA）**在计算和应用注意力映射时虽能提升性能，但存在冗余。
YOLOv12改进策略【Conv和Transformer】| CVPR-2024 Single-Head Self-Attention 单头自注意力（二次改进A2C2f）
Limiiiing的博客
03-07 121
宏观设计层面：传统的高效模型大多采用4×44×44×4的patchify stem和4阶段配置，存在空间冗余，导致早期阶段速度瓶颈且内存访问成本高。研究发现采用更大步长的16×1616×1616×16patchify stem和3阶段设计可减少空间冗余，降低内存访问成本，提高性能。微观设计层面：**多注意力头机制（MHSA）**在计算和应用注意力映射时虽能提升性能，但存在冗余。
详解单头self Attention的计算，并说明和多头注意力的优劣和不同
强化学习曾小健
12-03 1466
单头自注意力机制（Single-Head Self-Attention）和多头自注意力机制（Multi-Head Self-Attention）是Transformer模型中的两种关键注意力机制，它们在处理序列数据时有着不同的计算方式和优劣。单头自注意力机制的计算过程如下：输入向量的投影：输入序列首先通过三个不同的线性变换矩阵（权重矩阵），分别生成查询（Query）、键（Key）和值（Value）向量。这些矩阵通常称为WQ、WK和WV。自注意力机制Self-attention（2）_构造自注意力 …点积注意
YOLOv8改进 | 注意力机制 | 添加MSDA多尺度空洞注意力（全新的YOLOv8改进策略）
Snu77的博客
12-25 8898
本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是通过线性投影得到特征图X的相应查询、键和值。然后，将特征图的通道分成n个不同的头部，并在不同的头部中以不同的扩张率执行多尺度SWDA来提高模型的处理效率和检测精度。
即插即用篇 | YOLOv11 引入高效的直方图Transformer模块 | 突破天气障碍：Histoformer引领高效图像修复新路径
YOLOv8项目贡献者
11-19 2050
即插即用篇 | YOLOv11 引入高效的直方图Transformer模块 | 突破天气障碍：Histoformer引领高效图像修复新路径
YOLOv10改进策略【Head】| 增加针对 大目标 的检测层 （四个检测头）
Limiiiing的博客
11-18 504
在目标检测领域，大目标在图像中所占比例大，下采样不足容易缺少大目标的信息，其检测同样是一个具有挑战性的问题。算法以其高效快速的特点受到广泛关注，然而其基础模型在面对大目标时，仍存在一些局限性。本文将介绍如何在中添加大目标检测层，以提高对大目标的检测能力。原始模型结构如下：详细内容参考：YOLOv10原始模型结构介绍 二、有效特征层对应的检测头类别 2.1 P3/8 - small检测头 原始模型中的对应的检测头主要用于检测相对较小的目标。其特征图大小相对较大，空间分辨率较高。 适合检测尺寸大概在到像素左右
【即插即用完整代码】CVPR 2024部分单头注意力SHSA，分类、检测和分割SOTA！
m0_58508552的博客
01-06 1198
【即插即用完整代码】CVPR 2024部分单头注意力SHSA，分类、检测和分割SOTA！
即插即用篇 | YOLOv8 引入单头视觉Transformer模块 | CVPR 2024
YOLOv8项目贡献者
09-26 1836
即插即用篇 | YOLOv8 引入单头视觉Transformer模块 | CVPR 2024
YOLOv10改进 | 注意力篇 | YOLOv10引入Deformable Attention Transformer(DAT)注意力机制
tsg6698的博客
06-27 524
这种新的注意力模式不是简单地对所有查询分配固定的注意力点，而是学习一组与查询无关的偏移量，用于将所有者的键和值移动到重要区域。值得注意的是，虽然这种变形的多头注意力计算复杂性与PVT或Swin Transformer相当，但由于其独特的设计，使得内存复杂度保持在线性级别。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 | 主干/Backbone篇 | 利用目标检测轻量化网络MobileNetV2替换Backbone（yolov11系列全系轻量化）
Snu77的博客
10-31 1943
本文给大家带来的改进机制是，其是专为移动和嵌入式视觉应用设计的轻量化网络结构。其在MobilNetV1的基础上采用反转残差结构和线性瓶颈层。这种结构通过轻量级的深度卷积和线性卷积过滤特征，同时去除狭窄层中的非线性，以维持表征能力。MobileNetV2在性能上和精度上都要比V1版本强很多，其在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中都展现了一定的有效性。YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、MobileNetV2的框架原理。
YOLOv8改进 | 注意力机制 | 添加Deformable-LKA
03-12
### 将注意力机制与 Deformable-LKA 集成至 YOLOv8 #### 1. 注意力机制简介 注意力机制允许模型聚焦于输入数据的关键部分，从而提高特定任务的表现。对于目标检测而言，这有助于更好地捕捉物体边界和细节。 #### 2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值