YOLOv10改进 | 注意力机制| 添加双向注意力机制和高效前馈网络的BiFormer【CVPR2023】

已于 2024-09-01 07:20:22 修改
阅读量1k 收藏 29
点赞数 39
分类专栏： YOLOv10入门 + 改进涨点 文章标签： YOLO 深度学习 人工智能 目标检测 网络 面试 yolov10改进
于 2024-07-12 19:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67647321/article/details/140376132
版权

秋招面试专栏推荐 ：深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转

💡💡💡本专栏所有程序均经过测试，可成功执行💡💡💡

专栏目录 ：《YOLOv8改进有效涨点》专栏介绍 & 专栏目录 | 目前已有40+篇内容，内含各种Head检测头、损失函数Loss、Backbone、Neck、NMS等创新点改进——点击即可跳转

作为视觉变换器的核心构建块，注意力机制是一种捕获长距离依赖关系的强大工具。然而，这种能力是有代价的：它带来了巨大的计算负担和沉重的内存占用，因为需要计算所有空间位置之间的成对token交互。一系列工作试图通过引入手工制作和与内容无关的稀疏性来缓解这个问题，例如将注意力操作限制在局部窗口、轴向条纹或扩张窗口内。与这些方法相比，研究人员提出了一种新颖的动态稀疏注意力机制，即通过双层路由来实现更灵活的计算分配，并具有内容感知能力。文章在介绍主要的原理后，将手把手教学如何进行模块的代码添加和修改，并将修改后的完整代码放在文章的最后，方便大家一键运行，小白也可轻松上手实践。以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址：YOLOv10入门 + 涨点——持续更新各种涨点方法

目录

1.原理

2. 将BiFormer 添加到YOLOv8中

2.1 BiFormer 的代码实现

2.2 更改init.py文件

了解本专栏 订阅专栏 解锁全文
kay_545
关注
专栏目录
订阅专栏
改进YOLO系列：改进YOLOv8，教你YOLOv8如何添加20多种注意力机制，并实验不同位置。
qq_44224801的博客
04-10 6万+
注意力机制（Attention Mechanism）是深度学习中一种重要的技术，它可以帮助模型更好地关注输入数据中的关键信息，从而提高模型的性能。注意力机制最早在自然语言处理领域的序列到序列（seq2seq）模型中得到广泛应用，后来逐渐扩展到了计算机视觉、语音识别等多个领域。注意力机制的基本思想是为输入数据的每个部分分配一个权重，这个权重表示该部分对于当前任务的重要程度。
YOLOv8改进 | 注意力机制| 对小目标友好的BiFormer【CVPR2023】
kay_545
07-11 2450
yolov8，yolov8改进，Biformer
YoloV10改进策略：下采样改进|自研下采样模块（独家改进）|疯狂涨点|附结构图
最新发布
m0_47867638的博客
09-04 373
本文介绍我自研的下采样模块。本次改进的下采样模块是一种通用的改进方法，你可以用分类任务的主干网络中，也可以用在分割和超分的任务中。已经有粉丝用来改进ConvNext模型，取得了非常好的效果，配合一些其他的改进，发一篇CVPR、ECCV之类的顶会完全没有问题。本次我将这个模块用来改进YoloV10，实现大幅度涨点。本文自研下采样模块，实现YoloV9的涨点。欢迎大家在自己的数据集上做尝试。
yolov8改进|注意力机制：BiFormer
weixin_44379985的博客
05-19 800
修改 将核心代码放入 声明 修改 找到def parse_model(d, ch, verbose=True): # model_dict, input_channels(3)插入
YOLOv8改进002：添加小目标检测头（小目标检测大量涨点）
m0_46496775的博客
08-05 2292
YOLOv8 目标检测算法改进之添加小目标检测头，亲测在小目标检测的数据集上有大幅度的涨点效果（mAP直接涨了 0.04 左右）。
YOLOv8最新改进系列：YOLOv8+BiFormer（CVPR 2023最新提出），基于动态稀疏注意力构建高效金字塔网络架构，用动态、查询感知的方式实现计算的有效分配，嘎嘎提升目标检测效果！
weixin_51692073的博客
09-13 8986
YOLOv8最新改进系列：YOLOv8+BiFormer（CVPR 2023最新提出），基于动态稀疏注意力构建高效金字塔网络架构，用动态、查询感知的方式实现计算的有效分配，嘎嘎提升目标检测效果！
【YOLOv8改进 - 注意力机制】SKAttention：聚合分支信息，实现自适应调整感受野大小
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 206
在标准卷积神经网络（CNNs）中，每一层的人工神经元的感受野大小被设计为相同。然而，神经科学界已知视觉皮层神经元的感受野大小会受到刺激的调节，这一点在构建CNN时很少被考虑。我们提出了一种动态选择机制，使每个神经元能够基于多尺度的输入信息自适应地调整其感受野大小。我们设计了一个称为选择性卷积（Selective Kernel，SK）单元的构建块，在该单元中，具有不同卷积核大小的多个分支通过受这些分支信息引导的softmax注意力融合。在融合层中，这些分支上的不同注意力产生了神经元的不同有效感受野大小。
YOLOv8改进 | 注意力机制 | 反向残差注意力机制【内含创新技巧思维】
kay_545
08-03 1090
yolov8，iRMB，yolov8改进
YOLOv10改进 | 注意力篇 | YOLOv10改进CBAM注意力机制
tsg6698的博客
06-11 3719
模块首先应用通道注意力，关注"重要的"特征，然后应用空间注意力，关注这些特征的"重要位置"。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~新建一个yolov10nCBAM.yaml文件后，在Backbone部分添加了CBAM注意力机制，大家可以在其他地方多尝试。在CBAM.py文件里添加给出的CBAM代码。模型结构打印，成功运行。
YOLOv10改进 | 添加注意力篇 | 适合多种检测场景的BiFormer注意力机制优化yolov10的PSA机制（附修改教程）
Snu77的博客
07-09 1326
BiFormer是一种结合了的视觉Transformer模型，BiFormer模型的核心思想是引入了双层路由注意力机制。在BiFormer中，每个图像块都与一个位置路由器相关联。这些位置路由器根据特定的规则将图像块分配给上层和下层路由器。上层路由器负责捕捉全局上下文信息，而下层路由器则负责捕捉局部区域的细节。具体来说，上层路由器通过全局自注意力机制对所有图像块进行交互，并生成全局图像表示。下层路由器则使用局部自注意力机制对每个图像块与其邻近的图像块进行交互，并生成局部图像表示。
YOLOv8改进 | 注意力机制 | 在主干网络中添加MHSA模块【原理+附完整代码】
kay_545
06-12 1408
YOLOv8，yolov8改进，多头注意力机制
YOLOv10改进 | 注意力机制 | 添加ACmix自注意力与卷积混合模型改善模型特征识别效率（包含二次创新PSA机制）
Snu77的博客
07-11 414
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。本文包含二次创新PSA机制！YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录。
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 808
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
【YOLOv8改进】MCA：用于图像识别的深度卷积神经网络中的多维协作注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-21 6577
先前的大量研究表明，注意力机制在提高深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法要么忽略通道和空间维度的建模注意力，要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境，在本文中，我们提出了一种轻量级且高效的多维协作注意力（MCA），这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法，几乎没有额外的开销。对于MCA的基本组成部分，我们不仅开发了一种自适应组合机制，用于合并挤压变换中的双跨维度特征响应，增强特征描述符的信息性和可辨别性，而且还设计了激励变换中的
【YOLOv8改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 227
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
YOLOv8改进 | 注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
热门推荐
Snu77的博客
03-22 1万+
官方论文地址：官方论文地址点击此处即可跳转官方代码地址：官方代码地址点击此处即可跳转GAM旨在通过设计一种机制，减少信息损失并放大全局维度互动特征，从而解决传统注意力机制在通道和空间两个维度上保留信息不足的问题。GAM采用了顺序的通道-空间注意力机制，并对子模块进行了重新设计。具体来说，通道注意力子模块使用3D排列来跨三个维度保留信息，并通过一个两层的MLP增强跨维度的通道-空间依赖性。
YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10结合全新多尺度动态增强注意力机制DSAttention(全网独家创新)
tsg6698的博客
08-25 461
(4). 通道注意力增强：DSAttention在进行多尺度卷积之前，利用池化操作结合1x1卷积进行通道注意力的计算，通过Adaptive Pooling层提取通道间的全局信息，并通过Sigmoid激活函数强化重要的特征通道，从而提升特征选择的精度。这些多尺度特征融合能够更全面地捕捉图像中不同尺寸的目标物体，提升特征的表达能力。(5). 最终特征融合：该机制在多尺度卷积和注意力模块之后，使用1x1卷积进行最终特征的融合和压缩，从而有效地减少参数量和计算复杂度，并在保证特征表达能力的同时提高了模型的效率。
【YOLOv10改进 -注意力机制】Mamba之MLLAttention ：基于Mamba和线性注意力Transformer的模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-07 671
Mamba是一种具有线性计算复杂度的有效状态空间模型。它最近在处理各种视觉任务的高分辨率输入方面表现出了令人印象深刻的效率。在本文中，我们揭示了强大的Mamba模型与线性注意力Transformer共享令人惊讶的相似性，而线性注意力Transformer在实践中通常不如传统Transformer。通过探索高效的Mamba和表现欠佳的线性注意力Transformer之间的相似性和差异，我们提供了全面的分析，揭示了Mamba成功背后的关键因素。具体来说，我们在统一的公式下重新定义了选择性状态空间模型和线性注意力
YOLOv10改进 | 独家创新- 注意力篇 | YOLOv10结合全新注意力机制DEMAttention(多尺度融合)和C2f_DEMAttention(全网独家创新)
tsg6698的博客
08-19 407
高效特征表示：通过自适应行、列池化操作（pool_h和pool_w），DEMAttention能够有效地提取图像特征中的行和列信息，这些信息对于很多视觉任务（如图像分类和物体检测）都是至关重要的。这样，模型能够更加关注图像中的关键部分，忽略无关或冗余的信息，提高特征提取的准确性和鲁棒性。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kay_545

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值