YOLOv5改进 | 添加注意力篇 | 利用YOLOv10提出的PSA注意力机制助力YOLOv5有效涨点（附代码 + 详细修改教程）

已于 2024-06-02 17:24:02 修改
阅读量2.1k 收藏 22
点赞数 14
分类专栏： YOLOv5改进有效专栏 文章标签： YOLO 深度学习 pytorch 人工智能 计算机视觉 YOLOv5 yolov5
于 2024-06-02 02:09:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java1314777/article/details/139382475
版权
本文介绍了如何将YOLOv10的PSA（部分自注意力）模块应用于YOLOv5，以解决自注意力机制的计算复杂度和内存占用问题。通过在Stage 4之后放置PSA，在不显著增加计算成本的同时提升模型性能。详细步骤包括创建新目录、添加代码、修改模型文件和yaml配置。提供了训练截图和相关资源链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 一、本文介绍

本文给大家带来的改进机制是YOLOv10提出的PSA注意力机制，自注意力在各种视觉任务中得到了广泛应用，因为它具有显著的全局建模能力。然而，自注意力机制表现出较高的计算复杂度和内存占用。为了解决这个问题，鉴于注意力头冗余的普遍存在，我们提出了一种高效的部分自注意力（PSA）模块设计，其能够在不显著增加计算成本的情况下提升YOLO模型的性能！本文附其网络结构图辅助大家理解该结构，同时本文包含YOLOv8添加该注意力机制的方法！

欢迎大家订阅我的专栏一起学习YOLO！

专栏目录：YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

​

目录

 一、本文介绍

二、PSA介绍

三、PSA核心代码 

四、手把手教你添加PSA注意力机制

4.1 PSA添加步骤

4.1.1 修改一

4.1.2 修改二

4.1.3 修改三 

4.1.4 修改四

了解本专栏 订阅专栏 解锁全文
YOLOv9改进，YOLOv9添加GAM注意力机制
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-09 1040
全局注意力机制（GAM），通过减少信息减少和放大全局交互表示来提高深度神经网络的性能。引入了带有多层感知器的 3D 排列，用于通道注意力以及卷积空间注意力子模块，GAM注意机制理论详解可以参考链接:论文地址）
YOLOv9改进，YOLOv9添加NAM注意力机制并与RepNCSPELAN4结构融合
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-31 372
我们提出了NAM作为一种高效且轻量级的注意机制。我们采用了CBAM中的模块整合方法，并重新设计了通道和空间注意子模块。然后，在每个网络块的末端嵌入NAM模块。对于残差网络，它被嵌入到残差结构的末端。我们还对空间维度应用BN的缩放因子来衡量像素的重要性。我们称之为像素归一化。对应的空间注意子模块如图2。NAM的优势1.高效性：通过使用BN的缩放因子，我们能够高效地衡量通道和像素的重要性，而不会显著增加计算复杂度。2.轻量级：NAM模块结构简单且易于嵌入现有网络架构中。
YOLOv9改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
Limiiiing的博客
08-22 2290
这篇文章带来一个经典注意力模块的汇总，虽然有些模块已经发布很久了，但后续的注意力模块也都是在此基础之上进行改进的，对于初学者来说还是有必要去学习了解一下，以加深对模块，模型的理解。
YOLOv9改进策略 | 添加注意力篇 | TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
04-24 2152
本文给大家带来的改进是三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。
YOLOv9改进策略 | 添加注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
05-09 1908
这篇文章给大家带来的改进机制是一个汇总篇，包含一些简单的注意力机制，本来一直不想发这些内容的（网上教程太多了，发出来增加文章数量也没什么意义），但是群内的读者很多都问我这些机制所以单独出一期视频来汇总一些比较简单的注意力机制添加的方法和使用教程，本文的内容不会过度的去解释原理，更多的是从从代码的使用上和实用的角度出发去写这篇教程。欢迎大家订阅我的专栏一起学习YOLO！YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏目录一、本文介绍二、GAM2.1 GAM的介绍。
YOLOv8改进 | 添加注意力篇 | 利用YOLOv10提出的PSA注意力机制助力YOLOv8有效涨点（附代码 + 详细修改教程）
Snu77的博客
06-03 4821
本文给大家带来的改进机制是YOLOv10提出的PSA注意力机制，自注意力在各种视觉任务中得到了广泛应用，因为它具有显著的全局建模能力。然而，自注意力机制表现出较高的计算复杂度和内存占用。为了解决这个问题，鉴于注意力头冗余的普遍存在，我们提出了一种高效的部分自注意力（PSA）模块设计，其能够在不显著增加计算成本的情况下提升YOLO模型的性能！本文附其网络结构图辅助大家理解该结构，同时本文包含YOLOv8添加该注意力机制的方法！欢迎大家订阅我的专栏一起学习YOLO！
YOLOv9改进策略 | 添加注意力篇 | 利用YOLOv10提出的PSA注意力机制助力YOLOv9有效涨点（附代码 + 详细修改教程）
Snu77的博客
06-04 1286
本文给大家带来的改进机制是YOLOv10提出的PSA注意力机制，自注意力在各种视觉任务中得到了广泛应用，因为它具有显著的全局建模能力。然而，自注意力机制表现出较高的计算复杂度和内存占用。为了解决这个问题，鉴于注意力头冗余的普遍存在，我们提出了一种高效的部分自注意力（PSA）模块设计，其能够在不显著增加计算成本的情况下提升YOLO模型的性能！本文附其网络结构图辅助大家理解该结构，同时本文包含YOLOv9添加该注意力机制的方法！欢迎大家订阅我的专栏一起学习YOLO！
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv9改进策略 | 添加注意力篇 | 高效的注意力改进策略EMAttention注意力机制（附多个可添加位置）
Snu77的博客
05-07 1619
本文给大家带来的改进机制是EMAttention注意力机制，它的重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文首先给大家提供效果图(由基础版本未作任何修改和修改了本文的改进机制的效果对比图)，然后介绍其主要的原理，最后手把手教大家如何添加该注意力机制。YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏目录一、本文介绍。
YOLOv9涨点优化：轻量化注意力 | 单头注意力模块，并行结合全局和局部信息提高准确度| SHViT CVPR2024
12-06 366
如何使用：1）SHSABlock加入backbone使用
【手把手缝模块】YOLOv8添加注意力机制模块
dont worry about it的博客
05-20 6万+
【手把手缝模块】YOLOv8添加注意力机制模块，添加这个注意力机制模块，让 yolov8 可以找到它，一般的，添加自定义模块，就在conv.py里面添加代码就行（CBAM模块yolov8自带的，所以这里没有这个步骤）
YOLOv9改进，YOLOv9添加SCConv(空间和通道重构卷积)，实现高效涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-25 350
卷积神经网络 (CNN) 在各种计算机视觉任务中取得了卓越的表现，但这是以巨大的计算资源为代价的，部分原因是卷积层提取了冗余特征。最近的研究要么压缩训练有素的大规模模型，要么探索精心设计的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余进行 CNN 压缩，并提出一种高效的卷积模块，称为 SCConv（空间和通道重构卷积），以减少冗余计算并促进代表性特征学习。提出的 SCConv 由两个单元组成：空间重构单元 (SRU) 和通道重构单元 (CRU)。
YOLOv5加入CBAM注意力机制，实现涨点！
weixin_57058018的博客
05-09 633
这里我们讲一下如何在yolov5n文件里面加入CBAM注意力机制，我这里涨点的话一共两种加法，我们先来讲第一种。具体加多少个，加在哪个位置都可以，看大家自己的需求，针对不同数据集效果会不一样，有问题大家可以评论区交流。然后我们来讲第二种方法，加在卷积上，还是先进入common.py文件里面去，加入如下模块。第一种我们加在主干中，我们首先找到models文件夹里面的common.py文件。然后我们找到models文件夹里面的yolo.py文件中的。然后我们打开yolov5n.yaml文件，修改里面的参数。
即插即用篇 | 手把手教你 YOLOv8 添加注意力机制 | 适用于【检测任务】【分类任务】【分割任务】【关键点任务】| 20+ 种全打通！
YOLOv8项目贡献者
04-19 2万+
YOLOv8 添加 20+ 种注意力机制教程
YOLOv5加入PSA注意力机制，助力涨点！
weixin_57058018的博客
05-09 371
可以看到PSA注意力机制已经加入进去了，途中遇到啊问题咱们评论区交流。我们在models文件夹中找到common.py文件，加入如下模块。parse_model函数，在如图下地方添加模块名称。再次打开yolo.py文件，如图添加yaml文件。在models/yolo.py文件中找到。然后我们修改yolov5n.yaml文件。运行yolo.py文件。
YOLOv9/YOLOv8算法改进【NO.102】涨点+轻量化，亲测有效。引入二次创新模块Faster-EMA，将EMA注意力机制与FasterNet中的核心模块结合构成新模块，
m0_70388905的博客
03-09 5627
YOLOv8算法二次创新，亲测涨点且轻量化
YOLOv10真正实时端到端目标检测（原理介绍+代码详见+结构框图）| YOLOv10如何训练自己的数据集（NEU-DET为案列）
05-27 8099
真正实时端到端目标检测（原理介绍+代码详见+结构框图）| YOLOv10如何训练自己的数据集（NEU-DET为案列）
【YOLOv9改进[Conv]】使用YOLOv10的空间通道解耦下采样SCDown模块替换部分CONv的实践 + 含全部代码和详细修改内容
静谧、淡雅
06-04 1025
使用YOLOv10的空间通道解耦下采样SCDown模块替换部分CONv的实践 + 含全部代码和详细修改内容，改进YOLOv9
snu77 yolov8
最新发布
05-09
### SNU77 和 YOLOv8 的实现方法及相关技术 #### 关于 SNU77 数据集 SNU77 是一种可能用于医学图像分析的数据集，通常涉及细胞分类或其他生物医学研究领域。如果将其应用于 YOLOv8，则需要确保数据标注符合目标检测的标准格式（如 COCO 或 VOC）。YOLOv8 支持多种输入格式，并可以通过自定义 YAML 文件配置数据路径和类别信息。 以下是创建适用于 YOLOv8 的数据集配置文件的示例： ```yaml train: ./data/snu77/train/images/ val: ./data/snu77/valid/images/ nc: 2 # 类别数量 names: ['class1', 'class2'] # 类别名称列表 ``` 通过上述 YAML 配置文件指定训练集、验证集以及类别的具体信息[^1]。 --- #### 使用 TransNeXt 特征提取网络改进 YOLOv8 TransNeXt 是一种基于 Transformer 的特征提取网络，在视觉任务中表现出优异性能。为了将 TransNeXt 应用于 YOLOv8，需替换默认主干网络（如 CSPDarknet），并调整模型初始化部分代码如下所示： ```python from ultralytics import YOLO import torch.nn as nn if __name__ == '__main__': model = YOLO("custom_model.yaml") # 自定义模型配置文件 backbone = nn.Sequential(...) # 替换为主干网络 TransNeXt 实现 model.model.backbone = backbone model.train( data="snu77_dataset.yaml", epochs=150, imgsz=640, batch=4, device=0, optimizer='AdamW', amp=True ) ``` 在此过程中需要注意的是，`custom_model.yaml` 中应重新设计 Backbone 层次结构以适配 TransNeXt 架构[^1]。 --- #### DyHead 检测头优化 (DCNv3 替代 DCNv2) 动态头部（DyHead）是一种高效的多尺度特征聚合方案，而 deformable convolution v3 (DCNv3) 则进一步提升了卷积操作灵活性与效率。当采用 DCNv3 取代传统 DCNv2 后，可显著改善小物体检测精度及整体 AP 值。 下面是集成 DCNv3 至 DyHead 的伪代码片段： ```python def dyhead_with_dcnv3(features): dcn_layer = DeformConv2dPack(in_channels=features.size(1), out_channels=features.size(1)) enhanced_features = [] for feature_map in features: output = dcn_layer(feature_map) enhanced_features.append(output) return enhanced_features ``` 实验表明，在特定场景下应用此改进策略能够带来约 4%-5% mAP 提升效果[^2]。 --- #### 训练流程注意事项 - **硬件资源**: 推荐使用 NVIDIA GPU 加速计算过程；对于大规模数据集建议配备至少 RTX 3090 或 A100 显卡。 - **超参数调优**: 根据实际需求调节学习率 (`lr`)、批量大小 (`batch`) 等关键参数。 - **预处理增强**: 开启马赛克拼接功能有助于提升复杂背景下的识别能力，但在某些情况下关闭也可能获得更佳表现。 --- ### 结论 综上所述，针对 SNU77 数据集实施 YOLOv8 解决方案时，既可以选择引入先进的特征提取器——TransNeXt 来强化底层表示能力，也可以利用改良后的 DyHead 检测头提高定位准确性。最终选择取决于项目具体应用场景和技术条件约束因素。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值