Yolov8小目标检测（5）：SEAM注意力机制，提升遮挡小目标检测性能

已于 2023-08-24 09:59:00 修改
阅读量3.3k 收藏 9
点赞数
分类专栏： YOLOv8&11小目标检测 文章标签： 人工智能 计算机视觉 目标检测 机器学习 深度学习 YOLO
于 2023-08-22 20:11:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63774211/article/details/132420389
版权
本文介绍了如何利用SEAM和MultiSEAM注意力机制改进YOLOv8，以解决红外弱小目标检测中的遮挡问题。通过这些机制，map@0.5的性能从0.755提升到0.785。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 💡💡💡本文改进：SEAM注意力机制，较好的解决了小目标中遮挡问题；

SEAM |   亲测在红外弱小目标检测涨点明显，map@0.5 从0.755提升至0.785

💡💡💡Yolo小目标检测，独家首发创新（原创），适用于Yolov5、Yolov7、Yolov8等各个Yolo系列，专栏文章提供每一步步骤和源码，带你轻松实现小目标检测涨点

💡💡💡重点：通过本专栏的阅读，后续你可以结合自己的小目标检测数据集，在网络不同位置（Backbone、head、detect、loss等）进行魔改，实现小目标涨点和创新！！！

专栏介绍：

✨✨✨解决小目标检测难点并提升小目标检测性能；

🚀🚀🚀小目标、遮挡物性能提升和创新；

💡💡💡 工业界小目标检测性能提升和部署可行性；

🍉🍉🍉持续更新中，定期更新不同数据集涨点情况；

目录

1. 红外弱小目标数据集

2.遮挡物检测简介 

2.1 Separated and Enhancement Attention Module (SEAM)

 2.2 MultiSEAM

2.3 遮挡感知排斥损失

2.4YoloV8加入  SEAM、MultiSEAM注意力机制

2.5 SEAM、MultiSEAM加入加入modules.py中：

 2.6  SEAM、MultiSEAM加注册tasks.py中：

2.7 SEAM、MultiSEAM修改对应yaml

了解本专栏 订阅专栏 解锁全文
YOLOv9改进策略 | 添加注意力篇 | 利用YOLO-Face提出的SEAM注意力机制优化物体遮挡检测（附代码 + 修改教程）
Snu77的博客
05-09 1858
本文给大家带来的改进机制是由YOLO-Face提出能够改善物体遮挡检测的注意力机制SEAM，注意力网络模块旨在补偿被遮挡面部的响应损失，通过增强未遮挡面部的响应来实现这一目标，其希望通过学习遮挡面和未遮挡面之间的关系来改善遮挡情况下的损失从而达到改善物体遮挡检测的效果，本文将通过介绍其主要原理后，提供该机制的代码和修改教程，并附上运行的yaml文件和运行代码，小白也可轻松上手。。欢迎大家订阅我的专栏一起学习YOLO！YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏目录。
YOLOv10改进 | 注意力篇 | YOLOv10引入YOLO-Face提出的SEAM注意力机制优化物体遮挡检测
tsg6698的博客
06-21 1130
WiderFace 数据集上的实验结果表明，我们的人脸检测器优于 YOLO，并且它的变体可以在所有简单、中等和困难子集中找到。因此，为了弥补这一点，不同深度的卷积输出会通过点对点的（1x1）卷积进行组合，以恢复通道间的信息交流。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~在SEAM.py文件里添加给出的SEAM代码。
YOLOv12改进策略【Neck】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题
Limiiiing的博客
03-26 184
本文记录的是利用 SEAM 模块优化 YOLOv12 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题，相当于是小目标被其他物体部分遮挡时，传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失，提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块（Separated and Enhancement Attention Module）的设计出发点
在复杂场景下提升YOLOv8物体遮挡检测能力SEAM注意力机制的集成
步入烟尘的博客
01-23 755
YOLO系列模型自诞生以来，已经经历了多次版本的更新，每一代YOLO模型都在准确性和推理速度之间找到了新的平衡。YOLOv8作为YOLO系列的最新版本，在速度和精度上都有了显著提升。YOLOv8使用了多种创新的技术，如增强型检测头、跨尺度特征融合等，来进一步提升模型在各种环境下的表现。SEAM（Squeeze and Excitation Attention Mechanism）是一种通过动态调整特征通道的重要性来增强模型特征表达能力的技术。
YOLO11改进|注意力机制篇|引入SEAM注意力机制
A1983Z的博客
10-12 2042
YOLO11中添加SEAM注意力机制
YOLOv8血细胞检测（10）：多尺度MultiSEAM，提高特征图的分辨率增强小目标检测能力
10-09 661
MultiSEAM| 亲测在血细胞检测项目中涨点，map@0.5 从原始0.895提升至0.906
YOLOv8改进 | 注意力机制 | 添加YOLO-Face提出的SEAM注意力机制优化物体遮挡检测（附代码 + 修改教程）
热门推荐
Snu77的博客
03-11 1万+
本文重点YOLOFaceV2介绍遮挡改进注意力网络模块（SEAM）和排斥损失（Repulsion Loss）。注意力网络模块旨在补偿被遮挡面部的响应损失，通过增强未遮挡面部的响应来实现这一目标。SEAM模块通过深度可分离卷积和残差连接的组合来实现，其中深度可分离卷积按通道进行操作，虽然可以学习不同通道的重要性并减少参数量，但忽略了通道间的信息关系。为了弥补这一损失，不同深度卷积的输出通过点对点（1x1）卷积组合。然后使用两层全连接网络融合每个通道的信息，以增强所有通道之间的联系。
YOLOv8血细胞检测（9）：SEAM注意力机制，提升遮挡小目标检测性能
10-09 960
SEAM| 亲测在血细胞检测项目中涨点，map@0.5 从原始0.895提升至0.902
爆改YOLOv8 |YOLOv8融合SEAM注意力机制
weixin_43986124的博客
08-22 3613
SEAM，注意力，yolov8，即插即用
YOLO11改进-注意力-引入自集成注意力机制SEAM解决遮挡问题
qq_64693987的博客
10-21 4032
左边是SEAM的架构，右边是部分为通道和空间混合模块CSMM的结构。CSMM利用深度可分卷积来学习不同尺度的特征空间尺度与通道的相关性。SEAM是一种自集成注意力机制，旨在通过多视角特征融合和一致性正则化来增强模型的鲁棒性和泛化能力。首先对输入特征Patch Embedding输入图像被分割成不同大小的patch（6, 7, 8），这些patch通过Patch Embedding层进行初步处理，生成特征表示。CSMM模块深度可分离卷积：使用深度可分离卷积来学习空间维度和通道之间的相关性。深度卷积。
【YOLOv8改进[Neck]】小目标遮挡检测的性能提升（SEAM、MultiSEAM）- 目标遮挡检测（本文包含代码 + 修改方式等全部内容）
静谧、淡雅
05-27 2189
小目标遮挡检测的性能提升（SEAM、MultiSEAM）- 目标遮挡检测（本文包含代码 + 修改方式等全部内容）,YOLOv8改进。Neck。
YOLOv8改进：添加YOLO-Face SEAM注意力机制优化物体遮挡检测
走向CTO的路上...
08-06 1476
YOLOv8作为目前最先进的目标检测算法之一，在精度和速度方面取得了显著进步。然而，YOLOv8模型在处理物体遮挡场景时仍存在一些不足，例如容易受到遮挡物的影响而导致检测精度下降。为了解决这个问题，本文提出了一种将YOLO-Face提出的SEAM注意力机制集成到YOLOv8模型中的改进方法，该方法可以有效提升YOLOv8模型在物体遮挡场景下的检测精度。
番外篇 | SEAM-YOLO：引入SEAM系列注意力机制，提升遮挡小目标的检测性能
最新发布
突然好想你
04-18 224
SEAM系列注意力机制是一种高效的特征增强方法，特别适合处理遮挡和小目标检测问题。🌈
YOLOv8模型改进 第二十讲 添加三重注意力机制Triplet Attention 提升小目标/遮挡目标
qq_64693987的博客
12-06 3033
本文这次分享的是三重注意力机制Triplet Attention。现在注意力机制在计算机视觉任务中被广泛研究和应用，如 Squeeze-and-Excitation Networks (SENet)、Convolutional Block Attention Module (CBAM) 等。然而，这些方法存在一些局限性，例如需要大量可学习参数，或者在计算通道注意力时没有考虑跨维度交互等。Triplet Attention可以有效的解决这些问题，其强调在计算注意力权重时捕获跨维度交互的重要性，以提供丰富的特征
SEAM论文解读：弱监督语义分割的自监督等变注意力机制
deephub
11-23 7126
语义分割是一项基本的计算机视觉任务，其目的是预测图像的像素级分类结果。由于近年来深度学习研究的蓬勃发展，语义分割模型的性能有了长足的进步。然而，与其他任务(如分类和检测)相比，语义分割需要收集像素级的类标签，这既耗时又昂贵。近年来，许多研究者致力于弱监督语义分割(WSSS)的研究，如图像级分类标签、涂抹和边界盒等，试图达到可与全监督方法相媲美的分割性能。[1]侧重于通过图像级分类标签进行语义分割。 目前最先进的弱监督语义分割方法都是基于类激活特征图(CAM)实现的，它是一种通过图像分类标签定位目标的有效方法
自监督等变注意力机制在弱监督语义分割中的应用 - SEAM
gitblog_00882的博客
09-27 446
自监督等变注意力机制在弱监督语义分割中的应用 - SEAM SEAM 项目地址: https://gitcode.com/gh_mirrors/seam/SEAM 项目介绍...
穿越遮挡的涨点神器：Yolov8小目标检测性能提升之SEAM与MultiSEAM
一直在水些技术小文
11-10 2009
SEAM与MultiSEAM技术的引入为Yolov8带来了小目标遮挡物检测性能的显著提升。在实际应用中，这两项技术不仅简化了模型更新的流程，同时也提高了模型的鲁棒性。随着深度学习领域的不断发展，我们期待更多类似的创新，为目标检测任务带来更多的突破。（注：本文中的示例代码仅为演示用途，实际应用中可能需要根据具体情况进行调整和优化。
YOLOv8算法改进【NO.112】使用YOLO-Face V2中的遮挡感知注意力改进Head，有效应对遮挡场景的错漏检问题
m0_70388905的博客
04-01 895
该创新点有效适用于有遮挡场景，解决遮挡造成的错漏检问题。
RT-DETR改进策略【Neck】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题
Limiiiing的博客
04-17 149
本文记录的是利用 SEAM 模块优化 RT-DETR 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题，相当于是小目标被其他物体部分遮挡时，传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失，提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块（Separated and Enhancement Attention Module）的设计出发点
yolov8目标检测遮挡
03-24
### YOLOv8目标检测中的遮挡问题改进方法 为了提高YOLOv8模型在目标被部分或完全遮挡情况下的检测能力，可以通过引入注意力机制以及特定架构调整实现性能优化。以下是几种有效的改进方式： #### 1. **SEAM 注意力机制** SEAM（Spatial Enhanced Attention Mechanism）是一种空间增强注意力机制，能够突出图像中重要的特征区域，从而改善模型对遮挡目标的识别效果[^1]。 具体来说，在YOLOv8网络结构中加入SEAM模块后，该模块会自适应地分配权重给不同位置的空间特征图，使得模型更加关注未被遮挡的目标部位。 ```python import torch.nn as nn class SEAM(nn.Module): def __init__(self, channel, reduction=16): super(SEAM, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) ``` 此代码定义了一个简单的SEAM模块，可嵌入到YOLOv8的颈部（neck）或其他关键层中以提升表现[^2]。 --- #### 2. **MultiSEAM 多尺度融合策略** 除了单尺度的SEAM外，还可以采用多尺度版本——即MultiSEAM。它通过对多个分辨率下提取出来的特征施加不同的注意力建模操作，进一步增强了对于复杂场景中小目标或者严重遮挡对象的理解能力。 这种技术特别适合于那些存在大量大小不一且可能相互重叠的对象的应用场合，比如交通监控视频分析等。 --- #### 3. **速度估算辅助训练** 当涉及到动态环境中的运动物体时，结合速度信息可以帮助缓解因快速移动而导致的部分遮蔽现象带来的负面影响。例如，在自动驾驶领域内，通过预测每辆车的速度参数作为额外输入参与到最终决策过程中去，则即使某些时刻由于视角变化等原因造成局部不可见的情况发生，也依然可以根据历史轨迹推断出大概率存在的实体所在范围[^3]。 这种方法不仅有助于减少误报漏检概率，同时也为后续高层次任务提供了更丰富的上下文线索支持。 --- #### 总结 综上所述，针对YOLOv8中存在的目标遮挡难题，可以从以下几个方面入手加以改良：一是运用诸如SEAM这样的先进注意力算法强化局部敏感度；二是探索像MultiSEAM这样兼顾全局视野与细节刻画的新颖设计思路；三是尝试融入外部物理量测量成果如车速评估之类的数据源扩充感知维度。这些措施共同作用之下有望显著促进实际应用场景里的整体效能指标达成预期水平以上。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值