YOLO11-seg分割：SPPF_attention，重新设计加入注意力机制，助力分割

已于 2024-10-23 08:56:49 修改
阅读量1.6k 收藏 30
点赞数 35
分类专栏： YOLOv8、11、v12成长师 文章标签： c语言 开发语言 YOLO python 深度学习
于 2024-10-23 08:49:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63774211/article/details/143174022
版权

 

💡💡💡本文原创自研创新改进：

优点：为了利用不同的池化核尺寸提取特征的方式可以获得更多的特征信息，提高网络的识别精度。

如何优化：在此基础上加入注意力机制，能够在不同尺度上更好的、更多的获取特征信息，从而获取全局视角信息并减轻不同尺度大小所带来的影响

强烈推荐，适合直接使用，paper创新级别

💡💡💡本文内容：通过 SPPF_attention，重新设计加入注意力机制提升YOLO11-seg的分割能力

💡💡💡Mask mAP50 从原始的0.673 提升至0.693，实现暴力涨点

  《YOLOv11魔术师专栏》将从以下各个方向进行创新：

YOLO11魔术师

【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】

【pose关键点检测】【yolo11-seg分割】

定期向订阅者提供源码工程，配合博客使用。

订阅者可以申请发票，便于报销 

💡💡💡为本专栏订阅者提供创新点改进代码，改进网络结构图，方便paper写作！！！

💡💡💡适用场景：红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景

💡💡💡适用任务：所有改进点适用【检测】、【分割】、【pose】、【分类】等

💡💡💡全网独家首发创新，【自研多个自研模块】，【多创新点组合适合paper 】！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

包含注意力机制魔改、卷积魔改、检测头创新、损失&IOU优化、block优化&多层特征融合、 轻量级网络设计、24年最新顶会改进思路、原创自研paper级创新等

🚀🚀🚀 本项目持续更新 | 更新完结保底≥80+ ，冲刺100+ 🚀🚀🚀

🍉🍉🍉 联系WX: AI_CV_0624 欢迎交流！🍉🍉🍉

⭐⭐⭐专栏涨价趋势 159 ->199->259->299，越早订阅越划算⭐⭐⭐

💡💡💡 2024年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8、Yolov9等各个Yolo系列，专栏文章提供每一步步骤和源码，轻松带你上手魔改网络 ！！！

💡💡💡重点：通过本专栏的阅读，后续你也可以设计魔改网络，在网络不同位置（Backbone、head、detect、loss等）进行魔改，实现创新！！！

☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️

 1.YOLO11介绍

Ultralytics YOLO11是一款尖端的、最先进的模型，它在之前YOLO版本成功的基础上进行了构建，并引入了新功能和改进，以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用，使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。

​​

​​

Segmentation 官方在COCO数据集上做了更多测试： 

​

2.数据集介绍

道路裂纹分割数据集是一个全面的4029张静态图像集合,专门为交通和公共安全研究而设计。它非常适合自动驾驶汽车模型开发和基础设施维护等任务。该数据集包括训练、测试和验证集,有助于精确的裂缝检测和分割。 

训练集3712张，验证集200张，测试集112张

 标签可视化：

3.如何训练YOLO11-seg模型

3.1 修改 crack-seg.yaml

# Ultralytics YOLO 🚀, AGPL-3.0 license
# Crack-seg dataset by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/segment/crack-seg/
# Example usage: yolo train data=crack-seg.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── crack-seg  ← downloads here (91.2 MB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: D:/ultralytics-seg/data/crack-seg # dataset root dir
train: train/images # train images (relative to 'path') 3717 images
val: valid/images # val images (relative to 'path') 112 images
test: test/images # test images (relative to 'path') 200 images

# Classes
names:
  0: crack

3.2 如何开启训练

import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLO

if __name__ == '__main__':
    model = YOLO('ultralytics/cfg/models/11/yolo11-seg.yaml')
    #model.load('yolov8n.pt') # loading pretrain weights
    model.train(data='data/crack-seg.yaml',
                cache=False,
                imgsz=640,
                epochs=200,
                batch=16,
                close_mosaic=10,
                device='0',
                optimizer='SGD', # using SGD
                project='runs/train',
                name='exp',
                )

3.3  训练结果可视化


YOLO11-seg summary (fused): 265 layers, 2,834,763 parameters, 0 gradients, 10.2 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)     Mask(P          R      mAP50  mAP50-95): 100%|██████████| 7/7 [00:07<00:00,  1.06s/it]
                   all        200        249       0.83      0.784      0.816      0.632      0.746      0.707      0.673      0.228

Mask mAP50 为 0.673 

MaskPR_curve.png

BoxPR_curve.png 

3.4  SPPF_attention，重新设计加入注意力机制

 YOLOv5最初采用SPP结构在v6.0版本(repo)后开始使用SPPF，主要目的是融合更大尺度（全局）信息，对每个特征图，使用三种不同尺寸（5×5、9×9、13×13）的池化核进行最大池化，分别得到预设的特征图尺寸，最后将所有特征图展开为特征向量并融合，过程如下图所示。
YOLOV8使用SPPF

SPPF顾名思义，就是为了保证准确率相似的条件下，减少计算量，以提高速度，使用3个5×5的最大池化，代替原来v5之前的5×5、9×9、13×13最大池化。使用SPPF的目的是为了利用不同的池化核尺寸提取特征的方式可以获得更多的特征信息，提高网络的识别精度。
 

​左边是SPP，右边是SPPF。

SPPF源代码

class SPPF(nn.Module):
    """Spatial Pyramid Pooling - Fast (SPPF) layer for YOLOv5 by Glenn Jocher."""

    def __init__(self, c1, c2, k=5):  # equivalent to SPP(k=(5, 9, 13))
        super().__init__()
        c_ = c1 // 2  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c_ * 4, c2, 1, 1)
        self.m = nn.MaxPool2d(kernel_size=k, stride=1, padding=k // 2)

    def forward(self, x):
        """Forward pass through Ghost Convolution block."""
        x = self.cv1(x)
        y1 = self.m(x)
        y2 = self.m(y1)
        return self.cv2(torch.cat((x, y1, y2, self.m(y2)), 1))

 3.5 如何创新优化SPPF

优点：为了利用不同的池化核尺寸提取特征的方式可以获得更多的特征信息，提高网络的识别精度。

如何优化：在此基础上加入注意力机制，能够在不同尺度上更好的、更多的获取特征信息，从而提高网络的识别精度。

​

 原文链接：

YOLO11涨点优化：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制，能够在不同尺度上更好的、更多的关注注意力特征信息-CSDN博客

YOLO11-seg-SPPF_attention summary (fused): 274 layers, 3,361,101 parameters, 0 gradients, 10.6 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)     Mask(P          R      mAP50  mAP50-95): 100%|██████████| 7/7 [00:08<00:00,  1.23s/it]
                   all        200        249       0.89      0.777      0.844      0.659      0.799      0.679      0.693      0.232

 
Mask mAP50 从原始的0.673 提升至0.693，实现暴力涨点

YOLOv8独家改进： 注意力魔改 | 高效的部分自注意力（PSA）模块，来自YOLOv10
会AI的学姐
06-04 834
引入YOLOv10中的一种高效的部分自注意力（PSA）模块设计，在1×1卷积后将特征均匀地分为两部分。
语义分割：YOLOv11的分割模型训练自己的数据集（从代码下载到实例测试）
Limiiiing的博客
10-26 7995
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进YOLOv11改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！提示：本文是YOLOv11的分割模型在Windows10上配置CUDA环境教程2024年9月30日，YOLOv11是最新发布的计算机视觉模型。支持多种任务，包括目标检测、实例分割、图像分类、姿态估计、有向目标检测以及物体跟踪等，本文主要讲述其分割任务的模型搭建训练流程。
YOLO11-seg分割如何训练自己的数据集（道路缺陷）
10-18 2214
如何用自己的数据集（道路缺陷）训练yolo11-seg模型以及训练结果可视化；
yolov11-seg数据集制作训练推理流程：
HanWenKing的博客
11-11 2008
随着深度学习技术的不断发展，目标检测与分割技术在计算机视觉领域扮演着越来越重要的角色。YOLO（You Only Look Once）作为一种高效、实时的目标检测算法，自提出以来就受到了广泛关注。YOLOv11-seg作为YOLO系列算法的最新成员，不仅继承了YOLO系列的高效性，还引入了分割功能，使得该算法在目标检测与分割任务中具有更广泛的应用前景。本文将详细介绍YOLOv11-seg数据集的制作、训练和推理流程，旨在为相关领域的科研人员、工程师和爱好者提供一个完整的实践指南。
YOLOV8训练自己的数据集
yxk666的博客
09-05 8035
YOLOV8快速上手训练自己的数据集并进行预测
YOLO11-seg分割：包裹分割数据集 |SPPF原创自研 | SPPF_attention，能够在不同尺度上更好的、更多的关注注意力特征信息（五）
12-14 1030
Mask mAP50 从原始的0.926 提升至0.929
YOLOv8-Seg改进：ASF-YOLO助力小目标分割| 2023年12月最新成果
会AI的学姐
12-12 1750
ASF-YOLO一种新的特征融合网络架构，该网络由两个主要的组件网络组成，可以为小目标分割提供互补的信息:(1)SSFF模块，它结合了来自多尺度图像的全局或高级语义信息;(2)TFE模块，它可以捕获小目标的局部精细细节等
YOLOv8-Seg改进：动态稀疏注意力（BiLevelRoutingAttention）助力分割 | CVPR2023
会AI的学姐
11-05 1146
BiLevelRoutingAttention亲测在番薯破损分割任务中，maskmAP@0.5从原始的0.625提升至0.662
芒果YOLO11改进05：免费｜最新结合即插即用CA(Coordinate attention) 注意力机制，CVPR 顶会助力分类检测涨点！
包括YOLOv5、YOLOv7、YOLOv8等模型改进
10-30 1774
YOLO11改进：免费｜最新结合即插即用CA(Coordinate attention) 注意力机制，CVPR 顶会助力分类检测涨点！
YOLOv8-Seg改进：注意力魔改 | 高效的部分自注意力（PSA）模块，来自YOLOv10
会AI的学姐
06-04 408
引入YOLOv10中的一种高效的部分自注意力（PSA）模块设计，在1×1卷积后将特征均匀地分为两部分。
YOLOv8-seg改进：重新思考轻量化视觉Transformer中的局部感知CloFormer，提升上下文感知权重来增强局部特征 |2023清华
会AI的学姐
11-21 559
重新思考轻量化视觉Transformer中的局部感知CloFormer，提升上下文感知权重来增强局部特征
Yolov11项目实战1：道路缺陷检测系统设计【Python源码+数据集+运行演示】
数据饕餮
10-03 1888
YOLO11是一种单阶段目标检测算法，其核心思想是将整个图像划分为多个网格，每个网格负责预测固定数量的边界框及其对应的类别概率。相比于两阶段检测器（如Faster R-CNN），YOLO11具有更快的推理速度，适合于实时应用场景。YOLO11道路缺陷检测系统通过结合高效的YOLO11算法和先进的计算机视觉技术，实现了对道路缺陷的自动化检测。该系统不仅提高了检测效率，还大大降低了人工巡检的成本和时间。通过对大量数据的训练和优化，系统能够准确地识别出多种类型的道路缺陷，并在实时视频流中进行标注。
Yolov8-seg：制作并训练自己的数据集+提取并重建mask
XY_39的博客
03-13 1万+
本篇博文是作者对可见光图像进行图像分割，制作并且训练自己数据的数据集时的操作过程。本文是建立在yolov8-seg模型的基础上进行训练的，没有对模型进行更改。在训练完网络后，实现了对分割结果掩码mask的可视化重建。
YOLOv8-Seg分割训练自己的数据集
qq_54134410的博客
12-08 7420
至此，整个YOLOv8-Seg分割模型训练预测阶段完成。此过程同样可以在linux系统上进行，在数据准备过程中需要仔细，保证最后得到的数据准确，最好是用显卡进行训练。有问题评论区见！
YOLOv8-seg训练自己的分割数据集
Xiao_Ya__的博客
10-22 1166
YOLOv8-seg训练自己的分割数据集
使用YOLO11训练自己的数据集【下载模型】-【导入数据集】-【训练模型】-【评估模型】-【导出模型】
A1983Z的博客
09-30 1万+
使用YOLO11训练自己的数据集
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
热门推荐
qq_37706472的博客
01-28 2万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有220+个改进点！
YOLO11-seg分割：DCNv4更快收敛、更高速度、更高性能，效果秒杀DCNv3、DCNv2等 ，结合C3k2二次创新
10-29 1215
CNv4结合C3k2，Mask mAP50 从原始的0.673 提升至0.681
YOLO11-seg分割：原创自研 | 自研独家创新DSAM注意力 ，基于BiLevelRoutingAttention注意力升级
10-21 1450
自研独家创新DSAM注意力 ，基于BiLevelRoutingAttention注意力升级
sppf加注意力机制
最新发布
02-09
### 实现SPPF结合注意力机制 在深度学习领域，空间金字塔池化(Spatial Pyramid Pooling, SPP)是一种有效处理不同尺度目标的技术[^2]。对于SPPF（Spatial Pyramid Pooling-Fast），这是YOLOv5中的一个模块变体，在FastestDet框架下引入注意力机制可以进一步提升模型的表现。 #### 方法描述 通过修改`ultralytics.nn.sppf.SPPF_attention`模块来集成注意力机制到SPPF层中。这种做法不仅能够增强特征图的空间信息表达能力，还能突出重要区域并抑制不相关背景噪声的影响[^1]。 具体来说，可以在原有SPPF结构基础上增加一个多头自注意(Multi-head Self-Attention)组件作为预处理步骤，使得输入特征经过加权聚合后再送入后续的标准卷积操作。此过程有助于捕捉更复杂的上下文依赖关系，并提高对细粒度模式识别的能力。 #### Python代码示例 以下是基于PyTorch的一个简化版本实现： ```python import torch from torch import nn class MultiHeadSelfAttention(nn.Module): """Multi Headed Attention Layer""" def __init__(self, d_model=512, num_heads=8): super().__init__() self.d_k = d_model // num_heads self.h = num_heads self.q_linear = nn.Linear(d_model, d_model) self.v_linear = nn.Linear(d_model, d_model) self.k_linear = nn.Linear(d_model, d_model) self.out = nn.Linear(d_model, d_model) def forward(self, q, k, v): bs = q.size(0) # Perform linear operation and split into h heads k = self.k_linear(k).view(bs, -1, self.h, self.d_k) q = self.q_linear(q).view(bs, -1, self.h, self.d_k) v = self.v_linear(v).view(bs, -1, self.h, self.d_k) # Transpose to get dimensions bs * h * sl * d_model k = k.transpose(1, 2) q = q.transpose(1, 2) v = v.transpose(1, 2) scores = torch.matmul(q, k.transpose(-2, -1)) / ((self.d_k)**0.5) softmax_scores = F.softmax(scores, dim=-1) output = torch.matmul(softmax_scores, v) concat_output = output.transpose(1, 2).contiguous().view(bs, -1, self.h * self.d_k) final_output = self.out(concat_output) return final_output class Improved_SPPF(nn.Module): """Improved Spatial Pyramid Pooling with attention mechanism""" def __init__(in_channels, out_channels): super().__init__() self.attention_layer = MultiHeadSelfAttention(in_channels) self.conv1 = ConvBlock(in_channels=in_channels, out_channels=out_channels, kernel_size=(3, 3), stride=1, padding='same') self.maxpool = MaxPool(kernel_size=(5, 5), stride=1, padding='same') def forward(x): attended_features = self.attention_layer(x, x, x) convolved_features = self.conv1(attended_features) pooled_feature_maps = [convolved_features] for _ in range(3): # Apply max pooling three times as per original design. convolved_features = self.maxpool(convolved_features) pooled_feature_maps.append(convolved_features) concatenated_tensors = torch.cat(pooled_feature_maps, dim=1) result_tensor = self.conv1(concatenated_tensors) return result_tensor ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值