[yolov11改进系列]基于yolov11引入轻量级通用上采样算子CARAFE的python源码+训练源码

最新推荐文章于 2025-06-06 20:26:02 发布
最新推荐文章于 2025-06-06 20:26:02 发布
阅读量833 收藏 17
点赞数 21
分类专栏： YOLO改进 文章标签： YOLO python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FL1623863129/article/details/148419949
版权

【CARAFE介绍】

上采样操作可以表示为每个位置的上采样核和输入特征图中对应邻域的像素做点积，我们称之为特征重组。我们提出的上采样操作 CARAFE 在重组时可以有较大的感受野，会根据输入特征来指导重组过程，同时整个算子比较轻量级。具体来说，我们首先利用输入特征图来预测上采样核，每个位置的上采样核是不同的，然后基于预测的上采样核来进行特征重组。在不同的任务中，CARAFE 都取得了明显的提升，同时仅带来很小的额外参数和计算量。

上采样的表示

我们将特征图的上采样运算看做是特征重组的过程。对于输出特征图中的每个像素点 L'，我们都可以找到它在输入特征图中的对应位置 L，L' 这个点的值可以表示成以输入特征图中以 L 为中心的一个邻域内的像素和一个上采样核的点积（加权和）。以双线性上采样为例，输出特征图中每个像素可以看作是一个 2x2 的上采样核和输入特征图中一个 2x2 的邻域的点积。在下图中，上采样核的 4 个数值均为 0.5。

Motivation

最近邻或者双线性上采样仅通过像素点的空间位置来决定上采样核，并没有利用到特征图的语义信息，可以看作是一种“均匀”的上采样，而且感知域通常都很小（最近邻 1x1，双线性 2x2）。Deconvolution 算子的上采样核并不是通过像素间的距离计算，而是通过网络学出来的，但对于特征图每个位置都是应用相同的上采样核，不能捕捉到特征图内容的信息，另外引入了大量参数和计算量，尤其是当上采样核尺寸较大的时候。Dynamic filter 对于特征图每个位置都会预测一组不同的上采样核，但是参数量和计算量更加爆炸，而且公认比较难学习。

那么我们所希望的上采样算子应该具备以下几个特性。

  1. Large receptive field：需要具有较大的感受野，这样才能更好地利用周围的信息。
  2. Content-aware：上采样核应该和特征图的语义信息相关，基于输入内容进行上采样。
  3. Lightweight：不能引入过多的参数和计算量，需要保持轻量化。

从全称 Content-Aware ReAssembly of FEatures 可以看出，CARAFE 正是具备这几个特性的上采样算子。

方法概述

CARAFE 分为两个主要模块，分别是上采样核预测模块和特征重组模块。假设上采样倍率为σ  

 ，给定一个形状为 HXWXC 的输入特征图，我们首先利用上采样核预测模块预测上采样核，然后利用特征重组模块完成上采样，得到形状为 σHXσWXC 的输出特征图。

上采样核预测模块

1. 特征图通道压缩

2. 内容编码及上采样核预测

3. 上采样核归一化

我们对第二步中得到的上采样核每个通道

利用 softmax 进行归一化，使得卷积核权重和为 1。

特征重组模块

对于输出特征图中的每个位置，我们将其映射回输入特征图，取出以之为中心的 的区域，和预测出的该点的上采样核作点积，得到输出值。相同位置的不同通道共享同一个上采样核。

 【yolov11框架介绍】

2024 年 9 月 30 日，Ultralytics 在其活动 YOLOVision 中正式发布了 YOLOv11。YOLOv11 是 YOLO 的最新版本，由美国和西班牙的 Ultralytics 团队开发。YOLO 是一种用于基于图像的人工智能的计算机模

Ultralytics YOLO11 概述

YOLO11 是Ultralytics YOLO 系列实时物体检测器的最新版本，以尖端的精度、速度和效率重新定义了可能性。基于先前 YOLO 版本的令人印象深刻的进步，YOLO11 在架构和训练方法方面引入了重大改进，使其成为各种计算机视觉任务的多功能选择。

Key Features 主要特点

  • 增强的特征提取：YOLO11采用改进的主干和颈部架构，增强了特征提取能力，以实现更精确的目标检测和复杂任务性能。
  • 针对效率和速度进行优化：YOLO11 引入了精致的架构设计和优化的训练管道，提供更快的处理速度并保持准确性和性能之间的最佳平衡。
  • 使用更少的参数获得更高的精度：随着模型设计的进步，YOLO11m 在 COCO 数据集上实现了更高的平均精度(mAP)，同时使用的参数比 YOLOv8m 少 22%，从而在不影响精度的情况下提高计算效率。
  • 跨环境适应性：YOLO11可以无缝部署在各种环境中，包括边缘设备、云平台以及支持NVIDIA GPU的系统，确保最大的灵活性。
  • 支持的任务范围广泛：无论是对象检测、实例分割、图像分类、姿态估计还是定向对象检测 (OBB)，YOLO11 旨在应对各种计算机视觉挑战。

​​​

与之前的版本相比，Ultralytics YOLO11 有哪些关键改进？

Ultralytics YOLO11 与其前身相比引入了多项重大进步。主要改进包括：

  • 增强的特征提取：YOLO11采用改进的主干和颈部架构，增强了特征提取能力，以实现更精确的目标检测。
  • 优化的效率和速度：精细的架构设计和优化的训练管道可提供更快的处理速度，同时保持准确性和性能之间的平衡。
  • 使用更少的参数获得更高的精度：YOLO11m 在 COCO 数据集上实现了更高的平均精度(mAP)，参数比 YOLOv8m 少 22%，从而在不影响精度的情况下提高计算效率。
  • 跨环境适应性：YOLO11可以跨各种环境部署，包括边缘设备、云平台和支持NVIDIA GPU的系统。
  • 支持的任务范围广泛：YOLO11 支持多种计算机视觉任务，例如对象检测、实例分割、图像分类、姿态估计和定向对象检测 (OBB)

【测试环境】

windows10 x64

ultralytics==8.3.0

torch==2.3.1

RTX2070显卡 8GB显存，推荐显存>=6GB，否则可能训练不起来

【改进流程】

1. 新增CARAFE.py实现模块（代码太多，核心模块源码请参考改进步骤.docx）然后在同级目录下面创建一个__init___.py文件写代码

from .CARAFE import *

2. 文件修改步骤

修改tasks.py文件

创建模型配置文件

yolo11-CARAFE.yaml内容如下：

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
  s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
  m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
  l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
  x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs

# YOLO11n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 2, C3k2, [256, False, 0.25]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 2, C3k2, [512, False, 0.25]]
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  - [-1, 2, C3k2, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  - [-1, 2, C3k2, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9
  - [-1, 2, C2PSA, [1024]] # 10

# YOLO11n head
head:
  - [-1, 1, CARAFE, []]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 2, C3k2, [512, False]] # 13

  - [-1, 1, CARAFE, []]
  - [[-1, 4], 1, Concat, [1]] # cat backbone P3
  - [-1, 2, C3k2, [256, False]] # 16 (P3/8-small)

  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 13], 1, Concat, [1]] # cat head P4
  - [-1, 2, C3k2, [512, False]] # 19 (P4/16-medium)

  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 10], 1, Concat, [1]] # cat head P5
  - [-1, 2, C3k2, [1024, True]] # 22 (P5/32-large)

  - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)
3. 验证集成

git搜futureflsl/yolo-improve获取源码，然后使用新建的yaml配置文件启动训练任务：

from ultralytics import YOLO

if __name__ == '__main__':
    model = YOLO('yolo11-CARAFE.yaml')  # build from YAML and transfer weights
        # Train the model
    results = model.train(data='coco128.yaml',epochs=100, imgsz=640, batch=8, device=0, workers=1, save=True,resume=False)

成功集成后，训练日志中将显示CARAFE模块的初始化信息，表明已正确加载到模型中。

​​

【训练说明】

第一步：首先安装好yolov11必要模块，可以参考yolov11框架安装流程，然后卸载官方版本pip uninstall ultralytics，最后安装改进的源码pip install .
第二步：将自己数据集按照dataset文件夹摆放，要求文件夹名字都不要改变
第三步：分别打开train.py,coco128.yaml和模型参数yaml文件修改必要的参数，最后执行python train.py即可训练

【提供文件】

├── [官方源码]ultralytics-8.3.0.zip
├── train/
│   ├── coco128.yaml
│   ├── dataset/
│   │   ├── train/
│   │   │   ├── images/
│   │   │   │   ├── firc_pic_1.jpg
│   │   │   │   ├── firc_pic_10.jpg
│   │   │   │   ├── firc_pic_11.jpg
│   │   │   │   ├── firc_pic_12.jpg
│   │   │   │   ├── firc_pic_13.jpg
│   │   │   ├── labels/
│   │   │   │   ├── classes.txt
│   │   │   │   ├── firc_pic_1.txt
│   │   │   │   ├── firc_pic_10.txt
│   │   │   │   ├── firc_pic_11.txt
│   │   │   │   ├── firc_pic_12.txt
│   │   │   │   ├── firc_pic_13.txt
│   │   └── val/
│   │       ├── images/
│   │       │   ├── firc_pic_100.jpg
│   │       │   ├── firc_pic_81.jpg
│   │       │   ├── firc_pic_82.jpg
│   │       │   ├── firc_pic_83.jpg
│   │       │   ├── firc_pic_84.jpg
│   │       ├── labels/
│   │       │   ├── firc_pic_100.txt
│   │       │   ├── firc_pic_81.txt
│   │       │   ├── firc_pic_82.txt
│   │       │   ├── firc_pic_83.txt
│   │       │   ├── firc_pic_84.txt
│   ├── train.py
│   ├── yolo11-CARAFE.yaml
│   └── 训练说明.txt
├── [改进源码]ultralytics-8.3.0.zip
├── 改进原理.docx
└── 改进流程.docx

 【常见问题汇总】
问：为什么我训练的模型epoch显示的map都是0或者map精度很低?
回答：由于源码改进过，因此不能直接从官方模型微调，而是从头训练，这样学习特征能力会很弱，需要训练很多epoch才能出现效果。此外由于改进的源码框架并不一定能够保证会超过官方精度，而且也有可能会存在远远不如官方效果，甚至精度会很低。这说明改进的框架并不能取得很好效果。所以说对于框架改进只是提供一种可行方案，至于改进后能不能取得很好map还需要结合实际训练情况确认，当然也不排除数据集存在问题，比如数据集比较单一，样本分布不均衡，泛化场景少，标注框不太贴合标注质量差，检测目标很小等等原因
【重要说明】
我们只提供改进框架一种方案，并不保证能够取得很好训练精度，甚至超过官方模型精度。因为改进框架，实际是一种比较复杂流程，包括框架原理可行性，训练数据集是否合适，训练需要反正验证以及同类框架训练结果参数比较，这个是十分复杂且漫长的过程。

YOLO11改进|上采样篇|引入DySample轻量级动态上采样器
A1983Z的博客
10-03 2621
YOLO11中添加DySample动态上采样
YOLOv8 应用轻量级通用上采样算子CARAFE
走向CTO的路上...
05-23 1337
CARAFE (Content-Aware Reassembly Feature Enhancement) 是一种轻量级的通用上采样算子，旨在解决特征融合中的信息损失和语义扭曲问题。与传统的双线性插值和转置卷积等上采样方法相比，CARAFE 能够更好地保留特征内容和空间结构，同时保持较低的计算复杂度和参数量。
YOLOv11 改进策略 | 使用 CARAFE 轻量级通用上采样算子
走向CTO的路上...
04-19 1433
在现代目标检测网络，特别是像 YOLOv11 这样的单阶段检测器中，颈部网络（Neck）扮演着连接骨干网络（Backbone）和检测头部（Head）的关键角色。它通常包含特征金字塔网络（FPN）或其变体结构，用于融合来自骨干网络不同层级的特征图，以同时获得高分辨率的空间信息和低分辨率的语义信息。在这个特征融合过程中，上采样（Upsampling）是必不可少的步骤，用于将低分辨率的特征图提升到更高的分辨率，以便与高分辨率特征图进行融合。
YOLO v11融合[ICCV2023]DySample中的上采样模块
深度学习炼丹师，偶尔分享炼丹技术!
12-16 2166
论文速览：尽管最近的基于内核的动态上采样器如CARAFE、FADE和SAPA取得了令人印象深刻的性能提升，但它们引入了大量的工作量，主要是由于时间消耗大的动态卷积和用于生成动态内核的额外子网络。此外，FADE和SAPA对高分辨率特征的需求在一定程度上限制了它们的应用场景。为了解决这些问题，研究人员绕过了动态卷积，并从点采样的角度来表述上采样，这更加节省资源并可以用PyTorch中的标准内置函数轻松实现。
YOLOv11改进，YOLOv11添加CARAFE轻量级通用上采样算子，助力模型涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
12-07 647
传统的卷积操作通常依赖于局部区域来提取特征，而CARAFE通过引入上下文信息，在提取特征时考虑到更多的周围区域，尤其是在超分辨率任务中，可以恢复更多的细节和纹理。CARAFE模块通过注意力机制聚焦在关键区域，并对特征图进行上下文增强，这有助于提升图像重建时的细节恢复和边缘锐化。与传统的卷积神经网络（CNN）不同，CARAFE利用无参数卷积，避免了过多的参数，降低了计算复杂度，同时提高了性能
YOLOv8改进，YOLOv8引入CARAFE轻量级通用上采样算子，助力模型涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
12-05 763
传统的卷积操作通常依赖于局部区域来提取特征，而CARAFE通过引入上下文信息，在提取特征时考虑到更多的周围区域，尤其是在超分辨率任务中，可以恢复更多的细节和纹理。CARAFE模块通过注意力机制聚焦在关键区域，并对特征图进行上下文增强，这有助于提升图像重建时的细节恢复和边缘锐化。与传统的卷积神经网络（CNN）不同，CARAFE利用无参数卷积，避免了过多的参数，降低了计算复杂度，同时提高了性能对于采样位置
[yolov11改进系列]基于yolov11引入轻量高效动态上采样算子DySample提升小目标检测能力的python源码+训练源码
FL1623863129的博客
06-04 804
YOLO11 是Ultralytics YOLO 系列实时物体检测器的最新版本，以尖端的精度、速度和效率重新定义了可能性。基于先前 YOLO 版本的令人印象深刻的进步，YOLO11 在架构和训练方法方面引入了重大改进，使其成为各种计算机视觉任务的多功能选择。
YOLOv11改进 | 细节涨点篇 | 文本感知CARAFE提高精度的上采样方法（助力细节长点）
Snu77的博客
11-05 910
本文给大家带来的最新的改进机制是CARAFE（Content-Aware ReAssembly of FEatures）是一种用于增强卷积神经网络特征图的上采样方法。其主要旨在改进传统的上采样方法就是我们的Upsample的性能。使用输入特征本身的内容来指导上采样过程，从而实现更精准和高效的特征重建。CARAFE是一种即插即用的上采样机制其本身并没有任何的使用限制特别是在需要精细上采样的场景中，如图像超分辨率、语义分割等。这种方法改善了上采样过程中的细节保留和重建质量，使网络能够生成更清晰、更准确的输出。
YOLOv10改进，YOLOv10添加CARAFE轻量级通用上采样算子，可提高目标检测性能
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
12-05 743
传统的卷积操作通常依赖于局部区域来提取特征，而CARAFE通过引入上下文信息，在提取特征时考虑到更多的周围区域，尤其是在超分辨率任务中，可以恢复更多的细节和纹理。CARAFE模块通过注意力机制聚焦在关键区域，并对特征图进行上下文增强，这有助于提升图像重建时的细节恢复和边缘锐化。与传统的卷积神经网络（CNN）不同，CARAFE利用无参数卷积，避免了过多的参数，降低了计算复杂度，同时提高了性能对于采样位置
掌握YOLOv8：从视频目标检测到划定区域统计计数的实用指南
shrgegrb的博客
06-05 658
本文介绍了基于YOLOv8的视频区域目标计数方法。YOLOv8作为最新的目标检测算法，在效率和精度上都有显著提升。文章首先回顾了YOLOv8的核心改进和基本使用方法，随后详细讲解了视频划定区域目标统计的实现流程。通过定义感兴趣区域(ROI)，对视频帧进行目标检测和跟踪，利用点与多边形位置关系判断目标进出状态，最终实现精确计数。文中还提供了完整的Python实现代码，包括ROI绘制、目标跟踪轨迹可视化以及进出计数等功能。该方法可广泛应用于交通流量统计、商场人流量监测等场景。
[特殊字符] YOLOv10 终极指南：原理详解 + 实战教学 + 创新应用
weixin_45917851的博客
06-04 624
测试环境：RTX 4090, COCO数据集。
Python----目标检测（YOLO简介）
weixin_64110589的博客
06-06 994
[YOLO](You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的约瑟夫-雷德蒙（Joseph Redmon）和阿里-法哈迪（AliFarhadi）开发，YOLO 于 2015 年推出，因其高速度和高精确度而迅速受到欢迎。
[yolov11改进系列]基于yolov11引入深度可分卷积与多尺度卷积的结合MSCB的python源码+训练源码
FL1623863129的博客
06-04 1136
YOLO11 是Ultralytics YOLO 系列实时物体检测器的最新版本，以尖端的精度、速度和效率重新定义了可能性。基于先前 YOLO 版本的令人印象深刻的进步，YOLO11 在架构和训练方法方面引入了重大改进，使其成为各种计算机视觉任务的多功能选择。
独家首发！低照度环境下YOLOv8的增强方案——从理论到TensorRT部署
最新发布
shrgegrb的博客
06-06 811
本文提出了一种融合Retinexformer低照度增强网络的改进YOLOv8目标检测框架，有效解决了传统算法在夜间等低照度场景下性能显著下降的问题。通过将Retinexformer嵌入YOLOv8主干网络，实现端到端的低照度目标检测，在ExDark和COCO-night数据集上的实验表明，该方法mAP@0.5提升12.5个百分点至54.6，同时保持105FPS的实时性。关键创新包括：基于Retinex理论的多尺度分解、光照感知Transformer模块和自适应特征融合机制。相比传统预处理方案，该一体化框架更
机器视觉开发-使用yolo训练和验证自己的模型
qq_63048478的博客
06-06 177
本文介绍了YOLOv8目标检测模型的训练与验证流程。首先创建数据集目录结构，包含images（train/val子目录）和labels文件夹，比例为8:2。配置Goods.yaml文件定义路径、类别等参数。通过train.py加载预训练模型yolov8n.pt进行100轮训练，设置批次大小为8。验证阶段使用val.py加载最佳权重进行评估，并对验证集图像进行预测可视化（置信度阈值0.5）。最后建议用网络图片测试模型效果。整个流程涵盖了数据集组织、模型训练配置、验证评估等关键步骤。
YOLO在C#中的完整训练、验证与部署方案
m0_37302966的博客
06-05 641
YOLO在C#中的完整训练、验证与部署方案
YOLOv5 ：训练自己的数据集
weixin_44523812的博客
06-02 854
**🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/rnFa-IeY93EpjVu0yzzjkw) 中的学习记录博客**- **🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)**我们接着上一篇文章配置完YOLOv5需要的环境后，今天我们试着用YOLOv5训练自己的数据集。
【配置 YOLOX 用于按目录分类的图片数据集】
06-06 236
摘要：针对图标点选识别需求，本文提出采用YOLOX目标检测模型的解决方案。首先需将图标按类别分类存放（如banner、apple等目录），通过Python脚本转换为YOLOX所需格式，包括生成标注文件和划分训练/验证集。重点配置数据路径、类别数和输入尺寸，并调整数据加载逻辑。该方法支持将整图作为分类单元，若需精准定位则需补充边界框标注。最后提供训练命令示例，强调输入尺寸适配和损失函数调整等关键注意事项。该方案有效简化了多图标识别流程，适用于图像分类和目标检测场景。
怎么理解轻量级上采样算子CARAFE
05-31
轻量级上采样算子CARAFE（Class-Activation Map Regression Attention for Feature Enhancement）是一种在深度神经网络中用于上采样的算子。CARAFE 通过结合上采样和注意力机制，可以在不增加网络参数的情况下提高特征图的分辨率和信息量。与传统的上采样算子（如双线性插值、转置卷积等）相比，CARAFE 能够更好地保留细节信息，提高模型的性能。 具体来说，CARAFE 通过对特征图进行卷积操作，生成一个类激活图，然后使用自适应池化的方式对类激活图进行降采样，得到一个权重矩阵。这个权重矩阵可以看做是一个注意力矩阵，用来指导上采样过程中不同位置的信息融合。最后，CARAFE 将注意力矩阵与卷积后的特征图进行加权融合，得到最终的上采样结果。 总之，CARAFE 是一种结合注意力机制的轻量级上采样算子，能够在不增加网络参数的情况下提高特征图的分辨率和信息量，从而提高模型的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FL1623863129

你的打赏是我写文章最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值