YOLOv10 正式发布！原理、部署、应用一站式齐全

最新推荐文章于 2024-09-23 23:02:59 发布
最新推荐文章于 2024-09-23 23:02:59 发布
阅读量1.9w 收藏 83
点赞数 24
分类专栏： 分类/识别/检测/分割 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cvhub/article/details/139204248
版权

标题：YOLOv10: Real-Time End-to-End Object Detection
论文：https://arxiv.org/pdf/2405.14458
源码：https://github.com/THU-MIG/yolov10

导读

YOLO（You Only Look Once）系列是当前最主流的端侧目标检测算法，由Joseph Redmon等人首次提出，并随着时间发展，已经推出了多个版本，每个版本“似乎”都在性能和速度上有所提升。

今天为大家介绍的是 YOLOv10，这是由清华大学研究团队最新提出的，同样遵循 YOLO 系列设计原则，致力于打造实时端到端的高性能目标检测器。

从图中可以看出，性能是持续提升的，欢迎各位小伙伴阅读完本篇文章后在评论区留言，谈谈你对本文的看法。

方法

创新

  1. 双标签分配策略

众所周知，标签分配策略对于目标检测器来说是至关重要的。经过这几年的发展，前前后后也提出了许多的不同的方案，但归根结底还是围绕着正负样本去定义。通常，我们会认为与 GT 框的 IoU 大于给定阈值的便是正样本。

首先，回顾下经典的 YOLO 架构，其通过网格化的方式预定义数千个锚框(anchor)，然后基于这些锚框进一步执行回归和分类任务。然而，实际场景中，我们所面临的目标其大小、长宽比、数量、位姿均各有所异，因此很难通过这种方式来提供一个完美的先验信息，尽管可以借助一些方法如 kmeans 聚类来获得一个次优的结果。

于是乎，基于 anchor-free 的目标检测器被提出来了。其标签分配策略被简化成了从网格点到目标框中心或者角点的距离。遗憾的是，无论是 anchor-based 的“框分配”策略还是 anchor-free 的“点分配”策略，其始终会面临一个 many-to-one 的窘境，即对于一个 GT 框来说，会存在多个正样本与之对应。

这便意味着 NMS 成为了一种必不可少的手段，以避免产生冗余检测框。然而，引入 NMS 一方面会增加耗时，同时也会引入一些问题，譬如当 IoU 设置不恰当时会导致一些高置信度的正确目标框被过滤掉（密集场景下）。

当然，针对这个问题，后面也提出了不少解决方案。如最容易想到的就是 two-stage 模型的 one-to-one 即一对一分配策略，我们强制只将一个 GT 框分配给一个正样本，这样就可以避免引入 NMS，可惜效率方面是个极大的劣势。

又比如 One-Net 提出的最小代价分配（Minimum Cost Assignment），即于每个 GT，仅将一个最小代价样本分配为正样本，其它均为负样本，该方法不涉及手动制定的启发式规则或者复杂的二分图匹配。这里代价是指样本与真值之间的分类代价和位置代价的总和。

另一方面，诸如 DETR 系列的检测器，其直接利用 Transformer 的全局建模能力，将目标检测看成是一个集合预测的问题。为了实现端到端的检测，其使用的标签分配策略是二分匹配，使得一个 GT 只能分配到一个正样本。

由于篇（知）幅（识）有（盲）限（区），今天我们就讲到这。回到今天的主角，YOLOv10 的一大创新点便是引入了一种双重标签分配策略，其核心思想便是在训练阶段使用一对多的检测头提供更多的正样本来丰富模型的训练；而在推理阶段则通过梯度截断的方式，切换为一对一的检测头，如此一来便不在需要 NMS 后处理，在保持性能的同时减少了推理开销。

原理其实不难，大家可以看下代码理解下：

#https://github.com/THU-MIG/yolov10/blob/main/ultralytics/nn/modules/head.py
class v10Detect(Detect):

    max_det = -1

    def __init__(self, nc=80, ch=()):
        super().__init__(nc, ch)
        c3 = max(ch[0], min(self.nc, 100))  # channels
        self.cv3 = nn.ModuleList(nn.Sequential(nn.Sequential(Conv(x, x, 3, g=x), Conv(x, c3, 1)), \
                                               nn.Sequential(Conv(c3, c3, 3, g=c3), Conv(c3, c3, 1)), \
                                                nn.Conv2d(c3, self.nc, 1)) for i, x in enumerate(ch))

        self.one2one_cv2 = copy.deepcopy(self.cv2)
        self.one2one_cv3 = copy.deepcopy(self.cv3)
    
    def forward(self, x):
        one2one = self.forward_feat([xi.detach() for xi in x], self.one2one_cv2, self.one2one_cv3)
        if not self.export:
            one2many = super().forward(x)

        if not self.training:
            one2one = self.inference(one2one)
            if not self.export:
                return {"one2many": one2many, "one2one": one2one}
            else:
                assert(self.max_det != -1)
                boxes, scores, labels = ops.v10postprocess(one2one.permute(0, 2, 1), self.max_det, self.nc)
                return torch.cat([boxes, scores.unsqueeze(-1), labels.unsqueeze(-1)], dim=-1)
        else:
            return {"one2many": one2many, "one2one": one2one}

    def bias_init(self):
        super().bias_init()
        """Initialize Detect() biases, WARNING: requires stride availability."""
        m = self  # self.model[-1]  # Detect() module
        # cf = torch.bincount(torch.tensor(np.concatenate(dataset.labels, 0)[:, 0]).long(), minlength=nc) + 1
        # ncf = math.log(0.6 / (m.nc - 0.999999)) if cf is None else torch.log(cf / cf.sum())  # nominal class frequency
        for a, b, s in zip(m.one2one_cv2, m.one2one_cv3, m.stride):  # from
            a[-1].bias.data[:] = 1.0  # box
            b[-1].bias.data[: m.nc] = math.log(5 / m.nc / (640 / s) ** 2)  # cls (.01 objects, 80 classes, 640 img)
  1. 架构改进

  • Backbone & Neck：使用了先进的结构如 CSPNet 作为骨干网络，和 PAN 作为颈部网络，优化了特征提取和多尺度特征融合。
  • 大卷积核与分区自注意力：这些技术用于增强模型从大范围上下文中学习的能力，提高检测准确性而不显著增加计算成本。
  • 整体效率：引入空间-通道解耦下采样和基于秩引导的模块设计，减少计算冗余，提高整体模型效率。

这块没啥好讲的，大家看一眼框架图便清楚了，懂的都懂。😃

性能

YOLOv10 在各种模型规模上显示了显著的性能和效率改进。关键比较包括：

  • YOLOv10-S vs. RT-DETR-R18：YOLOv10-S 的速度提高了 1.8 倍，同时在 COCO 数据集上保持类似的平均精度（AP），参数和 FLOPs 分别减少了 2.8 倍。
  • YOLOv10-B vs. YOLOv9-C：YOLOv10-B 的延迟减少了 46%，参数减少了 25%，而性能相当。

扩展性

ModelTest Size#ParamsFLOPsAPvalLatency
YOLOv10-N6402.3M6.7G38.5%1.84ms
YOLOv10-S6407.2M21.6G46.3%2.49ms
YOLOv10-M64015.4M59.1G51.1%4.74ms
YOLOv10-B64019.1M92.0G52.5%5.74ms
YOLOv10-L64024.4M120.3G53.2%7.28ms
YOLOv10-X64029.5M160.4G54.4%10.70ms

YOLOv10 提供了多个模型规模（N、S、M、B、L、X），允许用户根据性能和资源约束选择最适合的模型。这种可扩展性确保了 YOLOv10 能够有效应用于各种实时检测任务，从移动设备上的轻量级应用到需要高精度的复杂任务。

实验

这里重点看下表3，可以看出，采用一对多的检测头性能最好（提供了更丰富的正样本监督信号），但延迟也高了许多（需要 NMS 做后处理）；另外方面，一对一的检测头则性能会稍微下降，但延迟却低了不少；最终综合利用两者的优势能达到一个最优的精度-速度折衷。

实战

首先，按照官方主页将环境配置好，注意这里 python 版本至少需要 3.9 及以上，torch 版本可以根据自己本地机器安装合适的版本，默认下载的是 2.0.1：

conda create -n yolov10 python=3.9
conda activate yolov10
pip install -r requirements.txt
pip install -e .

安装完成之后，我们简单执行下推理命令测试下效果：

yolo predict model=yolov10s.pt source=ultralytics/assets/bus.jpg

bus.jpg

Woo…Not bad! Btw, if you encounter this error message:

AttributeError: Can't get attribute 'YOLOv10DetectionModel' on <module 'ultralytics.nn.tasks' from '/home/xxx/miniconda3/lib/python3.10/site-packages/ultralytics/nn/tasks.py'>

Don’t worry, just execute the following command, making sure to replace the placeholders with your local installation path:

# Linux or Mac
export PYTHONPATH=/path/to/yolov10
# Windwos
set PYTHONPATH=\path\to\yolov10

关于推理速度方面我们就不测了，不过我看有些同学测完反映说这个 latency 没有报告中的低，我想大概率是没有转换成 one-to-one 去测，应该是基于训练阶段的 one-to-many 结构测试得到一个错误的结论。

Good! 让我们尝试部署一下，譬如先导出个 onnx 模型出来看看：

yolo export model=yolov10s.pt format=onnx opset=13 simplify

好了，接下来通过执行 pip install netron 安装个可视化工具来看看导出的节点信息：

# run python fisrt
import netron
netron.start('/path/to/yolov10s.onnx')

先直接通过 Ultralytics 框架预测一个测试下能否正常推理：

yolo predict model=yolov10s.onnx source=ultralytics/assets/bus.jpg

大家可以对比下上面的运行结果，可以看出 performance 是有些许的下降。问题不大，让我们基于 onnxruntime 写一个简单的推理脚本，代码地址如下，有兴趣的可以自行查看：

# 推理脚本
https://github.com/CVHub520/X-AnyLabeling/blob/main/tools/export_yolov10_onnx.py

# onnx 模型权重
https://github.com/CVHub520/X-AnyLabeling/releases/tag/v2.3.6

好了，精度基本一致！最后再为大家介绍下X-AnyLabeling，这是一款基于AI推理引擎和丰富功能特性于一体的强大辅助标注工具，其专注于实际应用，致力于为图像数据工程师提供工业级的一站式解决方案，可自动快速进行各种复杂任务的标定，并支持以下特性：

  • 支持GPU推理加速；
  • 支持图像和视频处理；
  • 支持单帧和批量预测所有任务；
  • 支持自定义模型和二次开发设计；
  • 支持一键导入和导出主流的标签格式，如COCO\VOC\YOLO\DOTA\MOT\MASK；
  • 支持多种图像标注样式，包括 多边形、矩形、旋转框、圆形、线条、点，以及 文本检测、识别 和 KIE 标注；
  • 支持各类视觉任务，如图像分类、目标检测、实例分割、姿态估计、旋转检测、多目标跟踪、光学字符识别、图像文本描述、车道线检测、分割一切系列等。

更多介绍请查看以下文章：

X-AnyLabeling 最新 v2.3.6 版本以集成 YOLOv10 全系列模型，欢迎下载体验：

项目地址：https://github.com/CVHub520/X-AnyLabeling
安装教程：https://github.com/CVHub520/X-AnyLabeling/blob/main/docs/zh_cn/get_started.md
用户手册：https://github.com/CVHub520/X-AnyLabeling/blob/main/docs/zh_cn/user_guide.md
模型列表：https://github.com/CVHub520/X-AnyLabeling/blob/main/docs/zh_cn/model_zoo.md

结论

YOLOv10 作为一款实时端到端目标检测模型，其通过创新的双标签分配策略和架构改进，在保持高速检测的同时显著提升了准确性和效率，提供了多个模型规模以适应不同应用场景，并通过支持ONNX和TensorRT等格式的导出，便于在多种平台上部署和推理，值得尝试。

CVHub
关注
专栏目录
YOLOv10通俗易懂！手把手教大家利用yolov10训练自己的数据集(环境搭建，YOLOv10网络结构解读 、yolov10.yaml配置文件详细解读与说明、模型训练参数详细解析)
qq_45972324的博客
09-06 7332
YOLOv10入门必看系列！弄懂YOLOv10模型，看这一篇文章就够了，通俗易懂！ | 手把手教大家利用yolov10训练自己的数据集(环境搭建，YOLOv10网络结构解读 、yolov10.yaml配置文件详细解读与说明、模型训练参数详细解析)
YOLOv10 目标检测算法详解及其应用部署
最新发布
10-08
内容概要：该文档详细介绍了YOLOv10算法的技术要点以及应用场景，并提供了完整的实施指南，涵盖了YOLOv10的安装、模型结构解析、训练及推断过程，同时讨论了基于模型的性能优化方法如TensorRT，展示了其实时视频流及批量图片检测的应用实例。 适用人群：面向从事机器视觉研究、计算机视觉方向的开发人员或者有一定Python编程经验和深度学习背景的学习者。 使用场景及目标：主要针对有志于深入理解和部署YOLOv10的对象识别系统的专业人士。帮助读者能够顺利地搭建YOLOv10环境并且对其有一个全方位的认识，并指导用户在各种实际环境中进行有效的部署。 其他说明：通过对多个具体案例的学习，使得读者可以从理论到实践，全面掌握YOLOv10的工作机制。无论是对于个人能力提升还是商业产品的快速交付都有很大助力。
YOLOv10的改进、部署和微调训练总结
09-25
YOLOv10的改进、部署和微调训练总结
YOLO算法全家桶（YOLOV1~YOLOV10）
浩瀚之水的专栏
09-10 1820
YOLOV1作为目标检测领域的开创性模型，以其独特的设计理念和高效的检测性能赢得了广泛的关注和应用。尽管存在一些不足之处，但YOLOV1为后续的YOLO系列模型奠定了坚实的基础，推动了目标检测技术的不断发展。YOLOv6专注于提供极致的检测精度和推理效率，适用于自动驾驶、安防监控等多种领域。它支持模型训练、推理及多平台部署等全链条的工业应用需求，并在网络结构、训练策略等算法层面进行了多项改进和优化。Backbone。
【YOLOV10原理和技术】YOLOV10 正式发布！原理、部署、应用一站式齐全
09-25
【YOLOV10原理和技术】YOLOV10 正式发布！原理、部署、应用一站式齐全
yolov10的原理及应用详解.pdf
09-02
YOLOv10（You Only Look Once version 10）是计算机视觉领域的一个突破性框架，尤其在实时目标检测方面表现出色。以下是对YOLOv10的原理及应用的详细解析： 一、YOLOv10的原理 1. 继承与改进 YOLOv10作为YOLO系列的最新版本，继承了YOLO系列的核心思想，即将图像分割成网格，并对每个网格中的区域进行预测，同时处理多个物体和类别。 相比于之前的版本，YOLOv10在模型架构、后处理等方面进行了显著改进，特别是在消除非最大抑制（NMS）和优化模型组件方面取得了重要进展。 2. 主要特点 无NMS设计：YOLOv10利用一致的双重分配来消除对NMS的需求，从而减少推理延迟。这一改进使得模型在实时应用中更加高效。 整体模型设计：从效率和准确性的角度全面优化各种组件，包括轻量级分类头、空间通道去耦向下采样和等级引导块设计等。 增强的模型功能：纳入大核卷积和部分自注意模块，以提高模型从大范围上下文中学习的能力，从而在不增加大量计算成本的情况下提高性能。 3. 网络结构 Backbone & Neck：YOLOv10使用了先进的结构如CS
YOLOv10部署教程，使用tensorRT部署，有转化和推理代码
qq_44224801的博客
07-11 1659
YOLOv10部署教程，使用tensorRT部署，有转化和推理代码
YOLOv10来啦！ONNX模型部署和性能对比了解一下
DeepDriving
05-29 3059
YOLOv10是清华大学最近开源的一个实时端到端的目标检测算法，解决了以往版本YOLO系列目标检测算法在后处理和模型架构方面的不足。通过消除非极大值抑制（NMS）操作和优化模型架构，YOLOv10在显著降低计算开销的同时还实现了最先进的性能。YOLOv10主干网络：使用增强版的CSPNet来提取图像特征，它能改善梯度流并减少计算量。颈部：采用PAN结构汇聚不同尺度的特征，有效地实现多尺度特征融合。一对多预测头：在训练过程中为每个对象生成多个预测，用来提供丰富的监督信号从而提高学习的准确性；
Yolov10：详解、部署、应用一站式齐全！
gzq0723的博客
05-26 7691
。点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式标题：YOLOv10: Real-Time End-to-End Object Detection论文：https://arxiv.org/pdf/2405.14458源码：https://github.com/THU-MIG/yolov10计算机视觉研究院专栏Column of Com...
YOLOv10来了
啥都生的博客
05-27 1379
YOLOv10 由清华大学研究人员在 Ultralytics版基础上进行进一步开发，引入了一种新的实时目标检测方法，解决了以前版本 YOLO 在后处理和模型架构方面的不足。通过消除非最大抑制（NMS）和优化各种模型组件，YOLOv10 在显著降低计算开销的同时实现了最先进的性能。广泛的实验证明，YOLOv10 在多个模型尺度上实现了卓越的精度-延迟权衡实时物体检测旨在以较低的延迟准确预测图像中的物体类别和位置。YOLO 系列在性能和效率之间取得了平衡，因此一直处于这项研究的前沿。然而，
YOLOv8推理详解及部署实现
热门推荐
周同学的博客
11-07 1万+
YOLOv8推理详解及部署实现
部署yolov10的ncnn模型到android源码+模型+项目说明.zip
06-08
部署yolov10的ncnn模型到android源码+模型+项目说明.zip 部署yolov10的ncnn模型到android源码+模型+项目说明.zip 部署yolov10的ncnn模型到android源码+模型+项目说明.zip 部署yolov10的ncnn模型到android源码+模型+...
YOLOv10：毫秒级实时端到端目标检测开源模型
hllyzms的博客
05-26 1526
在本文中，针对YOLO整个检测流程中的后处理和模型架构。对于后处理，提出一致的双重分配进行 NMS-free 训练，实现高效的端到端检测。对于模型架构，引入整体效率-准确性驱动的模型设计策略，改善性能与效率的权衡。这些带来了 YOLOv10，一种新的实时端到端目标检测器。大量实验表明，与其他先进检测器相比，YOLOv10 实现了最先进的性能和延迟，充分证明了其优越性。
YOLOv10问世，登顶GiTHub！性能飞升，【多尺度目标检测】值得大看特看！
08-08 787
【多尺度目标检测】是近年来在深度学习领域中备受关注的一项技术，它通过处理图像中不同尺度的目标，显著提升了模型在复杂场景中的检测精度和鲁棒性。多尺度目标检测技术已经在自动驾驶、安防监控和遥感图像分析等多个领域取得了显著成果，其独特的方法和有效的表现使其成为研究热点之一。为了帮助大家全面掌握多尺度目标检测的方法并寻找创新点，本文总结了最近两年【多尺度目标检测】相关的20篇顶会顶刊的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
YOLOv10训练自己的数据集（AutoDL算力云）
weixin_45314480的博客
06-27 1960
将数据集放在dataset目录下目录格式如下：图片以JPG格式放在JPEGImages中标签放在Annotations中YOLO格式需要的txt放在txt中。
学习经验分享【37】YOLOv10解读——最新YOLO版本
m0_70388905的博客
05-25 9302
YOLOv10解读——最新YOLO版本
YOLO V10简单使用
shgg2917的博客
09-23 1014
官方GitHub地址：https://github.com/THU-MIG/yolov10。
YOLOV10原理解析，实时端到端目标检测
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-28 2519
近年来，YOLO模型由于其在计算成本和检测性能之间的有效平衡，已成为实时目标检测领域的主流范式。研究人员在YOLO的架构设计、优化目标、数据增强策略等方面进行了深入探索，取得了显著进展。然而，YOLO依赖于非极大值抑制（NMS）进行后处理，这限制了YOLO模型的端到端部署，并对推理延迟产生不利影响。此外，YOLO各组件的设计缺乏全面和深入的检验，导致明显的计算冗余，限制了模型的能力。这使得效率不尽如人意，且有很大的性能提升潜力。所有的YOLO基本上都是由三部分组成的网络。
win10 yolov5 tensorrt部署
04-06
b'win10 yolov5 tensorrt部署'是指在Windows 10系统上使用Yolov5深度学习模型以及TensorRT库进行推理部署的过程。这可以帮助将深度学习模型应用到实际环境中，以实现图像识别、目标检测等应用。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CVHub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值