weixin_44779079的博客

在计算机视觉领域，目标检测技术一直是研究和应用的热点，而YOLO系列算法凭借其高效性和精确性，成为了广泛应用的选择。YOLOv10作为YOLO系列的最新版本，继承并扩展了前辈的优点，同时也带来了许多创新和改进。本专栏将手把手教你掌握YOLOv10的实战技巧，包括算法改进、环境配置和训练自己数据集等，让你能够迅速上手并应用到实际项目中。

WTConv 的核心思想是通过结合卷积神经网络（CNN）的强大特征提取能力与小波变换的多尺度特性，来实现大感受野的卷积操作，同时避免传统大卷积核带来的参数爆炸问题。传统的卷积操作通过滑动小窗口在图像上逐步执行局部特征提取，感受野的大小直接取决于卷积核的尺寸。随着卷积核的增大，参数量呈指数增长，导致网络训练效率降低、计算资源消耗增加。为解决这些问题，WTConv 提出了在小波域中执行卷积操作的策略。小波变换是一种常用于信号处理的技术，能够将信号分解为不同频率成分。

Gradio 是一个开源 Python 库，用于快速构建和共享机器学习模型的 Web 界面。开发者可以通过简单的 Python 代码将机器学习模型封装成交互式应用，无需复杂的设置即可在浏览器中使用自己训练好模型。接下来手把手教你运行 YOLOv10 的一个简单 Web 界面推理自己的模型

小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv10 中增加了 P2 检测头，有四个检测头并且改进主干网络为MobileNetV3

在本文中，提出了一种新的移动网络注意力机制，将位置信息嵌入到信道注意力中称之为“协调注意力”。与渠道关注不同通过 2D 全局池将特征张量转换为单个特征向量，坐标注意力因子将通道注意力转化为两个 1D 特征编码过程，这两个过程分别沿着两个空间方向聚合特征。通过这种方式，可以沿着一个空间方向捕获长程依赖性和均值，同时可以沿着另一个空间方向。生成的特征图为然后分别编码为一对方向感知和位置敏感注意力图，其可以被完全应用于输入特征图以增加感兴趣对象的表示。坐标保持简单，可以灵活插入经典网络。

小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv10 中增加了 P2 检测头，相当于有四个检测头，使网络能检测到更小的目标。

GhostNetV3 引入了多分支重参数化机制，通过在卷积层中添加额外的平行分支来改善性能。这些分支在训练过程中提供更多的表征能力，最终通过将多个分支重组为一个卷积层来实现推理时的高效性。通过添加配备 BatchNorm 层的重复分支将再参数化引入紧凑型模型。因此作为YOLOv10的主干网络，在此基础上，融入一种轻量级的混合局部通道注意力（MLCA）模块，以提高目标检测网络的性能。该模块能够同时结合通道信息和空间信息，以及局部信息和全局信息，从而提升网络的表示效果。

一种用于移动应用的新 GhostNetV2 架构。提出的 DFC 注意力基于全连接层构建，不仅能在常见硬件上快速执行，还能捕捉远距离像素之间的依赖关系

GhostNetV3 引入了多分支重参数化机制，通过在卷积层中添加额外的平行分支来改善性能。这些分支在训练过程中提供更多的表征能力，最终通过将多个分支重组为一个卷积层来实现推理时的高效性。通过添加配备 BatchNorm 层的重复分支将再

AFF和iAFF的示意图如下：AFF模块：通过关注通道的不同尺度（即多尺度通道注意力），解决不同层次特征融合的语义和尺度不一致问题。图（a）中两个输入特征图（X 和 Y）的信息，经过多尺度通道注意力模块（MS-CAM）后，输出特征图Z。输入特征 X 和 Y：分别表示不同层或不同尺度的特征图。它们的尺寸都是 C×H×W （C 是通道数，H 和 W 是特征图的高度和宽度）。加权乘法：首先对 X 和 Y进行通道上的加权操作，用不同的权重去强调某些通道的信息。

VanillaNet-6 模型的架构，仅由 6 个卷积层组成，非常容易在任何现代硬件上使用。输入特征的大小在每个阶段都被下采样，而通道数则加倍，这借鉴了经典神经网络如 AlexNet 和 VGGNet 的设计

FasterNet 的整体架构由四个分层阶段组成，每个阶段包含一组 FasterNet模块，每个层次采用 PConv 来提取局部特征，同时通过 MLP 块来进行全局的信息处理，每个特征图不仅得到了更高效的局部感知，还能通过 MLP更好地学习全局上下文，并在前面加一个嵌入或合并层，最后三层用于特征分类。

PP-HGNet(High Performance GPU Net) 是百度飞桨视觉团队自研的更适用于 GPU 平台的高性能骨干网络，该网络在 VOVNet 的基础上使用了可学习的下采样层（LDS Layer），融合了 ResNet_vd、PPHGNet 等模型的优点，该模型在 GPU 平台上与其他 SOTA 模型在相同的速度下有着更高的精度。在同等速度下，该模型高于 ResNet34-D 模型 3.8 个百分点，高于 ResNet50-D 模型 2.4 个百分点，在使用百度自研 SSLD 蒸馏策略后，超越

PP-HGNetV2(High Performance GPU Network V2) 是百度飞桨视觉团队自研的 PP-HGNet 的下一代版本，其在 PP-HGNet 的基础上，做了进一步优化和改进，最终在 NVIDIA GPU 设备上，将 "Accuracy-Latency Balance" 做到了极致，精度大幅超过了其他同样推理速度的模型。其在单标签分类、多标签分类、目标检测、语义分割等任务中，均有较强的表现。

物体定位是物体检测中的一项关键任务，它严重依赖于边界框回归 (BBR) 损失函数的评估和优化。因此，边界框回归损失函数显著影响物体检测器的性能。大多数 BBR 损失可归类为 𝑙𝑛-norm 和基于 IoU 的损失。如下图所示，不同IoU 损失函数引导的锚框回归过程。彩色框为不同损失函数引导的锚框在回归过程中的分布。很明显，PIoU 损失引导的锚框回归最快，可以最快地逼近目标框。而且，除 PIoU 损失外，所有损失函数引导的锚框都存在面积扩大的问题，而 PIoU 损失引导的锚框不存在此问题。

自注意力（SA）和我们提出的焦点调制。给定查询token和目标token ，SA 首先执行查询-键交互以计算注意力分数，然后进行查询-值聚合以从其他token中捕捉上下文。相比之下，焦点调制首先将不同粒度级别的空间上下文编码为调制器，然后根据查询token自适应地注入到查询token中。显然，SA需要大量的交互和聚合操作，而焦点调制颠倒了它们的顺序，使两者都变得轻量化。如下图所示：焦点调制计算公式如下：其中 q(⋅) 是一个查询投影函数，m(⋅) 是上下文聚合函数，其输出称为调制器。

多样分支块（DiverseBranchBlock）的代表性设计如下图所示：1.DiverseBranchBlock(DBB)采用多分支拓扑结构，包括多尺度卷积、顺序1×1 - K×K卷积、平均池化和分支相加。这些具有不同感受野和复杂度的路径操作可以丰富特征空间，就像Inception架构一样。2.DiverseBranchBlock(DBB)可以在推理时等效地转换为单个卷积。给定一个架构，可以用DBB替换一些常规卷积层，以构建更复杂的训练微观结构，并将其转换回原始结构，这样在推理时不会有额外的成本。

今天写一下YOLOv10画改进前后的对比结果图， 画损失对比图、mAP(平均精度值)对比图、recall(召回率)对比图，precision(精确率)对比图，代码已经写好了，大家只需复制粘贴即可运行。本文提供两种画法：1.合并画法：精度和损失的各项指标在一个图形窗口中显示多张子图。这个画法更加紧凑和直观，可以一次性对比多个指标。2.逐个画法：逐个绘制每个指标的图逐个画法直接上效果图(图太多了，就不展示了)：评价指标解释：1.precision(精确率)：用来衡量模型的精准

BoTNet是一种概念上简单但功能强大的骨干架构，它结合了MHSA意力机制，适用于图像分类、目标检测和实例分割等多种计算机视觉任务。仅通过在ResNet的最后三个瓶颈块中将空间卷积替换为MHSA注意力，不做其他任何更改，我们的方法在实例分割和目标检测上显著优于基准，同时减少了参数，延迟开销最小。

MobileNetV2与ShuffleNet等类似，能够进一步提高性能，同时提供对其内部运作的见解。网络设计基于MobileNetV1，它保留了其简洁性，不需要任何特殊操作符，同时显著提高了其准确性，在多项移动应用的图像分类和检测任务中达到了最先进的水平。下图为不同架构的卷积块比较。ShuffleNet 使用分组卷积 和通道洗牌，并且采用了传统的残差方法，其中内部块的宽度小于输出块。论文地址本文在YOLOv10中的主干网络替换成MobileNetV2，代码已经整理好了，跟着文章复制粘贴，即可直接运行。

EfficientNet论文中研究了卷积网络的缩放和，并证明对深度，宽度和分辨率复合缩放的重要性，因此精度和效率更好。为了阐述相关的原理，我们提出了简单有效的复合缩放方法，使得模型缩放具有一定设计准则，同时兼顾了模型的效率。论文地址代码地址本文在YOLOv10中的主干网络替换成EfficientNet，代码已经整理好了，跟着文章复制粘贴，即可直接运行。

MobileNetV3，使用平台感知NAS来搜索全局网络结构，通过优化每个网络块来实现这一目标。然后，使用NetAdapt算法逐层搜索滤波器的数量。这些技术是互补的，可以结合起来有效地找到针对特定硬件平台优化的模型。通过架构搜索找到模型后，观察到一些最后几层以及一些早期层的计算成本较高。我们提出了一些架构修改，以减少这些慢层的延迟，同时保持准确性。这些修改超出了当前搜索空间的范围。第一个修改是重新设计网络的最后几层的交互方式，以更高效地产生最终特征。

该方法的整体架构，正如图(a)所示，我们的Retinexformer基于我们提出的一阶段Retinex框架(ORF)。ORF由一个照明估计器(i)和一个损坏恢复器(ii)组成。我们设计了一个照明引导变换器(IGT)作为损坏恢复器。图(b)中描述了IGT的基本单元是照明引导注意力块(IGAB)，它由两个层归一化(LN)、一个照明引导多头自注意力(IG-MSA)模块和一个前馈网络(FFN)组成。图©展示了IG-MSA的细节。

ShuffleNet V2的设计原则：1.减少内存访问成本：通过优化数据传输路径，减少内存访问延迟，提高整体运算速度。2.考虑平台特性：针对不同硬件平台的特性进行优化设计，确保在目标平台上的高效运行。3.结构简洁高效：采用简洁而高效的模块设计，降低计算复杂度，同时保持或提升模型的预测准确性。下图，以四种不同计算复杂度水平下的准确性（在ImageNet验证集上的分类），速度和FLOPs的测量结果。(a, c) 为GPU结果，批量大小为8。(b, d) 为ARM结果，批量大小为1。

GlobalContext的结构和优势：3.轻量设计：GC块设计简洁且计算量小，适合在不同网络层次中应用。4.全局上下文建模：有效捕捉图像内的全局上下文信息，提高识别精度。5.性能提升：在多种基准测试中，GCNet显示出优于NLNet和SENet的性能。通过这些创新，我们展示了如何在保持准确性的同时大幅减少计算复杂度，为全局上下文建模提供了一个更高效的解决方案。

我们提出了NAM作为一种高效且轻量级的注意机制。我们采用了CBAM中的模块整合方法，并重新设计了通道和空间注意子模块。然后，在每个网络块的末端嵌入NAM模块。对于残差网络，它被嵌入到残差结构的末端。我们还对空间维度应用BN的缩放因子来衡量像素的重要性。我们称之为像素归一化。对应的空间注意子模块如图2。NAM的优势1.高效性：通过使用BN的缩放因子，我们能够高效地衡量通道和像素的重要性，而不会显著增加计算复杂度。2.轻量级：NAM模块结构简单且易于嵌入现有网络架构中。

Triplet注意力机制(三重注意力)的抽象表示通过三条分支捕捉跨维度交互。对于给定的输入张量，三重注意力通过旋转输入张量并结合残差变换来捕捉维度间的依赖性。如图所示：如下图所示，不同注意力模块的对比: (a) 压缩激励 (SE) 模块;(b) 卷积块注意力模块 (CBAM);© 全局上下文 (GC) 模块;(d) 三重注意力模块 (我们的). 特征图表示为特征维度，例如，C × H × W 表示具有通道数 C、高度 H 和宽度 W 的特征图。

可变形卷积，具有与MHSA相似的有利属性，并且在大规模模型中足够高效。从可变形卷积开始，构建了一个大规模的卷积神经网络 (CNN)。

DCNv4通过两项关键增强解决了其前身DCNv3的局限性：1. 移除空间聚合中的softmax归一化，以增强其动态特性和表达能力；2. 优化内存访问以最小化冗余操作，从而加速计算。这些改进使得DCNv4相比DCNv3显著加快了收敛速度，并且处理速度大幅提升，前向传播速度超过三倍

为了在性能和复杂性之间取得平衡，本文提出了一种轻量级的混合局部通道注意力（MLCA）模块，以提高目标检测网络的性能。该模块能够同时结合通道信息和空间信息，以及局部信息和全局信息，从而提升网络的表示效果。

iRMB重新参考MobileNetv2中的反向残差块，并结合Transformer中的核心MHSA和FFN模块，归纳出一个通用的Meta Mobile Block（MMB），该模块采用参数化参数扩展比λ和高效操作符F来实例化不同的模块。MMB可以揭示上述三个模块的一致本质表达，并且MMB可以被视为改进的轻量级Transformer集中体，EMO只包含一个推导出的iRMB，吸收了轻量级CNN和Transformer的优势。以尽量少的核心模块，以减少模型复杂性并加速部署，达到轻量化效果。

YOLOv10，由清华大学多媒体智能组只开发，是一款亳秒级实时端到端目标检测的开源模型。该模型在保持性能不变的情况下，与YOLOv9相比，延迟减少了46%，参数减少了25%，非常适合需要快速检测物体的应用，如实时视频分析、自动驾驶和智能医疗等领域。这些改进使得YOLOv10在实时物体检测领域达到了新的技术水平。