weixin_44779079的博客

YOLOv8 是目前比较火和比较成熟的深度学习框架，是2023年1月发布的，由 Ultralytics 团队开发。Ultralytics自YOLOv5 开始一直积极维护和更新 YOLO 框架，因此 YOLOv8 也享有持续的维护与升级支持。因此我写下《手把手教你YOLOv8实战》专栏，专门为那些对计算机视觉、深度学习、以及目标检测技术感兴趣的读者设计。通过本专栏，你将深入理解 YOLOv8 的核心原理与实际应用，从0 开始学习并掌握如何使用 YOLOv8 完成各类目标检测任务，帮助你快速上手并掌握 YOLO

Inner-IoU引入辅助边界框，通过缩放因子生成不同大小的辅助边界框计算损失。小比例的辅助边界框适用于高 IoU 样本，有助于加快收敛，而大比例的辅助边界框适用于低 IoU 样本。Inner-IoU 流程如图所示（图摘自论文）：作者通过将 ratio 值设置 0.7 到 0.8 之间小于 1，产生小于实际边框的辅助边框。实验结果证明其能够对高 IoU 样本产生增益。一文构建Inner-SIoU，Inner-GIoU，Inner-DIoU，Inner-CIoU，Inner-MDPIoU全文最详细教程

ResCBAM 模块结合了残差模块和 CBAM，CBAM 首先生成 1D 通道注意力图，然后生成 2D 空间注意力图以增强特征，最终特征通过元素级相加得出，能够更好地聚焦于目标区域，以提升特征表达能力。ResCBAM 工作流程为：输入特征通过 GAP和 GMP 生成不同的空间上下文描述符经过共享的 MLP 后计算出通道注意力图，随后生成空间注意力图最终将输出与输入特征相加形成增强的输出特征。论文地址代码地址下文都是手把手教程，跟着操作即可添加成功。

Slide Loss的核心在于处理样本不平衡问题，对检测中的难易样本进行加权。其主要目的是在训练过程中，将更多的关注放在难样本上，让模型对这些样本的学习更为深入，而不过度关注简单样本。Slide Loss 的设计灵感来源于样本的 IoU 值。易样本：IoU 值高于 µ 的样本。难样本：IoU 值低于 µ 的样本。Slide Loss 的权重设计像“滑梯”形状，对接近阈值 µ 的样本赋予较高权重。赋予低于阈值的难样本较高的权重，使模型在训练时对这些样本更为关注。

RT-DETR（Real-Time DEtection TRansformer）的核心思想是将 Transformer 架构应用于实时目标检测中，并通过改进编码器和解码器的结构，提升检测速度和准确性，从而超越传统的YOLO系列模型。RT-DETR核心细节：高效的混合编码器：RT-DETR提出了一种高效的混合编码器，通过解耦不同尺度特征的交互，减少了计算冗余。

EffectiveSE 模块是改进传统 SE 机制的一个关键组件，解决原始 SE 机制在卷积神经网络（CNN）中可能出现的信息丢失问题。原始的 SE 机制通过学习通道间的依赖关系，对通道进行加权，增强特征图。然而，传统SE模块通过两个全连接（FC）层对通道维度进行压缩再扩展，这一过程可能导致部分通道信息的丢失。而 EffectiveSE 模块的改进简化了这一结构，将原本的两个全连接层替换为一个全连接层，从而避免了通道维度的缩减，保留了原始的通道信息。

目标检测在处理不同尺度的目标时，常采用特征金字塔结构。然而，这种金字塔结构在单步检测器中存在尺度不一致性问题，即不同尺度的特征层在检测过程中可能产生冲突，导致精度下降。ASFF方法通过学习每个尺度特征的自适应融合权重，过滤掉无用的或冲突的信息，只保留有助于检测的特征，从而提高特征的尺度不变性。ASFF核心步骤如下：特征重缩放：首先将不同层次的特征进行上采样或下采样，使它们具有相同的分辨率。

通过引入一种新的线性注意力机制，称为Focused Linear Attention，来解决现有线性注意力方法在视觉任务中的性能下降问题，传统的自注意力机制具有二次计算复杂度，在处理长序列时非常耗费计算资源。而线性注意力通过减少计算复杂度来解决这个问题，但通常会带来性能下降或引入额外的计算开销。Focused Linear Attention 通过两方面的改进来提高性能：关注能力（Focus Ability）：传统线性注意力的权重分布过于平滑，无法有效关注到关键信息。

WTConv 的核心思想是通过结合卷积神经网络（CNN）的强大特征提取能力与小波变换的多尺度特性，来实现大感受野的卷积操作，同时避免传统大卷积核带来的参数爆炸问题。传统的卷积操作通过滑动小窗口在图像上逐步执行局部特征提取，感受野的大小直接取决于卷积核的尺寸。随着卷积核的增大，参数量呈指数增长，导致网络训练效率降低、计算资源消耗增加。为解决这些问题，WTConv 提出了在小波域中执行卷积操作的策略。小波变换是一种常用于信号处理的技术，能够将信号分解为不同频率成分。

Gradio 是一个开源 Python 库，用于快速构建和共享机器学习模型的 Web 界面。开发者可以通过简单的 Python 代码将机器学习模型封装成交互式应用，无需复杂的设置即可在浏览器中使用自己训练好模型。接下来教你使用 Gradio 框架构建一个简单 Web 界面推理 YOLOv8/YOLOv11 模型

MobileNetV3通过结合硬件感知网络架构搜索（NAS）和NetAdapt算法，通过新颖的架构改进进一步提升了性能。本文开始探讨了自动化搜索算法与网络设计如何协同工作，以利用互补方法来提升整体技术水平。通过这一过程，创建了两个新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分别针对高资源和低资源使用场景。这些模型随后被适配并应用于目标检测和语义分割任务。

YOLOv8-seg 和 YOLOv11-seg 都是一种高效实例分割算法，实例分割模型的输出是一组勾勒出图像中每个物体的遮罩或轮廓，以及每个物体的类标签和置信度分数。当你不仅需要知道物体在图像中的位置，还需要知道它们的具体形状时，实例分割就非常有用了，功能非常强大，可以应对各种视觉任务。 YOLOv11-seg 则在 YOLOv8-seg 基础上进一步魔改了模型架构，相对分割速度可能更快，其他指标性能有待测试。实例分割可以用于自动驾驶、医疗图像处理、智能农业监控等领域。

CA注意机制生成的特征图为然后分别编码为一对方向感知和位置敏感注意力图，其可以被完全应用于输入特征图以增加感兴趣对象的表示。坐标保持简单，可以灵活插入经典网络。

物体定位是物体检测中的一项关键任务，它严重依赖于边界框回归 (BBR) 损失函数的评估和优化。因此，边界框回归损失函数显著影响物体检测器的性能。大多数 BBR 损失可归类为 𝑙𝑛-norm 和基于 IoU 的损失。如下图所示，不同IoU 损失函数引导的锚框回归过程。彩色框为不同损失函数引导的锚框在回归过程中的分布。很明显，PIoU 损失引导的锚框回归最快，可以最快地逼近目标框。而且，除 PIoU 损失外，所有损失函数引导的锚框都存在面积扩大的问题，而 PIoU 损失引导的锚框不存在此问题。

MobileNetV3通过结合硬件感知网络架构搜索（NAS）和NetAdapt算法，通过新颖的架构改进进一步提升了性能。本文开始探讨了自动化搜索算法与网络设计如何协同工作，以利用互补方法来提升整体技术水平。通过这一过程，创建了两个新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，分别针对高资源和低资源使用场景。这些模型随后被适配并应用于目标检测和语义分割任务。

引入了可变形卷积 v4 (DCNv4)，这是一种为广泛视觉应用设计的高效且有效的操作算子。DCNv4通过两项关键增强解决了其前身DCNv3的局限性：1. 移除空间聚合中的softmax归一化，以增强其动态特性和表达能力；2. 优化内存访问以最小化冗余操作，从而加速计算。这些改进使得DCNv4相比DCNv3显著加快了收敛速度，并且处理速度大幅提升，前向传播速度超过三倍。DCNv4在多个任务中表现出色，包括图像分类、实例和语义分割，特别是在图像生成方面表现突出。

YOLOv11 由 Ultralytics 在 2024 年 9 月 30 日发布， 最新的 YOLOv11 模型在之前的 YOLO 版本引入了新功能和改进，以进一步提高性能和灵活性。YOLO11 在快速、准确且易于使用，使其成为各种对象检测和跟踪、实例分割、图像分类和姿态估计任务的绝佳选择。

YOLOv8改进主干网络为华为的轻量化架构GhostNetV1，作者提出了一种新颖的 Ghost 模块，用于通过廉价操作生成更多的特征图，Ghost 模块可以作为即插即用组件来升级现有的卷积神经网络。

一种用于移动应用的新 GhostNetV2 架构。提出的 DFC 注意力基于全连接层构建，不仅能在常见硬件上快速执行，还能捕捉远距离像素之间的依赖关系。作者进一步重新审视了之前 GhostNet 中的表达瓶颈，并提出通过 DFC 注意力增强由廉价操作生成的扩展特征，使得 GhostNetV2 块能够同时聚合局部和远距离信息。

本文将在 YOLOv8 主干中引入 MobileNetV4 轻量化骨干，同时，在检测头引入 CBAM机制注意力机制，并采用 Powerful-IoU 损失函数作为模型的损失函数，其中，MobileNetV4 通过引入通用反向瓶颈(UIB)搜索块和 Mobie MQA 注意力模块创新设计，实现了模型的轻量级化；同时，MobileNetV4 采用了优化的 NAS 策略，通过粗粒度和细粒度搜索相结合的方法，显著提高了搜索效率并改善了模型质量。

物体定位是物体检测中的一项关键任务，它严重依赖于边界框回归 (BBR) 损失函数的评估和优化。因此，边界框回归损失函数显著影响物体检测器的性能。大多数 BBR 损失可归类为 𝑙𝑛-norm 和基于 IoU 的损失。如下图所示，不同IoU 损失函数引导的锚框回归过程。彩色框为不同损失函数引导的锚框在回归过程中的分布。很明显，PIoU 损失引导的锚框回归最快，可以最快地逼近目标框。而且，除 PIoU 损失外，所有损失函数引导的锚框都存在面积扩大的问题，而 PIoU 损失引导的锚框不存在此问题。

GhostNetV3 提供了以下几种常见的模型权重，不同宽度缩放因子（Width Scaling）： - 0.5x: 较小模型深度，用于资源更受限的场景。 - 1.0x: 标准模型。 - 1.3x: 模型深度比1.0x更深。 - 1.6x: 更大的模型版本，适用于计算资源较多的设备。

小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv8 中增加了 P2 检测头，相当于有四个检测头，使网络能检测到更小的目标。

在Transformer架构引入“超级令牌”（Super Token）的机制，旨在解决浅层网络中过多冗余的局部特征捕捉问题。传统的Transformer在捕捉长程依赖性方面表现出色，但在浅层网络中，由于局部特征冗余，导致了计算效率的低下。为了解决这一问题，STViT（Super Token Vision Transformer）通过借鉴超像素（superpixels）的设计思想，将视觉内容划分为“超级令牌”，从而降低计算复杂度并保留全局信息建模的能力。

注意力特征融合（AFF），适用于大多数常见场景，包括短跳跃连接和长跳跃连接引起的特征融合以及 Inception 层内的特征融合。传统注意力机制往往忽略了不同尺度的特征问题，尤其是当融合特征来自不同尺度的层时。为了更好地融合语义和尺度不一致的特征，提出了一个多尺度通道注意力模块（MS-CAM），通过对通道的多尺度上下文信息进行聚合能够同时强调全局分布较大的对象以及局部分布较小的对象。通过这种方式，网络能够更好地识别和检测尺度变化较大的对象。总而言之，该模块解决了在不同尺度上给出的特征融合时出现的问题。

基础模型的核心理念是“更多即不同”，这一理念在计算机视觉和自然语言处理领域取得了惊人的成功。然而，变压器模型的优化挑战和固有复杂性呼唤一种向简化转变的范式。在本研究中，引入了VanillaNet，一种拥抱设计优雅的神经网络架构。通过避免高深度、快捷方式和复杂操作如自注意，VanillaNet设计简洁而功能强大。每一层都精心设计为紧凑和简洁，训练后修剪非线性激活函数以恢复原始架构。VanillaNet克服了固有的复杂性挑战，非常适合资源受限的环境。其易于理解和高度简化的架构为高效部署开辟了新可能。

PP-HGNet(High Performance GPU Net) 是百度飞桨视觉团队自研的更适用于 GPU 平台的高性能骨干网络，该网络在 VOVNet 的基础上使用了可学习的下采样层（LDS Layer），融合了 ResNet_vd、PPHGNet 等模型的优点，该模型在 GPU 平台上与其他 SOTA 模型在相同的速度下有着更高的精度。在同等速度下，该模型高于 ResNet34-D 模型 3.8 个百分点，高于 ResNet50-D 模型 2.4 个百分点

PP-HGNetV2(High Performance GPU Network V2) 是百度飞桨视觉团队自研的 PP-HGNet 的下一代版本，其在 PP-HGNet 的基础上，做了进一步优化和改进，最终在 NVIDIA GPU 设备上，将 “Accuracy-Latency Balance” 做到了极致，精度大幅超过了其他同样推理速度的模型。其在单标签分类、多标签分类、目标检测、语义分割等任务中，均有较强的表现。

不同的特征网络设计如下图所示：（a）FPN 引入了一种自上而下的路径，用于从 3 到 7 层（P3 - P7）融合多尺度特征；（b）PANet [26] 在 FPN 的基础上增加了一个自下而上的路径；（c）NAS-FPN [10] 使用神经架构搜索找到不规则的特征网络拓扑，然后反复应用相同的模块；（d）是 BiFPN，具有更好的准确性和效率权衡。论文地址代码地址本文在YOLOv8中 Neck结构引入BiFPN，代码已经整理好了，跟着文章复制粘贴，即可直接运行。

多尺度特征在物体检测任务中对编码具有尺度变化的物体非常重要。多尺度特征提取的常见策略是采用经典的自上而下和自下而上的特征金字塔网络。然而，这些方法存在特征信息丢失或退化的问题，影响了非相邻层次的融合效果。一种渐进式特征金字塔网络（AFPN），以支持非相邻层次的直接交互。AFPN通过融合两个相邻的低层特征开始，并渐进地将高层特征纳入融合过程中。通过这种方式，可以避免非相邻层次之间较大的语义差距。

FasterNet的整体架构由四个分层阶段组成，每个阶段包含一组FasterNet模块，并在前面加一个嵌入或合并层。最后三层用于特征分类。每个FasterNet模块内部，一个PConv层后跟两个PWConv层，为了保持特征多样性并降低延迟，归一化和激活层仅在中间层之后进行，其中，PConv 是一种快速高效的卷积操作，通过仅对部分输入通道应用卷积滤波器，而保持其余通道不变，从而减少了计算量和内存访问。

YOLOv8改进系列，一文教你改进Neck的SPPF结构替换为SimSPPF、SPP-CSPC和SPPF-CSPC

自注意力（SA）和FocalModulation焦点调制，如下图所示，给定查询token和目标token ，SA 首先执行查询-键交互以计算注意力分数，然后进行查询-值聚合以从其他token中捕捉上下文。相比之下，焦点调制首先将不同粒度级别的空间上下文编码为调制器，然后根据查询token自适应地注入到查询token中。显然，SA需要大量的交互和聚合操作，而焦点调制颠倒了它们的顺序，使两者都变得轻量化。

多样分支块（DiverseBranchBlock）：1.DiverseBranchBlock(DBB)采用多分支拓扑结构，包括多尺度卷积、顺序1×1 - K×K卷积、平均池化和分支相加。这些具有不同感受野和复杂度的路径操作可以丰富特征空间，就像Inception架构一样。2.DiverseBranchBlock(DBB)可以在推理时等效地转换为单个卷积。给定一个架构，可以用DBB替换一些常规卷积层，以构建更复杂的训练微观结构，并将其转换回原始结构，这样在推理时不会有额外的成本。

今天写一下YOLOv8画改进前后的对比结果图， 画损失对比图、mAP(平均精度值)对比图、recall(召回率)对比图，precision(精确率)对比图，代码已经写好了，大家只需复制粘贴即可运行。本文提供两种画法：1.合并画法：精度和损失的各项指标在一个图形窗口中显示多张子图。这个画法更加紧凑和直观，可以一次性对比多个指标。2.逐个画法：逐个绘制每个指标的图。

BoTNet是一种概念上简单但功能强大的骨干架构，它结合了MHSA意力机制，适用于图像分类、目标检测和实例分割等多种计算机视觉任务。仅通过在ResNet的最后三个瓶颈块中将空间卷积替换为MHSA注意力，不做其他任何更改，我们的方法在实例分割和目标检测上显著优于基准，同时减少了参数，延迟开销最小。

MobileNetV4具有面向移动设备的通用高效架构设计。其核心是我们引入的通用倒置瓶颈（Universal Inverted Bottleneck，UIB）搜索块，这是一种统一且灵活的结构，融合了倒置瓶颈（IB）、ConvNext、前馈网络（FFN）和一种新型的额外深度卷积（ExtraDW）变体。论文地址论文地址本文在YOLOv8中的主干网络替换成MobileNetV4，代码已经整理好了，跟着文章复制粘贴，即可直接运行。

EfficientNet论文中研究了卷积网络的缩放和，并证明对深度，宽度和分辨率复合缩放的重要性，因此精度和效率更好。为了阐述相关的原理，我们提出了简单有效的复合缩放方法，使得模型缩放具有一定设计准则，同时兼顾了模型的效率。论文地址代码地址本文在YOLOv8中的主干网络替换成EfficientNet，代码已经整理好了，跟着文章复制粘贴，即可直接运行。

该方法的整体架构，正如图(a)所示，我们的Retinexformer基于我们提出的一阶段Retinex框架(ORF)。ORF由一个照明估计器(i)和一个损坏恢复器(ii)组成。我们设计了一个照明引导变换器(IGT)作为损坏恢复器。图(b)中描述了IGT的基本单元是照明引导注意力块(IGAB)，它由两个层归一化(LN)、一个照明引导多头自注意力(IG-MSA)模块和一个前馈网络(FFN)组成。图©展示了IG-MSA的细节。

ShuffleNet V2的设计原则：1.减少内存访问成本：通过优化数据传输路径，减少内存访问延迟，提高整体运算速度。2.考虑平台特性：针对不同硬件平台的特性进行优化设计，确保在目标平台上的高效运行。3.结构简洁高效：采用简洁而高效的模块设计，降低计算复杂度，同时保持或提升模型的预测准确性。下图，以四种不同计算复杂度水平下的准确性（在ImageNet验证集上的分类），速度和FLOPs的测量结果。(a, c) 为GPU结果，批量大小为8。(b, d) 为ARM结果，批量大小为1。