前端路上有你有我！

在快速发展的计算机视觉领域，对象分割在从图像中提取有意义的信息方面发挥着关键作用。在众多分割算法中，YOLOv9 已成为一种强大且适应性强的解决方案，提供高效的分割功能和卓越的准确性在这篇文章中，我们将深入探讨 YOLOv9 在自定义数据集上进行对象分割的训练过程，并对测试数据进行推理。

yolov8.yaml可在此链接下载 : https://github.com/ultralytics/ultralytics/tree/main/ultralytics/cfg/models/v8nc：数据集类别数scales：不同尺寸的模型大小Backbone 骨干[from， repeats， module， args]#from：来源，也就是输入。 -1代表将上层得输入作为本层的输出repeats：重复次数module：名称args：参数第0层：[-1， 1， Conv， [64， 3，

YOLO （You Only Look Once）是由 Joseph Redmon等人于2015年推出YOLOv1，因其的即时性和准确性获得了广泛的关注，YOLOv8与YOLOv5为同一个作者，且YOLOv8是由YOLOv5改进的，因此我们先来回顾一下YOLOv5。

摘要 - 视觉特征金字塔在各种应用中展示了其在效率和有效性上的优势。然而，现有方法过分集中于层间特征交互，却忽略了同层特征调控，这在实践中被证明是有益的。尽管一些方法尝试借助注意力机制或视觉变换器（Vision Transformer）学习一个紧凑的同层特征表示，但它们忽略了对于密集预测任务而言重要的被遗漏的角落区域。为了解决这个问题，在本文中，我们提出了一个用于目标检测的集中化特征金字塔（CFP），它基于全局显式的集中特征调控。

近期在遥感目标检测的研究中，主要集中于提高定向边界框的表示能力，但却忽略了遥感场景中独有的先验知识。这类先验知识是有用的，因为在没有参考足够长范围上下文的情况下，微小的遥感目标可能会被错误地检测到，而不同类型的对象所需的长范围上下文可能会有所不同。在本文中，我们考虑到了这些先验，并提出了大型选择性核网络（LSKNet）。LSKNet能够动态调整其大的空间接收场，以更好地模拟遥感场景中各种对象的范围上下文。据我们所知，这是首次在遥感目标检测领域探索大型和选择性核机制。

像素级回归可能是细粒度计算机视觉任务中最常见的问题，例如估计关键点热图和分割掩模。这些回归问题非常具有挑战性，特别是因为它们需要在低计算开销下对高分辨率输入/输出建模长距离依赖关系，以估计高度非线性的像素级语义。尽管深度卷积神经网络（DCNNs）中的注意机制已经流行起来，用于增强长距离依赖关系，但是元素特定的注意力，例如非局部块，学习起来非常复杂且对噪声敏感，而大多数简化的注意力混合体试图在多种任务类型之间达到最佳折衷。

我们旨在为目标检测领域提供一种高效且性能卓越的目标检测器，称为YOLO-MS。其核心设计基于一系列调查研究，关于不同核心大小的卷积如何影响不同尺度物体的检测性能。研究结果是一种新策略，能够显著增强实时目标检测器的多尺度特征表示能力。为验证我们策略的有效性，我们构建了一个网络架构，命名为YOLO-MS。我们从零开始在MS COCO数据集上训练我们的YOLO-MS，不依赖于任何其他大规模数据集，如ImageNet，或预训练权重。

轻量级卷积神经网络（CNNs）已成为移动视觉任务的事实标准。它们的空间归纳偏差使它们能够跨不同视觉任务学习具有更少参数的表示。然而，这些网络在空间上是局部的。为了学习全局表示，基于自注意力的视觉Transformer（ViTs）已被采纳。与CNNs不同，ViTs是重量级的。在本文中，我们提出以下问题：是否可能结合CNNs和ViTs的优势构建一个轻量级且低延迟的网络用于移动视觉任务？为此，我们介绍了MobileViT，一个面向移动设备的轻量级通用视觉Transformer。

文章介绍了基于互补搜索技术组合以及新颖架构设计的MobileNets下一代，MobileNetV3。通过结合硬件感知的网络架构搜索（NAS）和NetAdapt算法，MobileNetV3针对手机CPU进行了优化，随后通过新颖的架构进步得到了改进。本文开始探索自动化搜索算法和网络设计如何共同作用，以利用互补方法提升整体艺术状态。通过这一过程，我们创建了两个新的MobileNet模型以供发布：面向高资源和低资源使用案例的MobileNetV3-Large和MobileNetV3-Small。

近期的移动网络设计研究显示，通道注意力（例如，压缩-激励注意力）在提升模型性能方面具有显著效果，但它们通常忽略了位置信息，而这对于生成空间选择性的注意力图是非常重要的。在本文中，我们通过将位置信息嵌入到通道注意力中，提出了一种用于移动网络的新型注意力机制，我们称之为“坐标注意力”。与通过2D全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为沿两个空间方向分别聚合特征的两个1D特征编码过程。通过这种方式，可以沿一个空间方向捕获长距离依赖，同时沿另一个空间方向保留精确的位置信息。

YOLOv9 引入了可编程梯度信息 (PGI) 和广义高效层聚合网络 (GELAN) 等开创性技术，标志着实时目标检测领域的重大进步。该模型在效率、准确性和适应性方面都有显著提高，

本论文旨在开发现代、高效、轻量的密集预测模型，并在参数、浮点运算次数与性能之间寻求平衡。虽然倒置残差块（IRB）是轻量级卷积神经网络（CNN）的重要基础，但在基于注意力的研究中尚缺类似的构件。本研究从统一视角出发，结合高效IRB和有效的Transformer组件，重新考虑轻量级基础架构。我们将基于CNN的IRB扩展到基于注意力的模型，并提出了一种单残差元移动块（MMB）用于轻量级模型设计。

作为事实上的解决方案，标准的视觉变换器（ViTs）被鼓励模拟任意图像块之间的长距离依赖性，而全局关注的接受域导致了二次计算成本。视觉变换器的另一个分支受到CNNs启发，利用局部注意力，只模拟小邻域内块之间的交互。尽管这样的解决方案降低了计算成本，但它自然会受到小的关注接受域的限制，这可能会限制性能。在这项工作中，我们探索有效的视觉变换器，以追求计算复杂性和关注接受域大小之间的理想折衷。通过分析ViTs中全局注意力的块交互，我们观察到浅层中的两个关键属性，即局部性和稀疏性，表明在ViTs的浅层中全局依赖性建模

在不断发展的人工智能和计算机视觉领域中，YOLO-World作为一项突破性的发展出现，重塑了我们在目标检测方面的理解和能力。这种尖端方法扩展了YOLO（You Only Look Once）系列，通过整合开放词汇检测，允许更加动态和灵活地实时识别对象。最近在视觉-语言建模方面的进步为各个领域开启了前所未有的应用，从自动驾驶到高级监控系统。本文深入探讨了YOLO-World的机制、成就和潜力，标志着在AI驱动的目标检测技术中的一次重大飞跃。

先前的大量研究表明，注意力机制在提高深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法要么忽略通道和空间维度的建模注意力，要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境，在本文中，我们提出了一种轻量级且高效的多维协作注意力（MCA），这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法，几乎没有额外的开销。对于MCA的基本组成部分，我们不仅开发了一种自适应组合机制，用于合并挤压变换中的双跨维度特征响应，增强特征描述符的信息性和可辨别性，而且还设计了激励变换中的

轻量级卷积神经网络（CNNs）专为移动设备上的应用而设计，具有更快的推理速度。卷积操作只能捕获窗口区域内的局部信息，这限制了性能的进一步提升。将自注意力引入到卷积中可以很好地捕获全局信息，但这将大大增加实际速度的负担。在本文中，我们提出了一种硬件友好的注意力机制（称为DFC注意力），然后为移动应用呈现了一个新的GhostNetV2架构。所提出的DFC注意力基于全连接层构建，不仅可以在常见硬件上快速执行，还能捕获长距离像素之间的依赖关系。

在嵌入式设备上部署卷积神经网络（CNNs）由于有限的内存和计算资源而变得困难。特征图中的冗余是那些成功的CNNs的一个重要特性，但在神经架构设计中很少被研究。本文提出了一种新颖的Ghost模块，用于通过低成本操作生成更多的特征图。基于一组内在特征图，我们应用一系列低成本的线性变换来生成许多能够充分揭示内在特征信息的幽灵特征图。所提出的Ghost模块可以作为一个即插即用的组件来升级现有的卷积神经网络。设计了Ghost瓶颈来堆叠Ghost模块，然后可以轻松建立轻量级的GhostNet。在基准测试上进行的实验表明

我们提出了SegNeXt，一种用于语义分割的简单卷积网络架构。最近基于变换器的模型由于自注意力在编码空间信息方面的效率而在语义分割领域占据主导地位。在本文中，我们展示了卷积注意力是一种比变换器中的自注意力机制更高效和有效的编码上下文信息的方式。通过重新审视成功的分割模型所拥有的特征，我们发现了几个关键组件，这些组件导致了分割模型性能的提升。这激励我们设计了一种新颖的卷积注意力网络，该网络使用廉价的卷积操作。

卷积神经网络（CNNs）在许多计算机视觉任务中取得了巨大成功，例如图像分类和目标检测。然而，当面对图像分辨率低或对象较小的更加困难的任务时，它们的性能迅速下降。在本文中，我们指出这一问题根源于现有CNN架构中一个有缺陷但常见的设计，即使用了步长卷积和/或池化层，这导致了细粒度信息的丢失和较不有效的特征表示的学习。为此，我们提出了一种新的CNN构建块，名为SPD-Conv，用以替代每个步长卷积层和每个池化层（从而完全消除它们）。

在目标检测任务中，多尺度特征对于编码具有尺度变化的对象至关重要。采用经典的自顶向下和自底向上特征金字塔网络是提取多尺度特征的常用策略。然而，这些方法存在特征信息的丢失或降级问题，损害了非相邻层次之间融合效果。本文提出了一种渐近特征金字塔网络（AFPN），以支持非相邻层次之间的直接交互。AFPN通过融合两个相邻的低级特征启动，并渐进地将更高级别的特征纳入融合过程。通过这种方式，可以避免非相邻层次之间较大的语义差距。

给定一组多尺度特征，其中表示第层的特征。我们的目标是找到一个变换能够有效的聚合不同的特征，输出新的一组特征。例如图2(a)所示，它是一个经典的top-down FPN结构，此时有，其中表示输入图像大小的特征图。例如，当输入大小为时，level 3特征图大小为，level 7特征图大小为。经典的FPN以top-down形式聚合多尺度特征的方式可以用下面方程表示：其中，Resize通常是一个上采样或者下采样操作，使得分辨率对齐。

​边界框回归（BBR）在目标检测和实例分割中被广泛使用，这是目标定位中的一个重要步骤。然而，大多数现有的边界框回归损失函数在预测框与真实框的宽高比相同，但宽度和高度值完全不同时，无法被优化。为了解决上述问题，我们充分探索了水平矩形的几何特征，并提出了一种基于最小点距离的新颖边界框相似度比较度量MPDIoU，该度量包含了现有损失函数中考虑的所有相关因素，即重叠或非重叠区域、中心点距离以及宽度和高度的偏差，同时简化了计算过程。在此基础上，我们提出了一种基于MPDIoU的边界框回归损失函数，称为LMPDIoU。

​ 作为检测器定位分支的重要组成，边框回归损失在目标检测任务中发挥巨大作用。现有的边框回归方法，通常考虑了GT框与预测框之间的几何关系，通过使用边框间的相对位置与相对形状等计算损失，而忽略了边框其自身的形状与尺度等固有属性对边框回归的影响。为了弥补现有研究的不足，本文提出聚焦边框自身形状与尺度的边框回归方法。首先我们对边框回归特性进行分析，得出边框自身形状因素与尺度因素会对回归结果产生影响。

随着检测器的迅速发展, 边框回归取得了巨大的进步。然而，现有的基于 IoU 的边框回归仍聚焦在通过加入新的损失项来加速收敛，忽视 IoU 损失项其自身的限制。尽管理论上 IoU 损失能够有效描述边框回归状态，在实际应用中，它无法根据不同检测器与检测任务进行自我调整，不具有很强的泛化性。基于以上，我们首先分析了 BBR 模式，得出结论在回归过程区分不同回归样本并且使用不同尺度的辅助边框计算损失能够有效加速边框回归过程。对于高 IoU 样本，使用较小的辅助边框计算损失能够加速收敛，而较大辅助边框适用于低 IoU

本文提出了一种新型视觉，称为，它能够作为计算机视觉的通用骨干网络。将Transformer从语言领域适应到视觉领域时面临的挑战源于两个领域之间的差异，例如视觉实体的尺度变化大以及图像中像素的高分辨率相比文本中的单词。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过移位窗口计算得出的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，同时也允许跨窗口连接，从而带来更高的效率。这种分层架构具有在不同尺度上建模的灵活性，并且其计算复杂度与图像大小呈线性关系。的这些特性使其与广泛的视觉

空间注意力已被广泛用于提升卷积神经网络的性能。然而，它存在一定的局限性。在本文中，我们提出了一个关于空间注意力有效性的新视角，即空间注意力机制本质上是解决卷积核参数共享的问题。然而，由空间注意力生成的注意力图中包含的信息对于大尺寸卷积核来说并不充分。因此，我们提出了一种名为感受野注意力（Receptive-Field Attention，简称RFA）的新型注意力机制。

为SCConv（空间和通道重构卷积），以减少冗余计算并促进代表性特征学习。所提出的SCConv由两个单元组成：空间重构单元（SRU）和通道重构单元（CRU）。SRU使用分离-重构方法来抑制空间冗余，而CRU使用分割-变换-融合策略来减少通道冗余。此外，SCConv是一个即插即用的架构单元，可以直接用于替换各种卷积神经网络中的标准卷积。实验结果表明，嵌入SCConv的模型能够通过减少冗余特征，在显著降低复杂性和计算成本的同时，达到更好的性能。

精确分割拓扑管状结构，例如血管和道路，对各个领域至关重要，可确保下游任务的准确性和效率。然而，许多因素使任务变得复杂，包括细小脆弱的局部结构和复杂多变的全局形态。在这项工作中，我们注意到管状结构的特殊特征，并利用这一知识来引导我们的 DSCNet 在三个阶段同时增强感知：特征提取、特征融合和损失约束。首先，我们提出了一种动态蛇形卷积，通过自适应地聚焦于细长和曲折的局部结构，来准确捕捉管状结构的特征。

可改变核卷积（AKConv），赋予卷积核任意数量的参数和任意采样形状，为网络开销和性能之间的权衡提供更丰富的选择，解决具有固定样本形状和正方形的卷积核不能很好地适应不断变化的目标的问题点

目标检测（）是计算机视觉中的一个关键问题，它的目标是识别和定位图像中的物体。在过去的十年里，随着深度学习的快速发展，研究人员在目标检测及其相关任务（如物体分类、定位和分割）的性能提升上做出了大量的实验和贡献。）是一个流行的目标检测模型，以其速度和准确性而闻名。最初由Joseph Redmon等人在2016年提出，并经过了几次迭代，最新的版本是。甚至可以解决分类、目标检测和图像分割问题，这些方法以不同的方式在图像或视频中检测物体。是一个用于Python的开源跨平台（图形用户界面）库。

目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。 在这门实战课程中，你将学习到目标检测的基本概念和算法原理，掌握YOLO算法的细节和技巧。 探索算法背后的奥秘。通过实战项目，你将深入了解目标检测在物体识别、实时监控等领域的广泛应用！

目标检测在计算机视觉领域中扮演着重要角色。随着YOLOv8的发布，计算机视觉正迎来新的发展阶段，YOLOv8模型代表了目标检测和样本分割的最新技术水平。

方向梯度直方图（HOG）是物体检测方法中最古老的方法之一，首次亮相于1986年。尽管在接下来的十年里有一些发展，但直到2005年，这种方法才开始在许多与计算机视觉相关的任务中受到欢迎。HOG使用特征提取器来识别图像中的物体。HOG中使用的特征描述符是图像部分的表示，我们只提取最必要的信息，而忽略其他内容。特征描述符的功能是将图像的整体大小转换为数组或特征向量的形式。在HOG中，我们使用梯度方向过程来定位图像中最关键的部分。在我们理解HOG的整体架构之前，让我们先了解一下它的工作原理。

**YOLOv8**是**YOLO**（目标检测和图像分割领域中具有高度影响力的模型）家族的最新成员。它采用了新的架构、新的卷积层和新的检测头。相比于之前的版本，它的速度和准确性都有了显著提高，因此非常适合实时目标检测。此外，**YOLOv8**支持最新的计算机视觉算法，包括实例分割，可以检测图像中的多个对象

目标检测（Object detection）是计算机视觉中使用的一种技术，用于识别和定位图像或视频中的对象。图像定位是指使用边界框（bounding boxes）来识别一个或多个对象的正确位置的过程，这些边界框对应于围绕对象的矩形形状。这个过程有时会与图像分类或图像识别混淆，后者旨在将图像或图像中的对象预测为类别或类别之一。下面的插图对应于上述解释的计算机视觉技术。在图像中检测到的对象是“人”。在本文中，将首先了解目标检测的优势，然后介绍最先进的目标检测算法YOLO。在第二部分中，我们将更加关注。