专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。

YOLOv8是由Ultralytics开发的最先进的目标检测模型，推升了速度、准确性和用户友好性的界限。YOLO这一缩写代表“你只看一次”（You Only Look Once），通过在一次网络传递中同时预测所有边界框，提升了算法的效率和实时处理能力。相比之下，其他一些目标检测技术需要经过多个阶段或过程来完成检测。YOLOv8在流行的YOLOv5架构上进行了扩展，在多个方面提供了改进。

混淆矩阵，顾名思义，是一个由数字组成的矩阵，它告诉我们模型在哪些地方会出现混淆。它是分类模型预测性能的类别分布，也就是说，混淆矩阵是将预测结果映射到数据所属原始类别的一种有组织的方式。这也意味着，只有在已知输出分布的情况下，即在监督学习框架中，才能使用混淆矩阵。混淆矩阵不仅可以计算分类器的准确度（无论是全局准确度还是分类准确度），还有助于计算开发人员通常用来评估模型的其他重要指标。

YOLO（You Only Look Once）系列算法因其高效、准确等特点而备受瞩目。由2023年Ultralytics公司发布了YOLO的最新版本YOLOv8是结合前几代YOLO的基础上的一个融合改进版。本文主要介绍YOLOv8环境搭建/数据集获取/训练/推理/验证/导出/部署

mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。

大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。

【YOLOv8改进- 损失函数】 NWD（Normalized Wasserstein Distance：归一化 Wasserstein 距离），助力微小目标检测。

【YOLOv8改进- 多模块融合改进】ResBlock + GAM: 基于ResBlock的全局注意力机制ResBlock_ GAM，增强特证提取

【YOLOv8改进- 多模块融合改进】ResBlock + CBAM: 基于ResBlock的通道+空间注意力，增强特证提取

虽然卷积神经网络（CNNs）中使用自下而上的局部操作符与自然图像的一些统计特性很好地匹配，但这也可能阻止这些模型捕捉上下文的长程特征交互。在这项工作中，我们提出了一种简单且轻量的方法，以更好地在CNNs中利用上下文信息。我们通过引入一对操作符来实现这一目标：聚集（gather），该操作符高效地聚合来自大空间范围的特征响应；激发（excite），将汇集的信息重新分配给局部特征。这些操作符在添加参数数量和计算复杂度方面都很便宜，并且可以直接集成到现有架构中以提高其性能。

【YOLOv8改进- 多模块融合改进】RFAConv+ TripletAttention: 基于感受野注意力卷积与三元注意力的四头小目标检测头，，提高特证提取的效率以及准确率。

【YOLOv8改进 - 注意力机制】 CAA： 上下文锚点注意力模块，处理尺度变化大或长形目标

【YOLOv8改进- 多模块融合改进】Non-Local+ LSKNet : 自注意力模型与空间选择注意力的融合改进，助力小目标检测高效涨点

【YOLOv8改进- 多模块融合改进】CPCA + CARAFE : 通道先验卷积注意力与上采样算子的融合改进，助力细节提升！

在Windows系统中，由于其多进程模型的特殊性，使用多进程加载数据时经常会遇到问题。在Linux系统中，通常可以使用多个子进程进行数据加载，但在Windows系统中必须将进程数设置为单进程来避免错误。此问题可能是当前使用的GPU正在被其他应用程序占用，导致显存不足。需要关闭其他应用程序以释放显存。这是由于Pillow版本问题，最新的10.0版本会产生上述问题。虽然调整后会在一定程度上影响模型的泛化能力并容易导致过拟合，但在必要时可以将。降低PyTorch和CUDA版本。使用device指定GPU。

注意力模块是Transformer的关键组件。虽然全局注意力机制具有很高的表达能力，但其过高的计算成本限制了其在各种场景中的适用性。本文提出了一种新的注意力范式，称为Agent Attention，以在计算效率和表示能力之间取得有利的平衡。具体而言，Agent Attention表示为四元组(Q, A, K, V)，在传统注意力模块中引入了一组额外的代理令牌A。代理令牌首先作为查询令牌Q的代理，从K和V中聚合信息，然后将信息广播回Q。

【YOLOv8改进- 多模块融合改进】发论文神器SPPF_LSKA，结合各种创新改进，以融合SimAM注意力机制为例！

【YOLOv8改进 - 卷积Conv】DCNv3： 可变形卷积，结合稀疏注意力机制与卷积的创新算子

【YOLOv8改进 - SPPF】发论文神器！LSKA注意力改进SPPF,增强多尺度特征提取能力，高效涨点！！！

【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习

【YOLOv8改进- 多模块融合改进】BoTNet + CoordAttention 骨干网络与高效坐标注意力机制融合改进，助力小目标高效涨点

卷积神经网络（CNNs）在计算机视觉中无处不在，具有众多高效的变体。最近，最初在自然语言处理（NLP）中引入的Transformers越来越多地被应用于计算机视觉领域。尽管早期采用者继续使用CNN骨干网络，但最新的网络是端到端的、无CNN的Transformer解决方案。一个最近令人惊讶的发现表明，基于简单多层感知机（MLP）的解决方案，即使没有传统的卷积或Transformer组件，也能生成有效的视觉表示。

卷积神经网络（CNNs）在计算机视觉中无处不在，具有众多高效的变体。最近，最初在自然语言处理（NLP）中引入的Transformers越来越多地被应用于计算机视觉领域。尽管早期采用者继续使用CNN骨干网络，但最新的网络是端到端的、无CNN的Transformer解决方案。一个最近令人惊讶的发现表明，基于简单多层感知机（MLP）的解决方案，即使没有传统的卷积或Transformer组件，也能生成有效的视觉表示。

BoTNet + EMA 骨干网络与多尺度注意力的融合改进，小目标高效涨点

我们提出了BoTNet，这是一种概念上简单但功能强大的骨干架构，结合了自注意力机制，用于图像分类、目标检测和实例分割等多个计算机视觉任务。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，并且没有其他更改，我们的方法显著提高了实例分割和目标检测的基线性能，同时减少了参数，且在延迟方面的开销极小。通过设计BoTNet，我们还指出带有自注意力的ResNet瓶颈块可以视为Transformer块。

卷积神经网络（CNNs）通过收集语义子特征的层次化和不同部分来生成复杂对象的特征表示。这些子特征通常可以在每层特征向量中以分组形式分布，代表各种语义实体 [43, 32]。然而，这些子特征的激活往往受到相似模式和噪声背景的空间影响，导致错误的定位和识别。我们提出了一种空间分组增强（SGE）模块，通过为每个语义组中的每个空间位置生成注意力因子来调整每个子特征的重要性，从而使每个单独的组能够自主增强其学习到的表达并抑制可能的噪声。

当今的深度学习方法主要集中在如何设计最合适的目标函数，以使模型的预测结果尽可能接近真实值。同时，还需要设计一种合适的架构，以便获取足够的信息进行预测。现有的方法忽略了一个事实，即当输入数据经过逐层特征提取和空间变换时，会丢失大量信息。本文将深入探讨数据通过深度网络时的数据丢失这一重要问题，即信息瓶颈和可逆函数。我们提出了可编程梯度信息（PGI）的概念，以应对深度网络实现多重目标所需的各种变化。PGI可以为目标任务提供完整的输入信息，以计算目标函数，从而获得可靠的梯度信息来更新网络权重。

下采样操作，如最大池化或步幅卷积，被广泛应用于卷积神经网络（CNN）中，用于聚合局部特征、扩大感受野和最小化计算开销。然而，对于语义分割任务，在局部邻域内进行池化特征可能会导致重要空间信息的丧失，而这些信息对于逐像素的预测是有帮助的。为了解决这个问题，我们引入了一种简单但有效的池化操作，称为基于Haar小波的下采样（HWD）模块。该模块可以轻松集成到CNN中，以提高语义分割模型的性能。HWD的核心思想是应用Haar小波变换来降低特征图的空间分辨率，同时尽可能保留信息。

【YOLOv8改进 - 注意力机制】GC Block （GlobalContext）: 全局上下文块，高效捕获特征图中的全局依赖关系

在本文中，我们介绍了U-Net v2，一种用于医学图像分割的新型、稳健且高效的U-Net变体。它旨在增强语义信息在低级特征中的注入，同时精细化高级特征的细节。对于输入图像，我们首先通过深度神经网络编码器提取多层次特征。接下来，我们通过从高级特征中注入语义信息，并通过Hadamard积整合来自低级特征的更精细细节，来增强每一层的特征图。我们新颖的跳跃连接使所有层次的特征都具备丰富的语义特征和复杂的细节。改进后的特征随后被传递到解码器进行进一步处理和分割。我们的方法可以无缝集成到任何编码器-解码器网络中。

YOLO系列因其在速度和准确性之间的合理权衡，成为了实时目标检测中最受欢迎的框架。然而，我们观察到YOLO的速度和准确性受NMS（非极大值抑制）的负面影响。最近，基于Transformer的端到端检测器（DETRs）提供了一种消除NMS的替代方案，但其高计算成本限制了其实用性，并阻碍了其完全利用排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT-DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。

在遥感中，小物体的检测任务由于特征表示不足和背景混淆等问题而变得艰难。特别是当算法需要部署在板载系统上进行实时处理时，需在有限的计算资源下进行准确性和速度的广泛优化。为了解决这些问题，本文提出了一种高效的检测器，称为特征增强、融合和上下文感知YOLO（FFCA-YOLO）。FFCA-YOLO包含三个创新的轻量级和即插即用的模块：特征增强模块（FEM）、特征融合模块（FFM）和空间上下文感知模块（SCAM）。这三个模块分别增强了网络的局部区域感知、多尺度特征融合和全局关联跨通道与空间的能力，同时尽量避免增加复

当前的深度学习方法主要关注如何设计最合适的目标函数，以使模型的预测结果尽可能接近真实值。同时，还需设计合适的架构，以便获取足够的信息用于预测。现有方法忽略了一个事实：当输入数据经过逐层特征提取和空间变换时，会丢失大量信息。本文将深入探讨数据通过深度网络传输时的数据丢失这一重要问题，即信息瓶颈和可逆函数。我们提出了可编程梯度信息（PGI）的概念，以应对深度网络实现多重目标所需的各种变化。PGI可以为目标任务提供完整的输入信息，以计算目标函数，从而获得可靠的梯度信息来更新网络权重。

最近，基于MLP的视觉骨干网络开始出现。与CNN和视觉Transformer相比，具有较少归纳偏差的MLP架构在图像识别中表现出竞争力。其中，采用直接空间移位操作的空间移位MLP（S2-MLP）比包括MLP-mixer和ResMLP在内的早期工作取得了更好的性能。最近，使用较小的补丁和金字塔结构，Vision Permutator（ViP）和Global Filter Network（GFNet）在性能上超过了S2-MLP。本文中，我们改进了S2-MLP视觉骨干网络。

卷积神经网络（ConvNets）通常在固定的资源预算下开发，如果有更多资源可用，则会进行扩展以提高准确性。在本文中，我们系统地研究了模型扩展，并发现仔细平衡网络的深度、宽度和分辨率可以带来更好的性能。基于这一观察，我们提出了一种新的扩展方法，使用一个简单但非常有效的复合系数均匀扩展深度、宽度和分辨率的所有维度。我们展示了这种方法在扩展MobileNets和ResNet时的有效性。

在传统的目标检测框架中，通常采用从图像识别模型继承的主干网络来提取深层潜在特征，然后通过颈部模块融合这些潜在特征，以捕捉不同尺度的信息。由于目标检测中的分辨率远高于图像识别，主干网络的计算成本往往占据总推理成本的主要部分。这种重型主干设计范式主要是由于将图像识别模型转移到目标检测中时的历史遗留，而不是针对目标检测进行的端到端优化设计。在本研究中，我们表明这种范式确实导致了次优的目标检测模型。为此，我们提出了一种新颖的重型颈部范式，GiraffeDet，这是一种类长颈鹿的高效目标检测网络。

自注意力的二次计算复杂性在将Transformer模型应用于视觉任务时一直是一个持久的挑战。相比之下，线性注意力通过精心设计的映射函数来近似Softmax操作，提供了更高效的替代方案，其计算复杂性为线性。然而，目前的线性注意力方法要么遭受显著的性能下降，要么因映射函数引入了额外的计算开销。在本文中，我们提出了一种新颖的聚焦线性注意力模块，以实现高效率和高表现力。具体来说，我们首先从聚焦能力和特征多样性两个角度分析了线性注意力性能下降的因素。

我们提出了焦点调制网络（简称FocalNets），在其中完全用焦点调制模块替代了自注意力（SA），用于建模视觉中的标记交互。焦点调制由三个组件组成：（i）焦点上下文化，通过一系列深度卷积层实现，从短距离到长距离编码视觉上下文，（ii）门控聚合，选择性地将上下文聚合到每个查询标记的调制器中，以及（iii）逐元素仿射变换，将调制器注入查询标记。

我们提出了一种基于MKLDNN加速策略的轻量级CPU网络，命名为PP-LCNet，它在多项任务中提高了轻量级模型的性能。本文列出了在延迟几乎不变的情况下能够提高网络准确性的技术。通过这些改进，PP-LCNet在相同推理时间内的分类准确性可以大大超过之前的网络结构。如图1所示，它的性能优于最先进的模型。在计算机视觉的下游任务中，如目标检测、语义分割等，它也表现得非常出色。我们所有的实验都是基于PaddlePaddle1进行的。代码和预训练模型可在PaddleClas2中找到。

摘要. 凭借出色的速度和准确性平衡，最前沿的YOLO框架已经成为目标检测最有效的算法之一。然而，使用YOLO网络进行脑肿瘤检测的性能鲜有研究。我们提出了一种基于通道Shuffle重参数化卷积的YOLO新架构（RCS-YOLO）。我们介绍了RCS和RCS的一次性聚合（RCS-OSA），将特征级联和计算效率结合起来，以提取更丰富的信息并减少时间消耗。在脑肿瘤数据集Br35H上的实验结果表明，所提出的模型在速度和准确性上超越了YOLOv6、YOLOv7和YOLOv8。

视觉识别的“咆哮20年代”开始于视觉Transformer（ViTs）的引入，ViTs迅速取代了卷积神经网络（ConvNets）成为最先进的图像分类模型。然而，普通的ViT在应用于诸如目标检测和语义分割等一般计算机视觉任务时面临困难。分层Transformer（例如Swin Transformer）重新引入了几种ConvNet先验知识，使得Transformer在实际应用中成为通用的视觉骨干，并在各种视觉任务中表现出色。