qq_44224801的博客

本文基于11.17版本，以往版本略有不同，可查看[改进YOLOv8，教你YOLOv8如何添加20多种注意力机制](http://t.csdnimg.cn/PdugV)进行参考

YOLOv5改进 | 多尺度特征提取 | 结合多样分支块及融合的高级设计（CVPR2021）

YOLOv5轻量化改进 | backbone | 结合MobileNetV4（包含多个结构和使用方式）

改进YOLOv5：加入非对称卷积块ACNet，加强CNN 的内核骨架，包含VOC对比实验

YOLOv5结合VanillaNet Block，轻量化设计

YOLOv5 损失函数改进 | 引入 Shape-IoU 考虑边框形状与尺度的度量

数据增强改进，实现检测目标copypaste，增加目标数据量，提升精度

基于卷积运算的神经网络在深度学习领域取得了显著的成果，但标准卷积运算存在两个固有缺陷：一方面，卷积运算被限制在一个局部窗口，不能从其他位置捕获信息，并且其采样形状是固定的;另一方面，卷积核的大小是固定为k × k的，它是一个固定的方形形状，参数的数量往往与大小成正比。很明显，在不同的数据集和不同的位置，目标的形状和大小是不同的。针对上述问题，本研究探索了可变核卷积(AKConv)，它为卷积核提供了任意数量的参数和任意采样形状，为网络开销和性能之间的权衡提供了更丰富的选择。暂时先这样，有空再加上论文细节。

YOLOv8 加持 MobileNetv3，目标检测新篇章

🔥🔥🔥 提升多尺度、不规则目标检测，创新提升 🔥🔥🔥🔥🔥🔥 捕捉图像特征和处理复杂图像特征 🔥🔥🔥👉👉👉: 本专栏包含大量的新设计的创新想法，包含详细的代码和说明，具备有效的创新组合，可以有效应用到改进创新当中 👉👉👉:🐤🐤🐤。

本文介绍了一种用于目标检测的渐进特征金字塔网络—— 渐进特征金字塔网络（AFPN）渐进特征金字塔网络（AFPN），旨在克服传统特征金字塔在多尺度特征提取中的信息丢失问题。AFP网络通过直接连接非相邻层，实现了高效的跨层特征融合，从而显著降低了语义差异。此外，网络采用自适应空间融合机制，有效管理了特征冲突，提升了检测精度。

🔥🔥🔥 提升多尺度目标检测，创新提升 🔥🔥🔥🔥🔥🔥 捕捉图像特征和处理复杂图像特征 🔥🔥🔥👉👉👉: 本专栏包含大量的新设计的创新想法，包含详细的代码和说明，具备有效的创新组合，可以有效应用到改进创新当中 👉👉👉:🐤🐤🐤。

🔥🔥🔥 提升小目标检测，创新提升🔥🔥🔥 测试在小目标数据集进行提点👉👉👉: 新设计的创新想法，包含详细的代码和说明，具备有效的创新组合🐤🐤🐤1. 本文包含两个创新改动，适合多尺度目标和小目标检测。2. 包含多种修改方式，创新介绍。3. 创新1：特征增强模块，得到更多的多尺度目标特征；创新2：构建更为强大的多尺度特征提取网络，无缝嵌入现有的yolo网络。🐤🐤🐤。

包含已经搭建好的环境和指令，代码等运行所需。安装好系统必备anaconda、conda即可运行。

这篇论文讨论了如何为具有有限内存和计算资源的异构设备（如CPU和GPU）设计高效的神经网络。作者提出了两个模块，C-Ghost和G-Ghost，以利用特征图中的冗余并使用廉价操作生成更多特征。C-Ghost模块是为类似CPU的设备设计的，可以轻松地集成到现有的卷积神经网络中。C-Ghost模块的设计思路是，通过在特征图中引入一些“幽灵”（Ghost）特征，即通过廉价的操作（如线性变换）生成的特征，来增加特征图的数量，从而提高网络的表达能力。

在深度学习的应用中，卷积神经网络（CNN）已经成为了一种重要的模型结构。然而，由于CNN的计算量大，存储需求高，使得它在硬件设备上的部署和运行面临着挑战。为了解决这个问题，研究者们提出了各种各样的轻量级CNN，如MobileNet，ShuffleNet等。这些网络通过设计高效的模块和操作，如深度可分离卷积，通道混洗等，来减少计算量和存储需求。然而，这些网络往往需要牺牲一定的准确性。在这篇论文中，作者们提出了一种新的模块——RepGhost，它通过隐式地重用特征来进一步提高计算效率。

这篇论文提出了一种名为大型选择性核网络（Large Selective Kernel Network，简称LSKNet）的新方法，用于遥感对象检测。该方法动态调整特征提取骨干的感受野，以有效处理遥感场景中对象的广泛上下文。该模型使用空间选择机制对大型深度核处理的特征进行加权和空间合并。核的权重是根据输入动态确定的，使得模型能够自适应地使用不同的大核并为每个目标调整感受野。在遥感对象检测中，由于遥感图像的特殊性，如大尺度、高分辨率和多尺度目标等，传统的对象检测方法往往难以取得良好的效果。

边界盒回归(Bounding box regression, BBR)广泛应用于目标检测和实例分割，是目标定位的重要步骤。然而，当预测框与groundtruth盒具有相同的纵横比，但宽度和高度值完全不同时，大多数现有的边界盒回归损失函数都无法优化。为了解决上述问题，我们充分挖掘了水平矩形的几何特征，提出了一种新的基于最小点距离的边界盒相似度比较度量MPDIoU。

边界盒回归(Bounding box regression, BBR)广泛应用于目标检测和实例分割，是目标定位的重要步骤。然而，当预测框与groundtruth盒具有相同的纵横比，但宽度和高度值完全不同时，大多数现有的边界盒回归损失函数都无法优化。为了解决上述问题，我们充分挖掘了水平矩形的几何特征，提出了一种新的基于最小点距离的边界盒相似度比较度量MPDIoU。

最近，轻量级视觉 Transformer（ViTs）在资源受限的移动设备上展现出了相比轻量级卷积神经网络（CNNs）更优异的性能和更低的延迟。这种改进通常归因于多头自注意力模块，使得模型能够学习全局表示。然而，轻量级 ViTs 和轻量级 CNNs 之间的架构差异尚未得到充分的研究。在这项工作中，我们重新审视了轻量级 CNNs 的高效设计，并强调了它们在移动设备上的潜力。我们通过集成轻量级 ViTs 的高效架构设计，逐步增强标准的轻量级 CNNs，具体为 MobileNetV3 [1]。

本节的主要思想是介绍一种称为SCConv(空间和通道重建卷积)的高效卷积模块，旨在减少卷积神经网络(cnn)中的冗余计算并促进特征学习。论文中的作者提出了一种名为SCConv（Spatial and Channel Reconstruction Convolution）的模块，旨在减少计算成本和模型存储，并提高卷积神经网络（CNN）模型的性能。如此一来，CRU减少了特征图中的通道冗余，提高了特征学习的效率。作者进行了广泛的实验证明，在图像分类和物体检测任务上，嵌入SCConv的模型的优越性。

之前的文章链接在深度学习和计算机视觉的研究中，随着对模型复杂度和计算效率需求的不断提高，研究者们开始尝试各种方法来提升模型的表现。其中，注意力机制的提出被证明是一种非常有效的方法。它能够帮助模型集中在输入中的重要部分，从而提升模型的表现。然而，传统的注意力机制常常只在一定的空间范围内起作用，而无法获取全局的上下文信息。为了解决这个问题，研究者们开始尝试在模型中加入全局的注意力机制，比如SELayer (Squeeze-and-Excitation Layer)。

在目标检测领域，如YOLO中的上采样操作是至关重要的一步。它通过把特征图的尺度放大，使得模型能够对输入图像的不同区域进行更精细的分析，从而检测出小尺寸的目标。尽管我们常用的上采样方法包括反卷积（Deconvolution）和插值（Interpolation），但这些方法在一定程度上会对上采样后的特征图造成模糊或失真。为了克服这个问题，研究者们引入了一种新的上采样技术——子像素卷积。子像素卷积主要包括两个部分，第一部分是深度可分离卷积，第二部分是像素洗牌。

通道或空间的显著有效性 注意机制对产生更多可辨识的 特征表示的显著效果，在各种计算机视觉任务中得到说明。视觉任务。然而，用通道降维对跨通道关系进行建模 关系，可能会给提取深层视觉表征带来副作用。在提取深层视觉表征方面带来了副作用。提出了一种新的高效的多尺度注意（EMA）模块。着重于保留每个通道的信息 在每个通道上保留信息并减少计算 开销，我们将部分通道重塑为批量的 层面，并将通道层面分为 多个子特征，使空间语义特征很好地分布在每个特征中。使得空间语义特征在每个特征组中都有良好的分布。

本文提出了一个高效的多尺度视觉变换器，称为ResT，它可以作为图像识别的通用支柱。可以作为图像识别的通用骨干。不同于现有的变换器方法，采用标准的变换器模块来处理具有固定分辨率的原始图像。构建了一个内存高效的多头自关注，它通过简单的深度卷积压缩了内存。构建了一个内存高效的多头自我注意，它通过一个简单的深度卷积来压缩内存，并将交互作用投射到整个注意力-头的维度，同时保持多头的多样性能力；(2)位置编码被构建为空间注意，它更加灵活，可以处理任意的输入图像。

YOLOv7是很优秀的检测算法，作者将所有构件写入了yaml文件以增强可改造性，但是熟悉了YOLO’v5网络结构的读者，观看YOLOv7还是相对费劲。由于本人最近在改动YOLOv7模型， 改动起来还是不如YOLOv5方便，因此按照本人自身想法，对YOLOv7网络进行重构。

GhostNetv2是一种针对移动设备和边缘设备的优化神经网络，其设计继承了GhostNetv1的高效节省计算资源的特性，并在其基础上引入了一种新的注意力模块——DFC注意力模块，以增强模型对长距离空间信息的处理能力。DFC注意力模块是一种基于解耦全连接层的注意力机制，设计满足以下三个条件：对空间长距离信息的建模能力强；部署高效，对硬件友好且计算高效；概念简单，便于保证注意力模块的泛化能力。对于端侧设备这类计算资源受限的环境，以上设计目标帮助模型在提升性能的同时，不牺牲实时性和部署效率。

​   轻量化MobileNEtv2、v3​   轻量化MobileNEtv2、v3。

CAM的灵感来自人类识别物体的模式。例如，在很高的天空中，人类很难分辨一只鸟，但当把天空作为背景信息时，人类很容易分辨。因此，上下文信息有助于微小目标的检测。CAM应用不同扩张卷积率的扩张卷积来获得不同感受野的上下文信息，并自上而下将其注入FPN，以丰富上下文信息。但是，由于FPN不同级别之间的语义差异，在共享信息时会引入冗余信息和冲突信息。因此，提出了FRM来过滤冲突信息，减少语义差异。通过自适应地融合不同层间的特征，消除层间的冲突信息，防止微小目标特征被淹没在冲突信息中。

​   相比高性能深度网络，轻量型网络因其低计算负载约束(深度与通道方面的约束)导致其存在性能降低，即比较有效的特征表达能力。为解决该问题，作者提出动态卷积：它可以提升模型表达能力而无需提升网络深度与宽度。​   不同于常规卷积中的单一核，动态卷积根据输入动态的集成多个并行的卷积核为一个动态核，该动态核具有数据依赖性。多核集成不仅计算高效，而且具有更强的特征表达能力(因为这些核通过注意力机制以非线性形式进行融合)。

所以为什么网络很难定位一个像素呢？是因为从小空间到大空间的所以为什么网络很难定位一个像素呢？是因为从小空间到大空间的转换很困难吗？如果朝一个方向会不会容易点呢？如果我们训练卷积网络将图像信息转换成标量坐标，是否与普通图像分类更相似呢？结果模型在这种监督式回归的任务上同样表现得不好。在图10中，左边图中的点表示正确的像素坐标，中间图中的点表示模型的预测。模型在测试集上表现得不好，并且在训练集上也差强人意。简单地说，方向根本不重要。

本文实现了YOLOv8结合各种轻量化骨干网络，实现一篇文章助你实现YOLOv8轻量化。本文不仅实现了YOLOv8结合各种骨干网络，并且给出的多种结合形式，如替换轻量化卷积PConv、替换轻量化Block以及替换轻量化骨干。

提出了一种新的网络结构，名为ALFNet (Aggregated Lightweight Features Network)，该网络引入了LocalFeatureAggregator模块和LightweightMLP模块，以提高特征聚合能力和减轻计算负担。并嵌入到特征金字塔中，增强特征集中。

然后，我们在 Concat_bifpn 类中使用 GlobalSelfAttention 类来计算不同输入特征的注意力权重。在 ChannelAttention 类中添加了一个可学习参数 self.learnable_weight，并在 forward 函数中，将通道注意力权重与可学习权重相乘。这将使模型能够同时利用注意力机制和可学习参数来计算权重，从而学习更有效的特征表示。这将使模型能够学习更有效的特征表示。这样，模型将通过注意力机制计算权重，并同时学习如何提取更有效的特征。

因此，需要一种新的通道注意力模块来解决这些问题。总之，本文提出了一种名为 DynamicCAConv 的动态通道注意力模块，旨在解决现有通道注意力模块的局限性。DynamicCAConv 利用空间注意力信息，引入动态权重机制，实现了一种灵活且高效的通道注意力方法。具体来说，DynamicCAConv 对输入特征图执行自适应平均池化和全连接层操作，生成一个二维的 Softmax 向量，用于表示水平和垂直注意力权重的混合比例。通道注意力模块是一种有效的方法，旨在为每个通道分配权重，使网络关注更重要的通道。

对NEU钢铁数据集进行进行创新应用，并训练和测试，得到提点方法，给出了训练结果和训练模型文件。

注意力机制（Attention Mechanism）是深度学习中一种重要的技术，它可以帮助模型更好地关注输入数据中的关键信息，从而提高模型的性能。注意力机制最早在自然语言处理领域的序列到序列（seq2seq）模型中得到广泛应用，后来逐渐扩展到了计算机视觉、语音识别等多个领域。注意力机制的基本思想是为输入数据的每个部分分配一个权重，这个权重表示该部分对于当前任务的重要程度。

YOLO小目标检测效果不好的一个原因是因为小目标样本的尺寸较小，而yolov8的下采样倍数比较大，较深的特征图很难学习到小目标的特征信息，因此提出增加小目标检测层对较浅特征图与深特征图拼接后进行检测。加入小目标检测层，可以让网络更加关注小目标的检测，提高检测效果。这个方式的实现十分简单有效，只需要修改yolov8的模型文件yaml就可以增加小目标检测层，但是在增加检测层后，带来的问题就是计算量增加，导致推理检测速度降低。不过对于小目标，确实有很好的改善，修改yaml文件，需要修改特征融合网络。

本文章实现了常见的数据增强方法包括翻转、cutout、加噪声、亮度、平移、旋转、裁剪等。每种方法都有其独特的作用和意义，如翻转可以使模型适应不同的物体姿态和朝向，而裁剪可以使模型适应不同的物体尺度和大小。此外，还有一些特殊的数据增强方法，如Copy-paste 数据增强，它可以生成大量的高质量、真实的训练样本，但需要额外的背景数据集，并需要注意样本的选择和管理。

本文主要针对于以往的网络结构特征冗余而设计一种新的网络，通过一些更轻量的操作来出来冗余的特征。本文针对网络部署时面临的内存和资源有限的问题，提出两种不同的Ghost模块，旨在利用成本低廉的线性运算来生成Ghost特征图。C-Ghost模块被应用于CPU等设备，并通过简单的模块堆叠实现C-GhostNet。适用于GPU等设备的G-Ghost模块利用阶段性特征冗余构建。最终实验结果表明两种模块分别实现了对应设备上精度和延迟的最佳权衡。