Limiiiing的博客

1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习

本文记录的是基于SimAM注意力模块的RT-DETR目标检测方法研究。SimAM注意力模块通过优化能量函数来获得每个神经元的三维权重，而或增加计算复杂度。若是有轻量化需求的小伙伴，无参的注意力模块也许是一个不错的选择。

本文主要讲解RT-DETR如何在8.3.65版本以后的ultralytics项目包中配置添加新的模块。本文使用的是最新版 8.3.103。

本文记录的是利用 SEAM 模块优化 RT-DETR 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题，相当于是小目标被其他物体部分遮挡时，传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失，提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块（Separated and Enhancement Attention Module）的设计出发点

RFE模块（Receptive Field Enhancement Module）的设计出发点是解决多尺度人脸检测中因感受野不足导致的小目标信息丢失问题。传统特征金字塔网络（如FPN）在处理小尺度人脸时，多次卷积操作会导致浅层特征的空间信息逐渐丢失，而深层特征虽语义丰富但空间分辨率较低。RFE模块通过引入扩张卷积，在不增加计算量的前提下扩大有效感受野，增强模型对不同尺度人脸的特征表达能力。

本文记录的是利用改进检测模型，针对目标检测中面临的多尺度特征融合效率与长距离依赖建模难题，HiLo注意力模块的引入旨在通过频率解耦策略优化高分辨率特征处理，将高频细节（如目标边缘）与低频语义（如场景结构）分离建模，提升目标检测精度。Fast Vision Transformers with HiLo AttentionHiLo注意力模块的提出源于对传统自注意力机制局限性的反思。传统多头自注意力（MSA）在处理高分辨率图像时存在以下问题：HiLo将注意力模块分为高频（Hi-Fi）和低频（Lo-Fi）两个分支，

P3/8 - small检测头原始模型中的P3/8特征层对应的检测头主要用于检测相对较小的目标。其特征图大小相对较大，空间分辨率较高。适合检测尺寸大概在8x8到32x32像素左右的目标。P4/16 - medium检测头这个检测头对应的P4/16特征层经过了更多的下采样操作，相比P3/8特征图空间分辨率降低，但通道数增加，特征更抽象且有语义信息。它主要用于检测中等大小的目标，尺寸范围大概在32x32到64x64像素左右。P5/32 - large检测头P5/32。

HS - FPN结构由特征选择模块和特征融合模块组成。特征选择模块中，CA模块先处理输入特征图，经池化激活函数确定各通道权重以过滤特征图DM模块再对不同尺度特征图降维；特征融合模块中，利用SFF机制以高级特征为权重筛选低级特征语义信息后融合，提升模型检测能力。

SPD-Conv是一种新的 CNN 构建模块，用于替代传统 CNN 架构中使用的步长卷积（strided convolution）和池化（pooling）层，它由空间到深度（Space-to-depth，SPD）层和非步长卷积（non - strided convolution）层组成。

本文记录的是基于RepVit的RT-DETR轻量化改进方法研究。通过分离的和减少推理时的计算和内存成本，同时减少扩展比率并增加宽度，降低延迟，并通过加倍通道来弥补参数大幅减少的问题，提高了准确性。在此基础之上，将的颈部网络改进成的结构，使模型能够有效的融合多尺度特征，捕获小目标精细信息，并根据注意力机制关注小目标相关特征，显著提高模型精度。在计算机视觉领域，设计轻量化模型对于在资源受限的移动设备上实现视觉模型的部署至关重要。近年来，轻量级Vision Transformers（ViTs）在移动设备上表现出优

COCO指标能够直观了解模型在目标时的效果；TIDE指标专注于对进行分类和分析，从揭示模型的性能问题，使模型评估更加全面和深入（本文提供了完整的实现代码和配置步骤）。例如，论文中COCO的指标内容展示：论文中TIDE。

本文记录的是。通过与，提升模型检测精度和鲁棒性。

本文记录的是。YOLOv7中的SPPCSPC（Spatial Pyramid Pooling Cross Stage Partial Connections）模块是一种结合了（SPP）和（CSP）的改进结构，本文将其添加到RT-DETR中，

FreqFusion是一种旨在解决密集图像预测任务中特征融合问题。

可扩展的高效物体检测BiFPN（加权双向特征金字塔网络）

ODMamba骨干网络：由Simple Stem和Downsample Block组成。Simple Stem采用两个步长为2、内核大小为3的卷积，替代传统ViTs中用内核大小为4、步长为4的卷积划分图像块的方式，在性能和效率间达成平衡。Downsample Block包含ODSSBlock和Vision Clue Merge模块，先通过ODSSBlock学习特征，再经Vision Clue Merge模块下采样。

本文记录了RT-DETR模型的这一系列过程中可能发生的问题，以及大家非常关心的问题，这里统一做了一个记录和解答。

EMO模型旨在为移动应用设计高效的基于注意力的轻量级模型，在多个视觉任务上取得了优异的性能。

是一种通用感知大核卷积神经网络，其模型结构设计旨在解决现有大核卷积神经网络存在的问题，并探索卷积神经网络在多模态领域的通用感知能力。

FreqFusion是一种旨在解决密集图像预测任务中特征融合问题。

RMT模型是一种具有显式空间先验的视觉骨干网络，旨在解决中自注意力机制存在的问题。

颈部结构的设计旨在解决传统信息融合方法的缺陷，提升模型性能。

YOLO系列由于在速度和准确性之间的合理权衡，已成为最受欢迎的实时目标检测框架。然而，我们观察到YOLO的速度和准确性受到NMS的负面影响。最近，基于端到端Transformer的检测器（DETRs）为消除NMS提供了一种替代方案。尽管如此，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT - DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。

本文记录的是基于 GhostNetV3 的 RT-DETR轻量化改进方法研究。GhostNetV3的轻量模块采用方法，训练时为深度可分离卷积和1×1卷积添加，推理时通过移除分支、折叠操作，能够在不增加推理成本的同时提高性能，从而实现RT-DETR的轻量化改进。

PKI Module是。

是一种全新的ConvNet模型家族，旨在提升纯卷积神经网络在各类下游任务中的性能。它在模型结构设计上有独特的出发点，结构原理涉及多个创新组件，并且在性能上展现出显著优势。

LSK module是。

本文记录的是。采用深度可分离卷积将标准卷积分解为深度卷积和1×1卷积。同时，引入来，避免非线性层导致的性能下降问题。本文将应用到RT-DETR中，借助其高效的结构和特性，在保持一定精度的前提下，显著降低RT-DETR的计算复杂度和内存占用。

U-Net V2中的SDI模块在整个网络架构中起着关键作用，其设计旨在解决传统模型在特征融合方面的不足，通过独特的结构原理实现更高效的语义信息和细节融合，从而提升医学图像分割的性能。

本文记录的是基于。采用了创新性的方法，通过精心平衡网络和来提升性能。本文将的设计优势融入RT-DETR中，提升RT-DETR的性能与效率，使其在目标检测任务中表现更为出色。本文配置了原模型中的共种不同大小的模型结构，以满足不同的需求。

本文记录的是基于 EfficientNet v2 的 RT-DETR轻量化改进方法研究。针对存在的训练瓶颈，如以及等情况进行改进，以实现和的优势，将其应用到RT-DETR中有望提升模型整体性能，。本文在替换骨干网络中配置了原论文中的和四种模型，以满足不同的需求。

本文记录的是基于MobileNet V1的RT-DETR轻量化改进方法研究。基于构建，其设计旨在满足移动和嵌入式视觉应用对模型的需求，具有独特的模型收缩超参数来灵活调整模型大小与性能。本文将用到RT-DETR中，有望借助其高效的结构和特性，提升RT-DETR在计算资源有限环境下的性能表现，同时保持一定的精度水平。

RT-DETR是一种实时端到端的目标检测模型，主要由 骨干网络、高效混合编码器和 带有辅助预测头的 Transformer 解码器组成。本文对其进行了详细分析，并在项目中配置了结构。

SBA 模块在医疗图像分割中具有重要作用，其设计出发点是解决图像中物体边界模糊以及融合特征时的冗余和不一致问题。

HS - FPN结构由特征选择模块和特征融合模块组成。特征选择模块中，CA模块先处理输入特征图，经池化激活函数确定各通道权重以过滤特征图DM模块再对不同尺度特征图降维；特征融合模块中，利用SFF机制以高级特征为权重筛选低级特征语义信息后融合，提升模型检测能力。

在计算机视觉领域，当我们着手训练一个模型时，。其中，将数据集划分为和更是一项基础性且关键的操作。这篇博客分析了这一划分背后的原因、其重要意义以及如何通过代码实现，帮助大家更好地理解和运用这一技巧，。

是一种基于IoU的损失函数，旨在解决目标检测中边界框回归损失函数在处理低质量训练数据时的问题。论文链接：https://arxiv.org/pdf/2301.10051源码链接：https://github.com/Instinct323/wiou此处需要查看的文件是中定义了模型的损失函数和计算方法，我们想要加入新的损失函数就只需要将代码放到这个文件内即可将下方的函数替换原本的函数即可：用于计算各种损失。在内修改如下代码，使模型调用此损失函数。tal.py中是一些损失函数的功能应用。在内修改如下代码，

在网络模型训练前，大量的数据集是必备的。而对于一些特殊场景中的特殊目标，大量的数据集往往难以获取，无法满足模型训练的基本需求。本文提供了，脚本可一键运行，。

PP-LCNet：一个轻量级的CPU卷积神经网络。

一、本文介绍本文记录的是基于RevCol的RT-DETR目标检测改进方法研究。RevCol是一种新型神经网络设计范式，它由多个子网（列）及多级可逆连接构成，正向传播时特征逐渐解缠结且保持信息。可逆变换借鉴可逆神经网络思想，设计多级可逆单元用于解决模型对特征图形状的限制以及与信息瓶颈原则的冲突。本文将其应用到RT-DETR中，并配置了原论文中的revcol_tiny、revcol_small、revcol_base、 revcol_large和revcol_xlarge五种不同大小的模型，以适应不同的需求。