m0_47867638的博客

本专栏是讲解如何改进Yolov8的专栏。改进方法采用了2024年最新的论文提到的方法。改进的方法包括：增加注意力机制、更换卷积、更换block、更换backbone、更换head、更换优化器等；每篇文章提供了一种到N种改进方法。评测用的数据集是我自己标注的数据集，里面包含32种飞机。每种改进方法我都做了测评，并与官方的模型做对比。代码和PDF版本的文章，我在验证无误后会上传到百度网盘中，方便大家下载使用。这个专栏，求质不求量，争取尽心尽力打造精品专栏！！！！！

HCF-Net是一种用于红外小物体检测的深度学习网络。它主要包括三个模块：并行化斑块感知注意力（PPA）模块、维度感知选择性整合（DASI）模块和多稀释通道细化器（MDCR）模块。PPA模块采用多分支特征提取策略，用于捕捉不同尺度和层次的特征信息。DASI模块可实现自适应信道选择和融合，提高模型的检测性能。MDCR模块则通过多个深度分离卷积层捕捉不同感受野范围的空间特征，进一步增强了模型的特征表示能力。在SIRST红外单帧图像数据集上的实验结果表明，HCF-Net的性能良好，超过了其他传统模型和深度学习模型

它主要包括三个模块：并行化斑块感知注意力（PPA）模块、维度感知选择性整合（DASI）模块和多稀释通道细化器（MDCR）模块。PPA模块采用多分支特征提取策略，用于捕捉不同尺度和层次的特征信息。DASI模块可实现自适应信道选择和融合，提高模型的检测性能。MDCR模块则通过多个深度分离卷积层捕捉不同感受野范围的空间特征，进一步增强了模型的特征表示能力。在SIRST红外单帧图像数据集上的实验结果表明，HCF-Net的性能良好，超过了其他传统模型和深度学习模型。

摘要本文使用动态上采样改进YoloV8，动态上采样是今天最新的上采样改进方法，具有轻量高效的特点，经过验证，在多个场景上均有大幅度的涨点，而且改进方法简单，即插即用！论文：《DySample：Learning to Upsample by Learning to Sample》论文：https://arxiv.org/pdf/2308.15085我们提出了DySample，一个超轻量级且高效的动态上采样器。虽然最近的基于内核的动态上采样器，如CARAFE、FADE和SAPA，取得了令人印象深刻的性

我们再次回到上采样的本质，即点采样，来建模几何信息。在PyTorch的内置函数的基础上，我们首先提供一个简单的实现，以证明基于采样的动态上采样的可行性（图2(a)）。网格采样。给定一个大小为C×H1×W1C×H1​×W1​的特征图XX，以及一个大小为2×H2×W22×H2​×W2​的采样集SS，其中第一维的2表示xxx和yyy坐标。grid_sample函数使用SS中的位置对假设的双线性插值XX。

SHViT是一种高效视觉变换器，通过优化设计和减少冗余，实现了低延迟和高精度的视觉任务处理。它采用大跨度patchify stem和单头注意力模块，避免了空间冗余和注意力头冗余，提高了计算效率和准确性。SHViT结合全局和局部信息，进一步提升性能，适用于资源受限设备。实验表明，SHViT在速度和准确率上均优于其他模型，如MobileViTv2，尤其在实时性要求高的应用中表现突出。

SHViT是一种高效视觉变换器，通过优化设计和减少冗余，实现了低延迟和高精度的视觉任务处理。它采用大跨度patchify stem和单头注意力模块，避免了空间冗余和注意力头冗余，提高了计算效率和准确性。SHViT结合全局和局部信息，进一步提升性能，适用于资源受限设备。实验表明，SHViT在速度和准确率上均优于其他模型，如MobileViTv2，尤其在实时性要求高的应用中表现突出。SHViT模型关注宏观架构和微观多头自注意力（MHSA）的优化。

本文使用DOConv卷积，替换YoloV8的常规卷积，轻量高效，即插即用！改进方法非常简单。DO-Conv（Depthwise Over-parameterized Convolutional Layer）是一种深度过参数化的卷积层，用于提高卷积神经网络（CNN）的性能。它的核心思想是在训练阶段使用额外的深度卷积来增强卷积层，其中每个输入通道与不同的二维核进行卷积。这两个卷积的组合构成了一个过度参数化，因为它增加了可学习的参数，而结果的线性操作可以用单个卷积层来表示。

无Mamba不狂欢，本文打造基于Mamba的注意力机制。全世界首发基于Mamba的注意力啊！对Mamba感兴趣的朋友一定不要错过啊！本文使用Mamba改进YoloV8的Block和BackBone实现涨点。

无Mamba不狂欢，本文打造基于Mamba的注意力机制。全世界首发基于Mamba的注意力啊！对Mamba感兴趣的朋友一定不要错过啊！本文使用Mamba改进YoloV8的Block和BackBone实现涨点。

无Mamba不狂欢，本文打造基于Mamba的注意力机制。全世界首发基于Mamba的注意力啊！对Mamba感兴趣的朋友一定不要错过啊！

UNet [16]，作为医学图像分割领域一个广为人知的算法，在涉及医学器官和病灶的各种分割任务中得到了广泛应用，涵盖了多种医学图像模态。其对称的U形编解码器架构与整体的跳跃连接为分割模型奠定了基础，催生了一系列基于U形结构的研究工作 [8,15,18]。然而，作为基于卷积神经网络（CNN）的模型，UNet受限于卷积操作的固有局部性，这限制了其理解显式全局和长距离语义信息交互的能力 [2]。一些研究尝试通过采用空洞卷积层 [5]、自注意力机制 [19] 和图像金字塔 [25] 来缓解这一问题。

本文使用最新的ELA注意力机制改进YoloV8，实现涨点！改进方式简单易用，涨点明显！欢迎大家使用。大家在订阅专栏后，记着加QQ群啊！有些改进方法确实有难度，大家在改进的过程中遇到问题，我会解答和指导！

但水下图像受水体吸收、衰减、光源分布等影响，呈现蓝绿色，且存在低对比度、非均匀光照、模糊、亮斑和高噪声等问题。此外，水下环境复杂，数据集相对较少，目标小且分布密集，重叠遮挡现象常见。DUO为URPC挑战赛多年数据集的整合，对其中重复数据进行删除，训练集并且对有误的标签进行了重新标注。holothurian，echinus，scallop，starfish，fish，corals，diver，cuttlefish，turtle，jellyfish10个常见类别。数据集格式：COCO格式。

这几天有粉丝提到了BiFPN解决小目标问题，我结合我的经验，将BiFPN和小目标分支结合实现小目标任务检测精度的上升。

本文使用最新的ELA注意力机制改进YoloV8，实现涨点！改进方式简单易用，涨点明显！欢迎大家使用。大家在订阅专栏后，记着加QQ群啊！有些改进方法确实有难度，大家在改进的过程中遇到问题，我会解答和指导！

捕捉长距离依赖关系，旨在提取对视觉场景的全局理解，已被证明对广泛的识别任务有益，如图像/视频分类、目标检测和分割[31, 12, 38, 14]。在卷积神经网络中，由于卷积层在局部邻域内构建像素关系，长距离依赖关系主要通过深层堆叠卷积层来建模。然而，直接重复卷积层计算效率低下且难以优化[31]。这会导致长距离依赖关系建模不够有效，部分原因在于远距离位置之间信息传递的困难。为了解决这个问题，提出了非局部网络[31]，通过自注意力机制[28]使用一层来建模长距离依赖关系。

本文介绍我自研的下采样模块。本次改进的下采样模块是一种通用的改进方法，你可以用分类任务的主干网络中，也可以用在分割和超分的任务中。已经有粉丝用来改进ConvNext模型，取得了非常好的效果，配合一些其他的改进，发一篇CVPR、ECCV之类的顶会完全没有问题。本次我将这个模块用来改进YoloV8，实现大幅度涨点。

本次实战讲解了DUO数据集的使用，以及训练、验证相关的知识。不知道还有没有遗漏的，欢迎大家补充。

捕捉长距离依赖关系，旨在提取对视觉场景的全局理解，已被证明对广泛的识别任务有益，如图像/视频分类、目标检测和分割[31, 12, 38, 14]。在卷积神经网络中，由于卷积层在局部邻域内构建像素关系，长距离依赖关系主要通过深层堆叠卷积层来建模。然而，直接重复卷积层计算效率低下且难以优化[31]。这会导致长距离依赖关系建模不够有效，部分原因在于远距离位置之间信息传递的困难。为了解决这个问题，提出了非局部网络[31]，通过自注意力机制[28]使用一层来建模长距离依赖关系。

先前的轻量级模型开发努力主要集中在基于CNN和Transformer的设计上，但仍面临持续的挑战。CNN擅长局部特征提取，但会牺牲分辨率，而Transformer提供了全局范围，但会加剧计算需求ON2。这种持续存在的准确性和效率之间的权衡仍然是一个重大障碍。最近，状态空间模型（SSM），如Mamba，已在语言建模和计算机视觉等各种任务中显示出出色的性能和竞争力，同时将全局信息提取的时间复杂度降低到ON。

本文讲解一下实战，使用YoloV8检测钢材表面缺陷。起因是有粉丝搞不定这个数据集，检测的时候出现了不收敛的情况。所以，给大家讲讲如何去做。

深卷积神经网络（CNN）已在计算机视觉社区中得到广泛使用，并且在图像分类，对象检测和语义分割等广泛的任务中取得了长足的进步。从开创性的AlexNet [17]开始，许多研究 不断研究以进一步改善深层CNN的性能。近来，将通道注意力并入卷积块中引起了很多兴趣，显示出在性能改进方面的巨大潜力。代表性的方法之一是挤压和激励网络（SENet）[14]，它可以学习每个卷积块的通道注意，从而为各种深层CNN架构带来明显的性能提升。

深卷积神经网络（CNN）已在计算机视觉社区中得到广泛使用，并且在图像分类，对象检测和语义分割等广泛的任务中取得了长足的进步。从开创性的AlexNet [17]开始，许多研究 不断研究以进一步改善深层CNN的性能。近来，将通道注意力并入卷积块中引起了很多兴趣，显示出在性能改进方面的巨大潜力。代表性的方法之一是挤压和激励网络（SENet）[14]，它可以学习每个卷积块的通道注意，从而为各种深层CNN架构带来明显的性能提升。

遥感图像（RSI）中的目标检测近年来引起了广泛关注[11, 56, 64]。这项任务致力于在RSI中识别特定目标的存在，并随后确定它们的类别和精确位置。与通常产生水平边界框的通用目标检测不同，遥感目标检测旨在生成与目标方向准确对齐的边界框。因此，先前的许多努力都致力于开发各种有向边界框（OBB）检测器[10, 20, 31, 65, 67, 71]，并改进OBB的角度预测精度[68,70,72-74]。然而，在改善用于目标检测的特征提取方面，RSI的独特特性仍相对缺乏深入研究。

深卷积神经网络（CNN）已在计算机视觉社区中得到广泛使用，并且在图像分类，对象检测和语义分割等广泛的任务中取得了长足的进步。从开创性的AlexNet [17]开始，许多研究 不断研究以进一步改善深层CNN的性能。近来，将通道注意力并入卷积块中引起了很多兴趣，显示出在性能改进方面的巨大潜力。代表性的方法之一是挤压和激励网络（SENet）[14]，它可以学习每个卷积块的通道注意，从而为各种深层CNN架构带来明显的性能提升。

遥感图像（RSI）中的目标检测近年来引起了广泛关注[11, 56, 64]。这项任务致力于在RSI中识别特定目标的存在，并随后确定它们的类别和精确位置。与通常产生水平边界框的通用目标检测不同，遥感目标检测旨在生成与目标方向准确对齐的边界框。因此，先前的许多努力都致力于开发各种有向边界框（OBB）检测器[10, 20, 31, 65, 67, 71]，并改进OBB的角度预测精度[68,70,72-74]。然而，在改善用于目标检测的特征提取方面，RSI的独特特性仍相对缺乏深入研究。

FocalNets是一个新型的神经网络架构，它的核心特点是用焦点调制模块完全取代了自注意力（SA）机制，用于在视觉任务中建模令牌（token）之间的交互。这种架构的设计旨在提高模型的可解释性，并在各种视觉任务上实现卓越的性能。本文使用FocalNets的Block替换YoloV8的Block，实现涨点。

本次使用2017版本的COCO数据集作为例子，演示如何使用YoloV8训练和预测。

假设一种情况：数据集是别人给你做好的Yolo格式的数据，是遥感或者无人机拍摄的数据。我们对其做一些旋转增强。

此外，为了研究HWD的优势，我们提出了一种新的度量指标，即特征熵指数（FEI），用于衡量CNN中下采样后信息的不确定性程度。• 我们为卷积神经网络（CNNs）提出了一种新颖的基于小波的下采样模块（HWD）。据我们所知，我们的方法是首次尝试探索在深度卷积神经网络（DCNNs）的下采样阶段禁止（或阻碍）信息丢失的可行性，以改善语义分割任务的性能。• 我们探索了卷积神经网络中信息不确定性的度量方法，并提出了一种新的指标，即特征熵指数（FEI），用于评估下采样特征图与预测结果之间的信息不确定性或特征重要性。

我们提出了焦点调制网络（简称FocalNets），其中自注意力（SA）被焦点调制模块完全取代，用于在视觉中建模令牌交互。焦点调制包含三个组件：（i）焦点上下文化，通过堆叠深度卷积层实现，以从短到长范围编码视觉上下文；（ii）门控聚合，用于选择性地收集上下文信息到每个查询令牌的调制器中；（iii）元素级仿射变换，将调制器注入查询中。

可以创建一个YOLO-World 模型版本，专门用于您的特定用例。此过程将您的自定义类定义直接嵌入模型文件，使模型无需进一步调整即可与您指定的类一起使用。保存后，custom_yolov8s.pt 模型的行为与其他预训练的YOLOv8 模型无异，但有一个关键区别：它现在经过优化，只能检测您定义的类别。针对您的特定应用场景，这种定制可以大大提高检测性能和效率。效率：通过关注相关对象、减少计算开销和加快推理速度，简化检测过程。灵活性：可使模型轻松适应新的或特殊的检测任务，而无需进行大量的再培训或数据收集。

文章目录摘要1、引言2、相关工作3、方法3.1、聚合像素焦点注意力3.1.1、像素焦点注意力3.1.2、在单个混合器中聚合不同的注意力3.1.3、克服多尺度图像输入3.1.4、特征分析3.2、卷积门控单元（Convolutional GLU）3.2.1、动机3.2.2、重新思考通道混合器设计3.3、TransNeXt的架构设计4、实验4.1、多尺度推理4.2、从PVT到TransNeXt的路线图5、结论A、像素聚焦注意力的等效形式B、人类视觉与注意力可视化的比较分析C、详细设置C.1、TransNeXt变体

自研的Block，改进效果还是不错的！欢迎大家做尝试！

重参数结构在轻量化网络和提高模型能力上有很好的效果。本文在解决作者原有的问题后尝试了新的改进方式，实现涨点！REFCONV是一种用于构建强大卷积神经网络的重新参数化的重新聚焦卷积（re-parameterized refocusing convolution）。它是一种特殊的卷积层，旨在通过重新参数化输入特征图来增强卷积神经网络的能力。在传统的卷积神经网络中，卷积层通过将输入特征图与一组卷积核（filters）进行卷积运算，以检测和提取输入数据中的局部特征。

Open Vocabulary：开放词汇论文链接：https://arxiv.org/pdf/2401.17270.pdfYou Only Look Once (YOLO) 系列检测器已经确立了自己作为高效和实用工具的地位。然而，它们对预定义和训练过的对象类别的依赖限制了它们在开放场景中的适用性。为了解决这个问题，我们引入了 YOLO-World，这是一种创新的方法，通过视觉语言建模和在大规模数据集上的预训练，为 YOLO 增添了开放词汇检测能力。

文章目录摘要论文：《MogaNet——高效的多阶门控聚合网络》1、简介2、相关工作2.1、视觉Transformers2.2、ViT时代的卷积网络3、从多阶博弈论交互的角度看表示瓶颈4、方法论4.1、MogaNet概述4.2、多阶门控聚合4.3、通过通道聚合进行多阶特征重新分配4.4、实现细节5、实验5.1、ImageNet分类5.2、密集预测任务5.3、消融实验和分析6、结论致谢A、实现细节A.1、架构细节A.2、ImageNet实验设置A.3、COCO上的目标检测和实例分割A.4、ADE20K上的语义分

文章目录本文尝试使用MogaNet改进YoloV8，使用MogaNet的Block替换YoloV8摘要1、简介2、相关工作2.1、视觉Transformers2.2、ViT时代的卷积网络3、从多阶博弈论交互的角度看表示瓶颈4、方法论4.1、MogaNet概述4.2、多阶门控聚合4.3、通过通道聚合进行多阶特征重新分配4.4、实现细节5、实验5.1、ImageNet分类5.2、密集预测任务5.3、消融实验和分析6、结论致谢A、实现细节A.1、架构细节A.2、ImageNet实验设置A.3、COCO上的目标检测

基于深度学习的模型在计算机视觉、语言处理和语音识别等各个领域都表现出了比过去的人工智能系统更好的性能。近年来，深度学习领域的研究人员主要关注如何开发更强大的系统架构和学习方法，如卷积神经网络（CNNs）[21-23, 42, 55, 71, 72]、Transformers[8, 9, 40, 41, 60, 69, 70]、Perceivers[26, 26, 32, 52, 56, 81, 81]和Mambas[17, 38, 80]。