YOLOv8改进 | 融合篇，YOLOv8改进主干网络为MobileNetV4+CBAM注意机制+Powerful-IoU损失函数(2024 最新IOU)，全网首发，实现极限涨点

已于 2024-09-30 20:32:59 修改
阅读量2.4k 收藏 25
点赞数 4
分类专栏： YOLOv8/v11改进 文章标签： YOLO 人工智能 python 深度学习 目标检测 计算机视觉
于 2024-09-29 22:18:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44779079/article/details/142644887
版权

在这里插入图片描述

原始 YOLOv8 训练结果如下：
在这里插入图片描述

YOLOv8+MobileNetV4 训练结果如下：
在这里插入图片描述

YOLOv8+MobileNetV4+CBAM 注意机制训练结果如下：
在这里插入图片描述

YOLOv8+MobileNetV4+CBAM 注意机制+Powerful-IoU损失函数训练结果如下：
在这里插入图片描述

摘要

本文将在 YOLOv8 主干中改进融合特征网络引入 MobileNetV4 轻量化骨干，同时，在检测头引入 CBAM机制注意力机制，并采用 Powerful-IoU 损失函数作为模型的损失函数，其中，MobileNetV4 通过引入通用反向瓶颈(UIB)搜索块和 Mobie MQA 注意力模块创新设计，实现了模型的轻量级化；同时，MobileNetV4 采用了优化的 NAS 策略，通过粗粒度和细粒度搜索相结合的方法，显著提高了搜索效率并改善了模型质量。并且在 YOLOv8 的 Neck 网络中加入了 CBAM 注意力机制，使网络能充分利用计算资源，筛选出对目标任务更有用的特征信息。通过增加 CBAM，实现了在不增加网络深度、宽度和输入图像分辨率的前提下，学习到更多有效特征，提升网络性能。采用新的 Powerful-IoU（PIoU）损失函数，该函数结合了目标尺寸自适应惩罚因子和基于锚框质量的梯度调节函数。PIoU 损失引导锚框沿着高效路径回归，收敛速度比现有基于 IoU 的损失函数更快。实验亲测有效，提出的新融合改进方案有利于提升 YOLOv8 的整体目标检测能力。

融合前，需要做的工作

融合前，需要把下面几篇文章的代码添加到 YOLOv8 中，如果已经添加可以忽略此步骤

  1. YOLOv8改进，YOLOv8改进损失函数采用Powerful-IoU（2024年最新IOU），助力涨点
了解本专栏 订阅专栏 解锁全文
番外篇 | YOLOv8改进之更换主干网络MobileNetv3 + 添加CA注意力机制
突然好想你
05-21 2618
MobileNetv3是一种轻量级网络，采用了深度可分离卷积等轻量化技术，具有较小的模型参数量和计算复杂度，适合在计算能力较弱的设备上运行。本节课就让我们结合论文来对YOLOv8进行组合改进（更换主干网络MobileNetv3 + 添加CA注意力机制），希望同学们学完本节课可以有所启迪！🌈
YOLOv8改进 | 注意力篇 | YOLOv8引入CBAM注意力机制
tsg6698的博客
08-30 5498
我们的实验表明各种模型的分类和检测性能得到了一致的改进，证明了 CBAM 的广泛适用性。模块首先应用通道注意力，关注"重要的"特征，然后应用空间注意力，关注这些特征的"重要位置"。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~添加完CBAM代码后，在ultralytics/nn/Extramodule/__init__.py文件中引用。
YOLOv8添加CBAM注意力机制(模型改进)
早知晓的博客
02-24 1440
CBAM就是将通道注意力模块和空间注意力模块的输出特征逐元素相乘，得到最终的注意力增强特征。这个增强的特征将用作后续网络层的输入，以在保留关键信息的同时，抑制噪声和无关信息。原文实验证明先进行通道维度的整合，再进行空间维度的整合，模型效果更好。这两个模块可以分别嵌入到CNN中的不同层，以增强特征表示。的感知能力，从而在不增加网络复杂性的情况下改善性能。空间注意力模块的目标是强调图像中不同位置的重要性。然后在下图中指定位置，加入‘CBAM’的引用。通道注意力模块的目标是增强每个通道的特征表达。
【YOLOv8】YOLOv8改进系列（12）----替换主干网络之StarNet
最新发布
熬夜秃顶中......
04-02 2207
YOLOv8改进系列（12）----替换主干网络之StarNet
YOLOv8改进：利用MobileNetV4增强主干网络
走向CTO的路上...
07-14 2258
YOLOv8作为目前最先进的目标检测算法之一，在性能和精度方面都取得了显著进步。然而，其主干网络结构较为复杂，在部署于移动端或嵌入式设备时会遇到性能瓶颈。为了解决这一问题，本文提出了一种利用MobileNetV4增强YOLOv8主干网络的方法，以提升模型的轻量性和精度。利用 MobileNetV4 的 UIB 模块可以有效增强 YOLOv8 的主干网络，降低模型复杂度，提升模型精度，使其能够在移动端或嵌入式设备上部署使用，这对于推动目标检测技术在移动端和嵌入式设备上的应用具有重要意义。return x。
DenseNets再探索：超越ResNets和ViTs的范式转变
AI浩
07-02 703
摘要： 本文重新探讨了密集连接的卷积网络（DenseNets），并揭示了其在当前主流的ResNet风格架构之上的被低估的有效性。我们认为，DenseNets的潜力被忽视的原因在于未得到充分研究的训练方法以及传统设计元素未能完全展现其能力。我们的初步研究表明，通过拼接实现的密集连接非常强大，证明了DenseNets可以通过复兴来与现代架构竞争。我们系统地改进了次优组件——包括架构调整、块重新设计以及改进的训练策略，旨在拓宽DenseNets并提升内存效率，同时保持拼接的快捷连接。我们的模型采用简单的架构元素，
YOLOv8最新改进系列：主干网络改进-YOLOv8+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，提升模型检测效果！
B站 Ai学术叫叫兽的文案地
09-14 5711
YOLOv8最新改进系列：主干网络改进-YOLOv8+EfficientNetV2，引入渐进式学习策略、自适应正则强度调整机制，提升模型检测效果！
Rewrite the Stars
AI浩
05-30 1133
摘要 https://arxiv.org/pdf/2403.19967 最近的研究已经引起了人们对网络设计中“星操作”（元素级乘法）尚未开发的潜力的关注。尽管直观的解释很多，但其应用背后的基本原理仍然在很大程度上未被探索。我们的研究试图揭示星操作将输入映射到高维、非线性特征空间的能力——类似于核技巧——而无需加宽网络。我们还引入了StarNet，这是一个简单但功能强大的原型，它在紧凑的网络结构和有限的预算下展示了令人印象深刻的性能和低延迟。就像天空中的星星一样，星操作看似普通，但蕴含着巨大的潜力。我们的工作
【YOLOv8改进- Backbone主干】YOLOv8更换主干网络之ConvNexts，纯卷积神经网络，更快更准，，降低参数量！
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-15 2266
视觉识别的“咆哮20年代”开始于视觉Transformer（ViTs）的引入，ViTs迅速取代了卷积神经网络（ConvNets）成为最先进的图像分类模型。然而，普通的ViT在应用于诸如目标检测和语义分割等一般计算机视觉任务时面临困难。分层Transformer（例如Swin Transformer）重新引入了几种ConvNet先验知识，使得Transformer在实际应用中成为通用的视觉骨干，并在各种视觉任务中表现出色。
YOLOv5改进 | 主干网络 | 将主干网络替换为轻量化的ShuffleNetv2【原理 + 完整代码】
kay_545
06-03 2686
yolov5改进，shufflenetv2
YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-06 3万+
大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 5133
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
《手把手教你YOLOv8/YOLOv11实战》，改进专栏目录和介绍
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-09 1万+
YOLOv8 是目前比较火和比较成熟的深度学习框架，是2023年1月发布的，由 Ultralytics 团队开发。Ultralytics自YOLOv5 开始一直积极维护和更新 YOLO 框架，因此 YOLOv8 也享有持续的维护与升级支持。因此我写下《手把手教你YOLOv8实战》专栏，专门为那些对计算机视觉、深度学习、以及目标检测技术感兴趣的读者设计。通过本专栏，你将深入理解 YOLOv8 的核心原理与实际应用，从0 开始学习并掌握如何使用 YOLOv8 完成各类目标检测任务，帮助你快速上手并掌握 YOLO
【YOLOv8改进- Backbone主干】YOLOv8 更换主干网络之 PP-LCNet，轻量级CPU卷积神经网络，降低参数量
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-15 2137
我们提出了一种基于MKLDNN加速策略的轻量级CPU网络，命名为PP-LCNet，它在多项任务中提高了轻量级模型的性能。本文列出了在延迟几乎不变的情况下能够提高网络准确性的技术。通过这些改进，PP-LCNet在相同推理时间内的分类准确性可以大大超过之前的网络结构。如图1所示，它的性能优于最先进的模型。在计算机视觉的下游任务中，如目标检测、语义分割等，它也表现得非常出色。我们所有的实验都是基于PaddlePaddle1进行的。代码和预训练模型可在PaddleClas2中找到。
YOLOv8改进 | 主干篇 | EfficientNetV1均衡缩放网络改进特征提取层
Snu77的博客
12-30 3416
这次给大家带来的改进机制是EfficientNetV1主干，用其替换我们YOLOv8的特征提取网络，其主要思想是通过均衡地缩放网络的深度、宽度和分辨率，以提高卷积神经网络的性能。这种方法采用了一个简单但有效的复合系数，统一调整所有维度。经过我的实验该 主干网络确实能够涨点在大中小三种物体检测上，同时该主干网络提供多种版本，大家可以在源代码中进行修改版本的使用。本文通过介绍其主要框架原理，然后教大家如何添加该网络结构到网络模型中。
YOLOv8最新改进系列：YOLOV8主干改进-华为诺亚提出全新骨干架构VanillaNet，YOLOv8融合深度学习极简主义的力量，大力提升模型鲁棒性！！
B站 Ai学术叫叫兽的文案地
09-15 2960
YOLOv8最新改进系列：YOLOV8主干改进-华为诺亚提出全新骨干架构VanillaNet，YOLOv8融合深度学习极简主义的力量，大力提升模型鲁棒性！！ [详细的改进教程以及源码，戳这！戳这！！戳这！！！B站：AI学术叫叫兽 源码在相簿的链接中，动态中也有链接，感谢支持！祝科研遥遥领先！](https://space.bilibili.com/432570190/video)
YOLOv8改进 - 注意力篇 - 引入(A2-Nets)Double Attention Networks注意力机制
浪子L的博客
09-27 2011
YOLOv8改进 - 注意力篇 - 引入(A2-Nets)Double Attention Networks注意力机制
YOLOv8改进 | 主干篇 | 利用SENetV2改进网络结构 (全网首发改进)
Snu77的博客
12-25 6901
本文给大家带来的改进机制是SENetV2，其是2023.11月的最新机制(所以大家想要发论文的可以在上面下点功夫)，其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制但是相对于SENetV1来说V2又在全局的角度进行了考虑)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中，如残差单元中。
YOLOv8改进 | 主干篇 | 华为最新VanillaNet主干替换Backbone实现大幅度长点
Snu77的博客
12-19 6250
本文给大家来的改进机制是华为最新VanillaNet网络，其是今年最新推出的主干网络，VanillaNet是一种注重极简主义和效率的神经网络架构。它的设计简单，层数较少，避免了像深度架构和自注意力这样的复杂操作(需要注意的是该网络结构的通道数会被放大，GFLOPs的量会很高)。我将其替换整个YOLOv8的Backbone，在一些大目标和小目标检测上均有涨点，效果比上一篇RepViT的效果要好。我的实验数据集是一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，下面我会附上基础版本和修改版
yolov8替换主干网络mobile
03-28
### 更改 YOLOv8 的主干网络为 MobileNet 在 YOLOv8 中替换默认的主干网络为 MobileNet 是一种常见的优化方式，可以显著减少模型参数量并提升推理速度。以下是实现这一目标的具体方法。 #### 修改配置文件 YOLOv8 使用 YAML 配置文件定义其架构细节。要将主干网络更改为 MobileNet，需编辑对应的配置文件。具体操作如下： 1. **创建新的主干网络模块** 定义一个新的基于 MobileNet 的主干网络模块，并将其集成到 YOLOv8 架构中。可以通过继承 `torch.nn.Module` 并实现前向传播逻辑来完成此任务[^1]。 2. **更新配置文件中的 backbone 参数** 找到 YOLOv8 默认配置文件（通常位于 `yolov8/cfg/` 文件夹下），并将其中的 `backbone` 字段指向自定义的 MobileNet 实现路径。例如： ```yaml # yolov8_custom.yaml backbone: - [MobileNetV3, [input_channels]] neck: ... head: ... ``` #### 自定义 MobileNet 模块 为了适配 YOLOv8 的需求，建议使用 MobileNetV3 或更高版本作为主干网络，因为这些版本引入了 SE 结构和 Hard-Swish 激活函数，能够进一步增强性能[^2]。以下是一个简单的 MobileNetV3 主干网络实现示例： ```python import torch.nn as nn class MobileNetV3(nn.Module): def __init__(self, input_channels=3): super(MobileNetV3, self).__init__() # 简化版 MobileNetV3 主干网络 self.features = nn.Sequential( nn.Conv2d(input_channels, 16, kernel_size=3, stride=2, padding=1), nn.BatchNorm2d(16), nn.Hardswish(), # 添加更多层... nn.Conv2d(16, 32, kernel_size=3, stride=2, padding=1), nn.BatchNorm2d(32), nn.Hardswish() ) def forward(self, x): return self.features(x) ``` #### 整合 CBAM 注意力机制 如果希望进一步提高检测精度，可以在 MobileNet 上融合 CBAM（Convolutional Block Attention Module）注意力机制。CBAM 可以动态调整通道和空间维度上的特征权重，从而突出重要区域。 #### 更新损失函数 最后，在更换主干网络的同时，可能还需要调整损失函数以适应新的特征表达能力。例如，采用 Powerful-IoU 损失函数替代传统的 IoU 损失函数，有助于改善边界框回归效果。 ```python def powerful_iou_loss(pred_boxes, target_boxes): ious = calculate_ious(pred_boxes, target_boxes) # 计算 IoUs loss = (1 - ious).mean() # 增强后的 IoU 损失计算 return loss ``` 通过上述步骤即可成功将 YOLOv8 的主干网络替换为 MobileNet，并结合 CBAM 和新型损失函数进行综合优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值