【YOLO改进】换遍MMPretrain主干网络之MobileNetV3(基于MMYOLO)

MobileNetV3

MobileNetV3是由Google团队在2019年提出的轻量化网络模型。传统的卷积神经网络内容需求大、运算量大,无法再移动设备以及嵌入式设备上运行,为了解决这一问题,MobileNet网络应运而生。MobileNetV3在MobileNet系列的基础上进行了进一步的优化和改进,旨在实现更小的模型大小、更低的计算成本和更高的性能。

MobileNetV3的优势

  1. 轻量级设计:MobileNetV3采用了一系列创新技术,包括轻量级卷积模块和网络宽度自动调整,以实现高效的模型设计。这些技术使得MobileNetV3在保持高性能的同时,大幅度降低了模型大小和计算成本。
  2. 高效的特征提取:MobileNetV3能够高效地提取图像中的特征,这有助于提高目标检测的准确性。通过优化网络结构和参数,MobileNetV3能够更准确地捕捉图像中的关键信息,从而提高检测效果。
  3. 快速的推理速度:MobileNetV3具有较快的推理速度,这使得实时目标检测成为可能。在移动设备和嵌入式设备上,实时性是一个非常重要的指标,MobileNetV3的快速推理速度使其在这些设备上具有广泛的应用前景。
  4. 通用性:MobileNetV3不仅适用于目标检测任务,还可用于其他计算机视觉任务,如图像分类、语义分割等。这使得MobileNetV3具有更广泛的应用范围。

作为YOLO主干网络的可行性分析

YOLO(You Only Look Once)是一种流行的实时目标检测算法,其核心思想是将目标检测任务转化为单次前向传播过程。在选择YOLO的主干网络时,需要考虑多个因素,如模型大小、计算成本、性能和实时性等。

MobileNetV3作为YOLO的主干网络具有以下可行性:

  1. 模型大小和计算成本:MobileNetV3具有较小的模型大小和较低的计算成本,这使得其能够满足实时目标检测的需求。在移动设备和嵌入式设备上,这些优势尤为明显。
  2. 性能:MobileNetV3具有较高的性能,能够准确地捕捉图像中的关键信息,并提取出有效的特征。这使得MobileNetV3能够作为YOLO的主干网络,提高目标检测的准确性。
  3. 实时性:MobileNetV3具有较快的推理速度,这使得其能够满足实时目标检测的需求。在YOLO算法中,实时性是一个非常重要的指标,MobileNetV3的快速推理速度能够保证YOLO算法的实时性。

替换MobileNetV3(基于MMYOLO)

如果想要使用在 MMPretrain 中实现的主干网络,需要先安装 MMPretrain

##官方提供的安装命令
##如果安装不成功的可以考虑直接把压缩包下载下来进行安装
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表,允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。 因此用户可以在 MMYOLO 中使用来自 MMDetection、MMClassification、MMSelfsup 的主干网络,而无需重新实现。

假设想将'MobileNetV3'作为 'yolov5' 的主干网络,则配置文件如下:

_base_ = './yolov5_s-v61_syncbn_8xb16-300e_coco.py'

# 导入 mmcls.models 使得可以调用 mmcls 中注册的模块
custom_imports = dict(imports=['mmpretrain.models'], allow_failed_imports=False)
checkpoint_file = 'https://download.openmmlab.com/mmclassification/v0/mobilenet_v3/convert/mobilenet_v3_small-8427ecf0.pth'  # noqa
widen_factor = 1.0
channels = [24, 48, 96]

model = dict(
    backbone=dict(
        _delete_=True, # 将 _base_ 中关于 backbone 的字段删除
        type='mmpretrain.MobileNetV3', # 使用 mmcls 中的 MobileNetV3
        arch='small',
        out_indices=(3, 8, 11), # 修改 out_indices
        init_cfg=dict(
            type='Pretrained',
            checkpoint=checkpoint_file,
            prefix='backbone.')), # MMCls 中主干网络的预训练权重含义 prefix='backbone.',为了正常加载权重,需要把这个 prefix 去掉。
    neck=dict(
        type='YOLOv5PAFPN',
        widen_factor=widen_factor,
        in_channels=channels, # 注意:MobileNetV3-small 输出的3个通道是 [24, 48, 96],和原先的 yolov5-s neck 不匹配,需要更改
        out_channels=channels),
    bbox_head=dict(
        type='YOLOv5Head',
        head_module=dict(
            type='YOLOv5HeadModule',
            in_channels=channels, # head 部分输入通道也要做相应更改
            widen_factor=widen_factor))
)

  • 47
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YOLOv8是目标检测领域中的一种经典算法,其以速度快和准确性高而受到广泛关注。在YOLOv8的主干网络上,我们可以进行一些改进来提升其在低照度环境下的性能。 低照度条件下,图像通常会受到噪声的影响,目标的细节和边缘信息可能会被模糊或者丢失,导致目标检测精度受到影响。为了克服这个问题,我们可以引入低照度增强网络来对输入图像进行预处理。低照度增强网络可以根据图像的特点对其进行自适应地增强,提升图像的亮度和对比度,减少噪声的干扰。这样可以使得图像中的目标更加清晰可见,有助于提高YOLOv8的检测精度。 在主干网络的选择方面,我们可以考虑使用Pe-YOLO来替代YOLOv8原有的主干网络。Pe-YOLO是一种经过优化的主干网络,其在保持YOLOv8原有速度优势的同时,能够提升在低照度环境下目标检测的性能。Pe-YOLO采用了一些先进的网络结构和设计技巧,例如注意力机制和残差连接,使得主干网络具有更好的图像特征提取能力和抗干扰能力。 通过将Pe-YOLO用于YOLOv8的主干网络,可以加强对低照度环境下目标的探测能力,提升检测的准确率和鲁棒性。此外,我们还可以对Pe-YOLO进行训练,使其能够更好地适应低照度条件下目标的特征,进一步加强目标检测的效果。 总结而言,yolov8改进中的主干篇,我们可以通过引入低照度增强网络和选择Pe-YOLO作为主干网络来提升在低照度环境下的目标检测性能。这些改进可以有效地减少噪声干扰,提高目标的可见性,在大幅度提升速度的同时,保证准确率和鲁棒性,使得yolov8在低照度条件下仍能取得出色的检测效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值