YOLOv5改进系列（22）——替换主干网络之MobileViTv1（一种轻量级的、通用的移动设备 ViT）

已于 2023-08-22 15:04:09 修改
阅读量3.2k 收藏 4
点赞数 6
分类专栏： YOLOv5入门＋实践＋改进 文章标签： YOLO 目标检测 计算机视觉 深度学习 人工智能
于 2023-08-20 12:25:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43334693/article/details/132367429
版权
本文介绍了MobileViT v1，一种由苹果提出的轻量级、适用于移动设备的视觉Transformer，它结合了CNN和ViT的优点。MobileViT在移动视觉任务中表现出色，优于传统CNN和ViT网络。文章详细阐述了MobileViT的网络结构，包括MV2模块和MobileViTblock，并提供了将其集成到YOLOv5的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

962f7cb1b48f44e29d9beb1d499d0530.gif【YOLOv5改进系列】前期回顾：

YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析

YOLOv5改进系列（1）——添加SE注意力机制

YOLOv5改进系列（2）——添加CBAM注意力机制

YOLOv5改进系列（3）——添加CA注意力机制

YOLOv5改进系列（4）——添加ECA注意力机制

YOLOv5改进系列（5）——替换主干网络之 MobileNetV3

YOLOv5改进系列（6）——替换主干网络之 ShuffleNetV2

YOLOv5改进系列（7）——添加SimAM注意力机制

YOLOv5改进系列（8）——添加SOCA注意力机制

YOLOv5改进系列（9）——替换主干网络之EfficientNetv2

​​​​​​YOLOv5改进系列（10）——替换主干网络之GhostNet

YOLOv5改进系列（11）——添加损失函数之EIoU、AlphaIoU、SIoU、WIoU

YOLOv5改进系列（12）——更换Neck之BiFPN

YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等

YOLOv5改进系列（14）——更换NMS（非极大抑制）之 DIoU-NMS、CIoU-NMS、EIoU-NMS、GIoU-NMS 、SIoU-NMS、Soft-NMS

YOLOv5改进系列（15）——增加小目标检测层

YOLOv5改进系列（16）——添加EMA注意力机制（ICASSP2023|实测涨点）

YOLOv5改进系列（17）——更换IoU之MPDIoU（ELSEVIER 2023|超越WIoU、EIoU等|实测涨点）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv5算法改进（12）— 如何去更换主干网络（1）（包括代码+添加步骤+网络结构图）
突然好想你
10-19 1306
本篇文章通过案例的方式给大家讲解如何在YOLOv5算法中更换主干网络，文章的特色就是比较浅显易懂，附加了很多的网络结构图，通过结构图的形式向大家娓娓道来，希望大家学习之后能够有所收获！🌈
YOLOv5改进系列（24）——替换主干网络之MobileViTv3（移动端轻量化网络的进一步升级）
路人贾的博客
09-25 4610
YOLOv5改进系列，替换主干网络之MobileViTv3（移动端轻量化网络的进一步升级）
替换YOLOv5主干网络
Kelly_Ai_Bai的博客
12-17 1228
可以看到 vgg16 模型主要由 feature (特征提取层：做特征提取) 、avgpool (池化层) 以及 classifier (分类层) 组成，要替换YOLOv5的主干网络，其实就是要将YOLOv5的特征提取层用vgg16的特征提取层进行替换。如图所示，可以看到 torchvision.models 下面有很多模型, 比如 vgg16,resnet50,AlexNet,resnet18等等，在这里我选择 vgg16 模型 来替换YOLOv5的主干网络。首先写一个 demo.py 文件来查看。
[深度学习]如何替换YoloV5的主干网络:Flexible-Yolov5
热门推荐
qq_30017409的博客
03-08 1万+
Flexible-Yolov5:可自定义主干网络的YoloV5工程实践 本文目录： 概述 理论学习 准备自己的数据集 修改、调整自定义的主干网络 部署训练 一、概述 YoloV5的主干网络是优秀的，但是许多时候默认的DarkNet并不能满足我们的需求，包括科研、立项时需要更多的创新性。而Yolo框架出色的集成了许多目标检测相关的功能与输出，很容易让人联想到在Yolo框架下替换掉DarkNet来测试自己的网络性能水平。 说两句题外话： Yolo只不过是目标检测的入门框架，可轻松上手，请不要在未持有深度学习
YOLOv5-7.0改进（一）MobileNetv3替换主干网络
mw的博客
05-03 7500
本篇博客主要讲解YOLOv5主干网络的替换，使用MobileNetv3实现模型轻量化，平衡速度和精度。以下为改进的具体流程~
YOLOV5目标检测换多种主干的方法（含shufflenet，ghost net，mobilenet，resnet等）
weixin_57111012的博客
11-03 7140
其实换主干是一个较为简单的操作方法，但是很多新手可能不太会，或者其中可能会出现一些问题，那我对这些问题归纳出三步走换主干的方法，以便和大家分享交流。我们这里以yolov5s为例。
【人工智能学习之YOLOV5更换主干网络】
Jiagym的博客
06-24 633
更换GhostNet主干网络比较简单，因为models/common.py里面已经写好了相关类的定义，如下图。最后在调用yaml文件时将原本的yoloXX.yaml切换为shufflenet.yaml即可。最后在调用yaml文件时将原本的yoloXX.yaml切换为mobilenet.yaml即可。最后在调用yaml文件时将原本的yoloXX.yaml切换为ghostnet.yaml即可。MobileNet的添加我们采取另一种方式。所以我们直接配置yaml文件即可。
YOLOv5改进系列（32）——替换主干网络之PKINet（CVPR2024 | 面向遥感旋转框主干，有效捕获不同尺度上的密集纹理特征）
路人贾的博客
07-08 2807
YOLOv5改进系列（32）——替换主干网络之PKINet（CVPR2024 | 面向遥感旋转框主干，有效捕获不同尺度上的密集纹理特征）
YOLOv8改进 | 主干篇 | 轻量化网络MobileViTv1改进YOLOv8助力轻量化模型
Snu77的博客
03-29 3418
本文给大家带来的改进机制是MobileViT系列的V1版本，其作为MobileNet网络的挑战者，其效果自然不用多说，MobileViT模型是为移动设备设计的轻量级、通用目的视觉变换器。它融合了卷积神经网络（CNN）和视觉变换器（ViT）的优势，旨在在保持高效性能的同时减少模型参数和降低延迟。通过其创新的MobileViT Block和多尺度训练方法，MobileViT在多个视觉任务上取得了优异的结果欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
YOLOv5改进系列（23）——替换主干网络之MobileViTv2（移动视觉 Transformer 的高效可分离自注意力机制）
路人贾的博客
08-23 2491
YOLOv5改进系列之替换主干网络之MobileViTv2，移动视觉 Transformer 的高效可分离自注意力机制
YOLOV5的多主干网络（backbone）实现.zip
03-05
# 复现TPH-YOLOv5 # 支持的backbone为Ghostnet、Shufflenetv2、Mobilenetv3Small、EagleEye、EfficientNetLite-0、PP-LCNet-1x、SwinTrans-YOLOv5
flexible-yolov5:具有更多主干（resnet，shufflenet，moblienet）的更具可读性和灵活性的yolov5
03-26
flexible-yolov5 基于 。 原始的Yolo V5是一个了不起的项目。 对于专业人士而言，理解和修改其代码应该不难。 我不是专家。 当我想对网络进行一些更改时，这并不是一件容易的事，例如添加分支和尝试其他骨干网。 也许会有像我这样的人，所以我将yolov5模型拆分为{主干，脖子，头部}，以方便各种模块的操作并支持更多的主干。基本上，我只更改了模型，而没有更改架构，培训和测试yolov5。 因此，如果原始代码被更新，则更新该代码也非常方便。 目录 [培训与测试]（＃培训与测试） 特征 重组骨干，脖子，头部等模型结构，可以灵活方便地修改网络 更多主干，mobilenetV3，shufflenetV2，resnet18、50、101等 先决条件 请参阅requirements.txt 入门 数据集准备 以yolov5格式制作数据。 您可以使用utils / make_yolov5
使用MobileViT替换YOLOv5主干网络
qq_43448116的博客
10-28 6475
相比较于其他的transformer变体，MobileViT这篇文章给出的改动技巧很简单高效，它解决的ViT中因为像素摊平操作导致的位置信息损失问题，将卷积的局部信息提取优势和自注意力机制的全局信息提取能力结合起来，并且根据论文描述具有高度轻量化+极快的推理速度，具体的大佬们自己去读读，本菜鸡好久之前读的了，印象不是很深了…1、由于transformer自注意力机制结构中存在大量的矩阵乘操作，对内存的消耗特别大，如果显卡显存不是特别大，建议将。话不多说，直入主题吧！
YOLOv5改进实战 | 更换主干网络Backbone（一）之轻量化网络Ghostnet
w94ghz的博客
10-13 1万+
【修改yolov5】给yolov5更换主干网络ShuffleNetv2
PLH19990227的博客
03-15 6256
从图中可以很明显的看到（蓝色框）更换了主干网络 后的网络的参数和GFLOPs都有很大的下降。但是我对我实验的结果保持怀疑态度，因为在我训练的过程中，总是会有警告说nms限制10秒（好像是这个意思）但是我的都超过了10秒了，这应该对识别的速度以及精度都会造成影响，所以我什么时候才能换上新电脑啊！看了迪导给yolov5网络更换主干网络ShuffleNetv2的操作后，跟着他的操作步骤更换了我自己正在学习的yolov5网络的主干，并在最后用改过后的网络跑了一下自己的数据集。接下来要做的就是修改配置文件了。
【YOLOv5进阶】——替换主干网络（backbone）-MobileNet为例
weixin_51658186的博客
07-08 1894
替换网络主体，即配置文件中的backbone，这里以轻量级网络MobileNet的替换为例，替换后网络参数数量降低了近一半，速度快了1倍左右，但训练效果指标相比之前不佳。
yolov5更换MobileNetV3的主干网络
m0_53291740的博客
08-08 1271
1. 宽度为0.5的mobilenetv2网络的结构图在主干网络上面可以重新定义成三层，编号从0开始如图是MobileNetV3 的网络结构，要想重新定义的画需要保持每次输出图片的大小不变定义MobileNetV3 的代码如下，我们可以分为3层 test_MobileNetV3.pyif n == 0:if n == 1:if n == 2:if n == 3:feature代表的含义。
YOLOv5改进实战 | 更换主干网络Backbone之轻量化网络EMO，结合 CNN 和 Transformer 的现代倒残差移动模块设计
w94ghz的博客
10-16 1402
YOLOv5中MobileViT主干网络的替换及计算机视觉
LgvrApplescript的博客
09-17 405
通过将MobileViT应用于YOLOv5，我们可以在保持较高检测精度的同时减少模型的大小和计算复杂度。总结而言，本文介绍了如何将YOLOv5中的主干网络替换为MobileViT，并提供了相应的源代码示例。通过这样的替换，我们可以在保持较高的检测精度的同时，减少模型的大小和计算复杂度，从而提升YOLOv5在计算机视觉任务中的应用性能。通过使用MobileViT作为YOLOv5的主干网络，我们可以在一定程度上减少模型的参数量和计算复杂度，从而提高模型的推理速度和适用性。
yolov8改进主干网络vit
最新发布
01-22
### 将ViT集成到YOLOv8中的策略 为了在YOLOv8中引入Vision Transformer (ViT)，可以考虑采用混合架构设计，其中传统卷积神经网络(CNN)与基于Transformer的模块相结合。这种组合能够充分利用CNN捕捉局部特征的能力和Transformer处理全局依赖的优势。 #### 1. 替换部分卷积层为ViT Block 可以在YOLOv8骨干网的部分深层位置替换传统的卷积操作为ViT块。具体来说，在保持早期阶段使用标准卷积提取基础特征的同时，在更深层次处逐步过渡至ViT结构[^2]。这样做不仅保留了原始模型对于边缘、纹理等细节信息的有效获取能力，同时也增强了对复杂模式的理解力。 ```python from ultralytics import YOLO import torch.nn as nn class HybridBackbone(nn.Module): def __init__(self, base_model='yolov8'): super(HybridBackbone, self).__init__() # 加载预训练好的YOLOv8作为基底 yolov8 = YOLO(base_model).model # 假设我们只替换了最后几个stage stages_to_replace = ['backbone.stage3', 'backbone.stage4'] replaced_modules = {} for name, module in yolov8.named_children(): if any(stage_name in name for stage_name in stages_to_replace): # 这里简单示意用ViTBlock代替原有module replaced_modules[name] = ViTBlock() # 更新后的模型字典 updated_dict = {k:v for k,v in list(yolov8.state_dict().items()) + [(f'{n}.weight', m.weight.data.clone()) for n,m in replaced_modules.items()]} yolov8.load_state_dict(updated_dict) self.model = yolov8 def forward(self, x): return self.model(x) ``` #### 2. 设计专用的Neck Module 考虑到目标检测任务的特点，还需要特别关注如何有效地融合来自不同尺度的感受野信息。为此，建议构建专门针对此目的优化过的neck组件，比如FPN（Feature Pyramid Network）或PANet（Path Aggregation Network），并在此基础上加入跨尺度交互机制以促进多级表征之间的交流[^1]。 #### 3. 调整输入分辨率与Patch Size 由于ViTs通常工作于较高分辨率下，并且其patch size的选择也会影响最终性能表现，所以在实际应用过程中应当仔细调整这两个参数直至找到最佳配置方案。一般而言，较小尺寸的patches有助于提高空间分辨精度；而较大尺寸则有利于加快计算速度但可能会牺牲一些细粒度的信息[^3]。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路人贾'ω'

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值