芒果YOLOv7改进33：主干篇：改进主干ViT系列：全网首发最新 ICLR2022 顶会|轻量通用的MobileViT结构（一）Transformer，轻量级、通用且移动友好的视觉转换器，高效涨点

已于 2024-03-27 19:14:40 修改
阅读量3.1k 收藏 9
点赞数 4
分类专栏： 芒果YOLOv7原创改进 文章标签： transformer 深度学习 人工智能
于 2022-11-11 22:22:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38668236/article/details/127809514
版权
芒果YOLOv7原创改进 同时被 2 个专栏收录
107 篇文章 74 订阅 ¥239.90 ¥399.90
订阅专栏
芒果改进YOLO进阶指南
65 篇文章 621 订阅 ¥299.90 ¥399.90
订阅专栏
本文介绍了如何将ICLR2022顶会的MobileViT结构，一种轻量、通用且适用于移动设备的Transformer，与YOLOv7和YOLOv7-tiny模型结合进行改进。MobileViT融合了CNN和Transformer的优势，实现更低延迟和更优性能。文中详细阐述了MobileViT的理论基础、网络设计以及与CNN和ViT的对比，还提供了结合YOLOv7系列模型的核心代码和网络配置。
摘要由CSDN通过智能技术生成
  • 💡该教程为改进进阶指南，包含大量的原创首发改进方式, 所有文章都是全网首发原创改进内容🚀，本篇是MobileViT系列三个版本中的第一版论文 结合YOLOv7、YOLOv5改进
    💡本篇文章 基于 YOLOv5、YOLOv7、YOLOv7-tiny 等网络：最新结合 ICLR2022 顶会|轻量通用的 MobileViT 结构 Transformer，轻量级、通用且移动友好的视觉转换器，MobileViT系列一,本文将结合YOLO系列应用。
  • 重点：🔥🔥🔥有不少同学已经反应 专栏的教程 提供的网络结构 在数据集上有效涨点!!!
  • 重点：🌟进阶专栏内容持续更新中🎈☁️🏅️，订阅了该专栏的读者务必·私信博主·加·全新创新点进阶交流群·群内不定时会发一些其他未公开的Tricks.
  • 本篇内容包括理论部分和YOLO改进结构代码，并提出首发原创X结构(其他地方没有)，进行改进
包含整个 MobileViT 系列（Transformer不同论文）

目前最新一共3个版本，分别是MobileViT模型、MobileViTv2模型、MobileViTv3模型，这是三篇不同的论文！！

文章目录

了解本专栏 订阅专栏 解锁全文
芒果汁没有芒果
关注
专栏目录
订阅专栏
YOLOv5、YOLOv8改进：MobileViT：轻量通用且适合移动端的视觉Transformer
weixin_45303602的博客
08-12 3404
MobileviT是一个用于移动设备的轻量级通用可视化，据作者介绍，这是第一次基于轻量级CNN网络性能的轻量级ViT工作，性能SOTA!。性能优于MobileNetV3、CrossviT等网络。轻量级卷积神经网络(CNN)是移动视觉任务的实际应用。他们的空间归纳偏差允许他们在不同的视觉任务中以较少的参数学习表征。然而，这些网络在空间上是局部的。为了学习全局表征，采用了基于自注意力的Vision Transformer(ViTs)。与CNN不同，ViT是heavy-weight。
芒果YOLOv7改进20：主干篇：全网首发最新 MobileViTv3 系列最强改进版本（三）｜轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征，高效涨点
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-11 6352
💡本篇文章 基于 YOLOv5、YOLOv7、YOLOv7-tiny 等网络：首发最新结合 MobileViTv3 系列最强版本！：轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征, 本文将结合YOLO系列应用。
MobileVIT:LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFOR(轻便、通用、移动友好的视觉转换器)
最新发布
m0_57497923的博客
07-19 1787
基于自我注意的模型，尤其是视觉转换器（ViTs;图1a;Dosovitskiy等人，2021）是卷积神经网络（CNNs）的替代方案，用于学习视觉表示。简言之，ViT将图像划分为一系列不重叠的小块，然后在变换器中使用多头自注意来学习小块间的表示（Vaswani等人，（2017年版）。一般的趋势是增加ViT网络中的参数的数量以提高性能（例如，Touvron等，2021 a;格雷厄姆等人，2021;Wu等人，2021年）的报告。然而，这些性能改进是以模型大小（网络参数）和延迟为代价的。
轻量化网络结构MobileViT
年轻即出发，
10-19 3018
论文：MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMER Github：https://github.com/chinhsuanwu/mobilevit-pytorch 2021，苹果公司 传统的视觉transformers（ViTs），主要是在transformer中嵌入cnn，而本文基于在cnn中嵌入transformers，即在mobilenetv2中嵌入transforme...
【YOLOv8改进】MobileViT 更换主干网络： 轻量级、通用且适合移动设备的视觉变压器
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
03-23 1481
轻量级卷积神经网络（CNNs）已成为移动视觉任务的事实标准。它们的空间归纳偏差使它们能够跨不同视觉任务学习具有更少参数的表示。然而，这些网络在空间上是局部的。为了学习全局表示，基于自注意力的视觉Transformer（ViTs）已被采纳。与CNNs不同，ViTs是重量级的。在本文中，我们提出以下问题：是否可能结合CNNs和ViTs的优势构建一个轻量级且低延迟的网络用于移动视觉任务？为此，我们介绍了MobileViT，一个面向移动设备的轻量级通用视觉Transformer。
改进YOLOv5系列：9.BoTNet Transformer结构的修改
热门推荐
包括YOLOv5、YOLOv7、YOLOv8等模型改进
08-14 1万+
目标检测小白科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
芒果YOLOv5改进46：主干Backbone篇之MobileViT：结合最新 ICLR2022 顶会|轻量通用的MobileViT结构（一）Transformer，轻量级、通用且移动友好的视觉转换器
包括YOLOv5、YOLOv7、YOLOv8等模型改进
09-29 3486
最新结合 ICLR2022 顶会|轻量通用的 MobileViT 结构 Transformer，轻量级、通用且移动友好的视觉转换器，MobileViT系列一, 本文将结合YOLO系列应用。
芒果YOLOv8改进42：主干Backbone篇之MobileViT：：结合最新 ICLR2022 顶会|轻量通用的MobileViT结构（一）Transformer，轻量级、通用且移动友好的视觉转换
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-15 511
YOLOv8改进主干MobileViT系列：结合最新 ICLR2022 顶会|轻量通用的MobileViT
芒果YOLOv10改进06：主干Backbone篇之MobileViT：结合最新 ICLR2022 顶会|轻量通用的MobileViT结构（一）Transformer，轻量级、通用且移动友好的视觉转换
包括YOLOv5、YOLOv7、YOLOv8等模型改进
06-08 45
YOLOv10改进：主干Backbone篇之MobileViT：结合最新 ICLR2022 顶会|轻量通用的MobileViT结构（一）Transformer，轻量级、通用且移动友好的视觉转换
MobileVIT实战：使用MobileVIT实现图像分类
04-27
目前，Transformer已经霸榜计算机视觉各种任务，但是缺点也很明显就是参数量太大无法用在移动设备，为了解决这个问题，Apple的科学家们将CNN和VIT的优势结合起来，提出了一个轻量级的视觉网络模型mobileViT。 根据论文中给出的Top-1成绩的对比结果，我们可以得出，xs模型参数量比经典的MobileNetV3小，但是精度却提高了7.4%,标准的S模型比ResNet-101，还高一些，但是参数量也只有ResNet-101的九分之一。这样的成绩可谓逆天了！ 本文从实战的角度出发，带领大家感受一下mobileViT，我们还是使用以前的植物分类数据集，模型采用MobileViT-S。
使用MobileViT替换YOLOv5主干网络
qq_43448116的博客
10-28 6045
相比较于其他的transformer变体，MobileViT这篇文章给出的改动技巧很简单高效，它解决的ViT中因为像素摊平操作导致的位置信息损失问题，将卷积的局部信息提取优势和自注意力机制的全局信息提取能力结合起来，并且根据论文描述具有高度轻量化+极快的推理速度，具体的大佬们自己去读读，本菜鸡好久之前读的了，印象不是很深了…1、由于transformer自注意力机制结构中存在大量的矩阵乘操作，对内存的消耗特别大，如果显卡显存不是特别大，建议将。话不多说，直入主题吧！
MobileViT网络详解（结合代码）
Orange_sparkle的博客
09-22 5785
自从2020年Vision Transformer的出现，计算机视觉领域就掀起了一股Transform热潮，但是随着越来越多的人了解并且应用它，就能发现ViT虽然强大，但是想要训练好ViT也是非常困难的。当前纯Transformer架构存在的一些问题：1）Transformer参数多，算力要求高2）Transformer缺少空间归纳偏置3）Transformer迁移到其他任务比较繁琐4）Transformer模型训练困难所以整篇文章的核心就是探讨这个问题。
Mobile-ViT (MobileViT)网络讲解
chase
10-18 9765
Mobile-ViT (MobileViT)网络讲解
YOLOv8升级之MobileViT：轻巧、通用、便于移动的视觉转换器
一直在水些技术小文
09-20 801
MobileViT 是一种轻量级的视觉转换器（Vision Transformer），其核心思想是利用自注意力机制来捕捉图像的全局信息。相对于传统的 CNN，MobileViT 更具通用性，并且在参数量和计算资源需求上更为节省，使其成为移动设备上进行目标检测的理想选择。MobileViT 将图像分成小块，然后使用自注意力机制来建立块之间的联系。
主干网络篇 | YOLOv8更换主干网络之MobileViT | 轻量、通用和适用移动设备
突然好想你
05-16 237
MobileViT是一种基于Transformer的轻量级视觉Transformer模型，适用于移动端设备上的图像分类任务。MobileViT是Google在2021年提出的一种新型视觉Transformer模型，相比于传统的卷积神经网络模型，它在准确性和速度上都有很好的表现。🌈
芒果YOLOv7改进28：主干篇：改进主干Conv2Former结构系列：超越ConvNeXt结构，原创结合Conv2Former改进结构，Transformer 风格的卷积网络视觉基线模型，高效涨点
包括YOLOv5、YOLOv7、YOLOv8等模型改进
01-26 6159
改进代码实践 ｜ YOLOv7 + Transformer 风格的卷积网络视觉模型
使用YOLOv7进行Transformer检测模型的TensorRT部署
jinfagang1211的博客
04-23 9523
最近有大佬开源了YOLOv7, 大概看了一眼， 支持DETR等模型的ONNX导出，并且可以进行tensorrt推理。但是原作者并没有开源对应的权重，也没有开源onnx推理的脚本。本文就依托YOLOv7这个项目，将DETR导出到onnx,并教大家如何使用这个onnx进行tensorrt的部署。 首先clone一下原项目： https://github.com/jinfagang/yolov7 DETR 权重推理验证 原来的项目其实也支持AnchorDETR,这个我没有测试，但是
MobileVIT学习笔记
charles_zhang_的博客
07-26 1610
轻型卷积神经网络（CNN）实际上是用于移动视觉任务的。他们的空间归纳偏差允许他们在不同的视觉任务中以较少的参数学习表征。然而，这些网络在空间上是局部的。为了学习全局表示，采用了基于自注意力的视觉变换器（VIT）。与CNN不同，VIT是重量级的。在本文中，我们提出了以下问题是否有可能结合CNN和ViTs的优势，为移动视觉任务构建一个重量轻、延迟低的网络？为此，我们介绍了MobileViT，一种用于移动设备的轻型通用视觉transformers。...
transformer vit
08-30
Transformer ViT（Vision Transformer）是一种使用Transformer模型处理计算机视觉任务的方法。传统的计算机视觉模型主要使用卷积神经网络（CNN），而ViT将Transformer模型引入视觉领域。 ViT通过将图像划分为一系列的图像拆分块（或称为图像补丁），然后将这些图像块转换为序列数据，以便Transformer模型能够处理。每个图像块通过一个线性投影层转化为序列中的一个向量表示。这些向量表示将作为输入序列传递给Transformer编码器，用于学习图像的特征表示。 ViT的一个关键组件是所谓的“位置嵌入”（position embeddings），它为每个输入图像块提供了位置信息。在Transformer模型中，位置嵌入用于捕捉序列中元素之间的相对位置关系。 通过使用Transformer模型，ViT可以学习到图像的全局特征，而不需要局部感知字段和卷积层。这使得ViT在处理大规模图像数据集时具有一定的优势，并且在某些计算机视觉任务上取得了很好的性能，如图像分类、目标检测和语义分割等。 需要注意的是，ViT对于较大的输入图像可能需要更多的计算资源和更长的训练时间，因此在实际应用中需要权衡计算资源和性能要求。同时，ViT也有一些改进版本，如DeiT（Distilled Vision Transformer）、Swin Transformer等，它们对ViT进行了改进和优化，以进一步提高性能和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

芒果汁没有芒果

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值