MobileViT 网络测试

已于 2022-04-11 18:51:25 修改
阅读量2.2k 收藏 1
点赞数 1
分类专栏： 深度学习宝典 文章标签： pytorch 深度学习
于 2021-10-09 17:28:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/120675460
版权
本文介绍了MobileViT，这是一种结合了CNN和Transformer的轻量级网络，适用于移动端，并在多个任务和数据集上展现出优越性能。尽管推理速度较传统CNN慢，但其精度更高。MobileViT在ImageNet-1k上达到78.4%的Top-1准确率，超过MobileNetv3和DeiT。此外，还提到了预训练模型和第三方实现，以及在MS-COCO目标检测任务中的优秀表现。
摘要由CSDN通过智能技术生成

mobilevit-pytorch/mobilevit.py at master · chinhsuanwu/mobilevit-pytorch · GitHub

MobileFormer 与上面的不太一样：

https://github.com/slwang9353/MobileFormer

实时Transformer类轻量型MobileViT

本文应该是首次将CNN+Transformer的组合做到了端侧实时，而且不局限于分类任务，同时还将检测与分割等纳入考虑范畴，实乃近期为数不多的好文之一。当然，速度比起来CNN来肯定还是要慢一些的。比如：3.5M参数量的MobileNetV2推理速度仅需0.92ms，精度为73.3；而MobileViT的参数量为2.3M，推理速度为7.28ms，精度为74.8。比较遗憾的是，MobileVi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
【YOLOv8改进】MobileViT 更换主干网络： 轻量级、通用且适合移动设备的视觉变压器
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
03-23 1505
轻量级卷积神经网络（CNNs）已成为移动视觉任务的事实标准。它们的空间归纳偏差使它们能够跨不同视觉任务学习具有更少参数的表示。然而，这些网络在空间上是局部的。为了学习全局表示，基于自注意力的视觉Transformer（ViTs）已被采纳。与CNNs不同，ViTs是重量级的。在本文中，我们提出以下问题：是否可能结合CNNs和ViTs的优势构建一个轻量级且低延迟的网络用于移动视觉任务？为此，我们介绍了MobileViT，一个面向移动设备的轻量级通用视觉Transformer。
MobileVIT：更轻量级，更通用的对移动端更友好的VIT
weixin_43921949的博客
10-03 1956
将VIT轻量化
ViT网络
qq_56881353的博客
12-19 315
https://arxiv.org/pdf/2010.11929.pdf
MobileVIT:LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFOR(轻便、通用、移动友好的视觉转换器)
m0_57497923的博客
07-19 1820
基于自我注意的模型，尤其是视觉转换器（ViTs;图1a;Dosovitskiy等人，2021）是卷积神经网络（CNNs）的替代方案，用于学习视觉表示。简言之，ViT将图像划分为一系列不重叠的小块，然后在变换器中使用多头自注意来学习小块间的表示（Vaswani等人，（2017年版）。一般的趋势是增加ViT网络中的参数的数量以提高性能（例如，Touvron等，2021 a;格雷厄姆等人，2021;Wu等人，2021年）的报告。然而，这些性能改进是以模型大小（网络参数）和延迟为代价的。
MobileViT
Le0v1n 的博客
11-06 1249
MobileViT论文
【MobileViT】
szhizhi的博客
07-11 4128
MobileViT系列文章研读
MobileViT代码
08-20
MobileViT网络，将 CNN 和 ViT 的优势结合起来。在轻量的基础上具有可以处理全局信息的能力。 实验结果表明：在不同的任务和数据集上，MobileViT明显优于基于cnn和viti的网络。在ImageNet-1k数据集上，MobileViT在约...
YOLOV5 改进【更换骨干网络为mobileVIT】：电动车、摩托车违规目标图像检测
最新发布
09-09
YOLOV5 改进【更换骨干网络为mobileVIT】：电动车、摩托车违规目标图像检测 【如何训练】和yolov5一样的训练方法，摆放好datasets数据，然后更改yaml文件中的类别信息即可训练 【数据集】（数据分为分为训练集和...
YOLOv9改进：MobileViT网络改进
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-14 36
💡本篇文章 基于 YOLOv5、YOLOv7、YOLOv7-tiny 等网络：首发最新结合 MobileViTv3 系列最强版本！：轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征, 本文将结合YOLO系列应用。
轻量化网络结构MobileViT
年轻即出发，
10-19 3025
论文：MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMER Github：https://github.com/chinhsuanwu/mobilevit-pytorch 2021，苹果公司 传统的视觉transformers（ViTs），主要是在transformer中嵌入cnn，而本文基于在cnn中嵌入transformers，即在mobilenetv2中嵌入transforme...
Mobile-ViT (MobileViT)网络讲解
chase
10-18 9820
Mobile-ViT (MobileViT)网络讲解
MobileVIT实战：使用MobileVIT实现图像分类
AI浩
05-01 3063
MobileVIT实战 论文地址：https://arxiv.org/abs/2110.02178 官方代码：https://github.com/apple/ml-cvnets 本文使用的代码来自：https://gitcode.net/mirrors/rwightman/pytorch-image-models，也就是大名鼎鼎的timm。 目前，Transformer已经霸榜计算机视觉各种任务，但是缺点也很明显就是参数量太大无法用在移动设备，为了解决这个问题，Apple的科学家们将CNN和VIT的优势结
经典文献阅读之--MobileViT(轻量级、通用且移动友好的网络框架)
lovely_yoshino的博客
06-26 9111
轻量级卷积神经网络（CNNs）已成为移动视觉任务的标准选择。它们的空间归纳偏置使得它们能在各种视觉任务中通过较少的参数学习表示。然而，这些网络在空间上具有局部性。为了学习全局性表示，人们开始采用基于自注意力机制的视觉Transformer（ViTs）。不同于CNNs，ViTs模型较大。在《》文中，我们探讨了这样一个问题：是否可以结合CNNs和ViTs的优点，为移动视觉任务构建一个轻量级且延迟低的网络？为此，我们介绍了MobileViT，一种适用于移动设备的轻量级和通用视觉Transformer。
轻量级 Vision Transformer - MobileViT
u014546828的博客
10-14 3205
MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer Sachin Mehta Apple Mohammad RastegariApple Abstract Light-weight convolutional neural networks (CNNs) are the de-factofor mobile vision task...
【文献解读】“MOBILEViT：轻量级、通用目的、移动友好的视觉变换器”。
qq_60245590的博客
01-13 2456
作者：Sachin Mehta 和 Mohammad Rastegari。地点：作者所属机构是 Apple。内容简述提出了一种名为MobileViT的视觉变换器，它是为移动设备设计的轻量级、通用目的的卷积神经网络（CNN）。MobileViT旨在结合CNN和ViTs的优势，旨在构建一个轻量级和低延迟的移动视觉任务网络。
Apple新作MobileViT：轻量通用且适合移动端的视觉Transformer！
阿木寺的博客
10-09 3184
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童MobileViT: Light-weight, General-purpose, and Mobile...
yolov8更改骨干网络mobilevit
12-30
将YOLOv8中的骨干网络更改为MobileViT的主要目的是为了减少计算和内存资源的消耗，使得YOLOv8的目标检测模型更加适合在资源受限的设备上运行。 MobileViT是基于ViT（Vision Transformer）的改进版本，它使用...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值