YOLOV5/YOLOV8改进：更换Next-vit主干：用于现实工业场景的下一代视觉 Transformer

最新推荐文章于 2023-12-11 23:35:43 发布
最新推荐文章于 2023-12-11 23:35:43 发布
阅读量577 收藏 2
点赞数
分类专栏： YOLOV5/YOLOV7/YOLOV8改进 文章标签： YOLO 深度学习 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/131578148
版权
本文介绍了如何基于YOLOv5和YOLOv8，利用Next-ViT改进模型，实现更快且更强大的计算机视觉性能。Next-ViT设计了新的Block——NCB和NTB，以捕获局部和全局信息，并通过NHS实现有效的混合范式。实验显示Next-ViT在TensorRT和CoreML上的延迟/准确性权衡表现优越，尤其在COCO检测和ADE20K分割任务中。
摘要由CSDN通过智能技术生成

  

论文地址

由于复杂的注意机制和模型设计，大多数现有的视觉变形器(vit)不能像卷积神经网络(cnn)那样高效地执行任务。在实际的工业部署场景中，例如TensorRT和CoreML。这就提出了一个明显的挑战:视觉神经网络能否设计得像cnn一样快并像vit一样强大吗?在这些工作中，我们提出了在现实工业场景中有效部署的下一代视觉变压器，即next - vit，从延迟/精度权衡的角度来看，它在cnn和vit中都占主导地位。下一个卷Block (NCB)和Next Transformer Block (NTB)分别用于通过部署友好机制捕获本地和全局信息。然后，下一个混合战略(NHS)的目的是堆叠NCB和NTB一个有效的混合范式，它提高性能各种下游任务。大量实验表明，Next-ViT显著优于现有的cnn、vit和CNN-Transformer的混合架构各种视觉任务之间的延迟/准确性权衡。在TensorRT, Next-ViT超过ResNet 5.5 mAP (from40.4 ~ 45.9)， mIoU为7.7%(从38.8%到46.5%)在ADE20K分割下相似延迟。同时，达到了相当的性能，而推理速度则由3.6×。在CoreML上，Next-ViT超过了EfficientFormer4.6 mAP(从42.6到47.2)对COCO检测和3.5%在类似的延迟下，ADE20K分段的mIoU(从45.1%到48.6%)。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Yolov8轻量级：Next-vit，用于现实工业场景的下一代视觉 Transformer
06-05 1352
提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer，即 Next-ViT。Next-ViT 能像 CNN 一样快速推断，并有 ViT 一样强大的性能。
Yolov8轻量级：EfficientViT，基于级联分组注意力模块的全新实时网络架构，better speed and accuracy | CVPR2023
05-31 1993
yolov5引入cvpr2023 EfficientViT，加入backbone，涨点明显。高效ViT模型EfficientViT。它以EfficientViT block作为基础模块，每个block由三明治结构 (Sandwich Layout) 和级联组注意力（Cascaded Group Attention, CGA）组成。
字节提出Next-ViT：工业场景中高效部署的下一代视觉Transformer
阿木寺的博客
07-18 1367
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：集智书童Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios论文：https://arxiv.org/a...
Next-ViT: Next Generation Vision Transformer
zephyr_wang的博客
02-17 499
ResNet倾向于捕获高频信号，而对低频信号较困难。ViT（Swin）倾向于捕获低频信号，忽略高频信号。而Next-ViT同时捕获高低频
CodeChef-Recruitment-Portal:用于CodeChef-VIT的2019核心招聘门户网站
05-02
用于CodeChef-VIT的2019核心招聘门户网站。 商标 链接 要求 该项目的源代码是用HTML/CSS/JS, Node.js 。 因此，您需要安装npm和Node.js才能与MongoDB帐户一起运行此项目。 运行说明 $ git clone ...
YOLOv7: Trainable bag-of-freebies sets new state-of-th
04-19
XL级联掩模R-CNN（8.6 FPS A100，AP为55.2%，AP为551%，准确率为0.7%，以及YOLOv7在速度和精度方面优于：YOLOR，YOLOX，Scaled-YOLOv4，YOLOv5，DETR，可变形DETR，DINO-5scale-R50，ViT-Adapter-B和许多其他对象...
MeDrone:DevSpcae hack-VIT
03-21
【标题】"MeDrone:DevSpace Hack-VIT" 是一个与编程竞赛或黑客马拉松相关的项目，可能由VIT（Vellore Institute of Technology）组织。这个标题暗示了一个名为"MeDrone"的无人机项目，它与DevSpace平台的开发或破解...
hugging face的models-openai-clip-vit-large-patch14文件夹
10-25
用于无法访问hugging face并需要运行stable-diffusion-webui时使用
视觉中的Transformer-VIT模型实战
05-27
视觉中的Transformer-VIT模型实战 Transformer 模型自从其提出以来，在自然语言处理（NLP）领域中得到了广泛应用。然而，Transformer 模型也可以应用于计算机视觉（CV）领域，例如图像分类任务。在本章中，我们将...
Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenar
qq_52302919的博客
11-17 1214
由于复杂的注意力机制和模型设计，大多数现有的视觉Transformer（ViT）在现实的工业部署场景（如TensorRT和CoreML）中不能像卷积神经网络（CNN）那样高效地执行。视觉神经网络能否设计得像神经网络一样快速地进行推理，并且表现得像ViT一样强大？本文提出了一种用于在现实工业场景中高效部署的下一代Transformer，即Next-ViT，从延迟/准确性权衡的角度来看，它同时主导了CNN和ViT。下一代卷积块（NCB）和下一代变换块（NTB）分别用于通过部署友好机制捕获局部和全局信息。然后，下
Yolov5/Yolov7改进CVPR2023 FasterNet远超ShuffleNet、MobileNet、MobileViT，引入PConv结构map涨点的同时进一步降低参数量
03-16 5069
Yolov5/Yolov7改进CVPR2023主干FasterNet PConv，​ 在yolov5 ​工业油污缺陷检测检测项目PConv map从0.740提升至0.764，涨点明显，博主多个数据集亲测有效，实现暴力涨点； ​
Yolov8小目标检测（21）：轻量级注意力MobileViTAttention | ECCV2022
09-07 873
MobileViTAttention | 亲测在红外弱小目标检测涨点明显，map@0.5 从0.755提升至0.799
YOLOv8改进 | 主干篇 | 添加EfficientViT替换Backbone（高效的视觉变换网络，改进策略）
最新发布
Snu77的博客
12-11 6556
本文给大家带来的改进机制是（高效的视觉变换网络），EfficientViT的核心是一种轻量级的多尺度线性注意力模块，能够在只使用硬件高效操作的情况下实现全局感受野和多尺度学习。本文带来是2023年的最新版本的EfficientViT网络结构，论文题目是'EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction'这个版本的模型结构(这点大家需要注意以下)。
YoloV8改进策略：FastVit与YoloV8完美融合，重参数重构YoloV8网络（全网首发）
m0_47867638的博客
09-05 6593
FastViT是一种混合ViT架构，它通过引入一种新型的token混合运算符RepMixer来达到最先进的延迟-准确性权衡。RepMixer通过消除网络中的跳过连接来降低内存访问成本。FastViT进一步应用训练时间过度参数化和大核卷积来提高准确性，并根据经验表明这些选择对延迟的影响最小。实验结果表明，FastViT在移动设备上的速度比最近的混合Transformer架构CMT快3.5倍，比EfficientNet快4.9倍，比ConvNeXt快1.9倍。
论文笔记 《Next-ViT: Next Generation Vision Transformer for Efficient Deployment inRealistic Industrial 》
MarvinP的博客
09-04 332
在这些工作中，我们提出了在现实工业场景中有效部署的下一代愿景变压器，即next - vit，它从延迟/精度权衡的角度主导了CNNs和vit。主要就是介绍了CNN在视觉领域还是占据主导，但是相比较于Transformer在大数据集的精度上还是有所欠缺，不过Transformer在实际应用中相较于CNN速度太慢，主要原因是：MHSA多头自注意力的计算复杂度太高，和LN和GELU的低效，而且Transformer的模型设计也很复杂，导致频繁的访问内存和复制。可能这就是它高效的由来，再加上BN。...
主干网络篇 | YOLOv8 更换主干网络之 MobileViT |《轻巧、通用、便于移动的视觉转换器》
YOLOv8项目贡献者
07-09 4069
YOLOv8 更换主干网络之 MobileViT 包含 xxs xs s 三个版本
YOLOv8升级之MobileViT：轻巧、通用、便于移动的视觉转换器
一直在水些技术小文
09-20 753
MobileViT 是一种轻量级的视觉转换器（Vision Transformer），其核心思想是利用自注意力机制来捕捉图像的全局信息。相对于传统的 CNN，MobileViT 更具通用性，并且在参数量和计算资源需求上更为节省，使其成为移动设备上进行目标检测的理想选择。MobileViT 将图像分成小块，然后使用自注意力机制来建立块之间的联系。
Next-ViT学习笔记
charles_zhang_的博客
08-01 3073
由于复杂的注意力机制和模型设计，大多数现有的视觉变换器（VIT）在现实的工业部署场景（例如TensorRT和CoreML）中的性能不如卷积神经网络（CNN）。视觉神经网络的设计能否像CNN一样快速推断，并像VIT一样强大？最近的工作试图设计CNN-Transformer混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。为此，我们提出了一种新一代视觉Transformer，用于在现实工业场景中高效部署，即Next-ViT，从延迟/准确性权衡的角度来看，它在CNN和ViT中占主导地位。。...
Next-ViT论文详解
tantanweiwei的专栏
12-14 756
由于复杂的注意力机制和模型设计，大多数现有的ViTs在现实的工业部署场景中不能像CNNs那样高效地执行，例如TensorRT和CoreML。视觉神经网络能否设计为与CNN一样快的推理和与ViT一样强大的性能？最近很多工作试图设计CNN-Transformer混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。为了结束这些，本文作者提出了在现实工业场景中有效部署的，即Next-ViT，从延迟/准确性权衡的角度来看，它在CNN和ViT中均占主导地位。
V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer
04-04
V2X-ViT is a novel approach to cooperative perception in autonomous vehicles that leverages the power of Vision Transformers (ViT) to improve communication between vehicles and the surrounding ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值