计算机视觉研究院 | EfficientViT：让ViT更高效部署实现实时推理（附源码）

最新推荐文章于 2025-03-02 21:25:40 发布
最新推荐文章于 2025-03-02 21:25:40 发布
阅读量1.2k 收藏 22
点赞数 21
分类专栏： Transformer专栏 文章标签： 计算机视觉 人工智能 transformer 深度学习 信息可视化 python github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_xmj/article/details/140049685
版权

本文来源公众号“计算机视觉研究院”，仅用于学术分享，侵权删，干货满满。

原文链接：EfficientViT：让ViT更高效部署实现实时推理（附源码）

Vision transformers由于其高建模能力而取得了巨大成功。然而，它们显著的性能伴随着沉重的计算成本，这使得它们不适合实时应用。

论文地址：https://arxiv.org/pdf/2305.07027.pdf

项目代码：https://github.com/microsoft/Cream/tree/main/EfficientViT

01 总  述

在今天分享中，研究者提出了一个名为EfficientViT的高速Vision transformers家族。我们发现，现有transformer模型的速度通常受到内存低效操作的限制，特别是MHSA中的张量整形和逐元函数。因此，研究者设计了一种具有三明治布局的新构建块，即在有效的FFN层之间使用单个存储器绑定的MHSA，这在增强信道通信的同时提高了存储

最低0.47元/天 解锁文章
Yolov5轻量级：EfficientViT，基于级联分组注意力模块的全新实时网络架构，better speed and accuracy |CVPR2023
05-19 2902
yolov5引入cvpr2023 EfficientViT，加入backbone，涨点明显。高效ViT模型EfficientViT。它以EfficientViT block作为基础模块，每个block由三明治结构 (Sandwich Layout) 和级联组注意力（Cascaded Group Attention, CGA）组成。
改进YOLO系列 | EfficientViT：用于高分辨率密集预测的多尺度线性注意力 | ICCV 2023
YOLOv8项目贡献者
04-04 854
本改进已融合到 YOLOv5-Magic 框架！
EfficientViT模型详解及代码复现
最新发布
hasakie的博客
03-02 719
确定可能的网络结构组合，包括不同类型的层、模块和连接方式。
CVPR 2023｜EfficientViT：让ViT更高效部署实现实时推理（附源码）
gzq0723的博客
06-17 4175
点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2305.07027.pdf项目代码：https://github.com/microsoft/Cream/tree/main/EfficientViT计算机视觉研究院专栏Column of Computer Vision Insti...
论文阅读——EfficientViT（cvpr2023）
weixin_43575791的博客
12-30 1841
每个阶段堆叠所提出的Ef ficientViT构建块，并且在每个子采样层，令牌的数量减少4倍（分辨率的2倍子采样）。为了实现高效的二次采样，提出了一种高效的ViT二次采样块，它也具有三明治布局，只是自注意层被倒置的残差块取代，以减少二次采样过程中的信息损失。典型的ViT主要继承了NLP变换器的设计策略，例如，使用Q、K、V投影的等效宽度，逐级增加头，并将FFN中的膨胀比设置为4。这表明在不同的头部中使用不同的通道分割特征，而不是像MHSA那样对所有头部使用相同的完整特征，可以有效地减少注意力计算冗余。
EfficientViT(2023CVPR)：具有级联组注意力的内存高效视觉Transformer!
m0_63294504的博客
09-25 2558
在本文中，作者对影响视觉Transformer推理速度的因素进行了系统分析，并提出了一种具有内存操作高效和级联组注意力的新型快速视觉Transformer系列，名为 EfficientViT。大量的实验证明了EfficientViT的功效和高速，并且在各种下游基准测试上也显示了其优越性。
【读点论文】EfficientViT: Enhanced Linear Attention for High-Resolution Low-Computation将softmax注意力转变为线性注意力
白水空空
09-26 4124
视觉transformer(ViT)在许多视觉任务中取得了显著的性能。然而，在针对高分辨率移动视觉应用时，ViT次于卷积神经网络(CNNs)。降低ViT在边缘设备上的部署成本至关重要。现有的方法(如Swin、PVT)将软最大注意限制在局部窗口内或降低键/值张量的分辨率以降低成本，牺牲了ViT在全局特征提取方面的核心优势。在这项工作中，本文提出了高效率的ViT架构，用于高分辨率低计算的视觉识别。。高效率vit在保持全局和局部特征提取能力的同时，享受线性计算复杂度。
EfficientViT: Enhanced Linear Attention forHigh-Resolution Low-Computation Visual Recognition
Recursions的博客
10-20 1062
我们建议通过在每个FFN层中插入一个额外的深度卷积来增强线性注意因此，我们不需要依赖线性注意来提取局部特征，避免了其在捕获局部特征方面的弱点，并利用了其在捕获全局特征方面的优势。表明线性注意是软极大度注意的有力替代方法，并且对硬件更友好，我们提出增强线性注意来解决线性注意的局部特征提取的局限性。现有的方法（如Swin、PVT）限制了局部窗口内的softmax attention，或降低键/值张量的分辨率，以降低成本，这牺牲了ViT在全局特征提取方面的核心优势。相比之下，软度注意的准确性变化不大。
【CVPR 2023】EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
m0_61899108的博客
10-03 7002
Vision Transformer由于其高度的建模能力而取得了巨大的成功。然而，它们的卓越性能伴随着沉重的计算代价，不适合于实时应用。本文提出了一个高速ViT，即EfficientViT。论文发现，现有的Transformer模型的速度通常受到访存效率低的操作的限制，尤其是在MHSA中的张量重塑和逐元素函数。因此，论文设计了一种新的三明治布局的构建块，即在有效的FFN层之间使用单个内存受限的MHSA，在增强通道通信的同时提高了访存效率。此外，注意力图在头部之间有很高的相似性，导致计算冗余。
EfficientViT: 高效视觉transformer与级联组注意力
AI浩
10-08 1763
由于视觉transformers具有高度的模型能力，因此它们在视觉任务上取得了巨大的成功。然而，这种出色的性能同时也伴随着沉重的计算成本，使得它们不适合用于实时应用。在这篇文章中，我们提出了一种名为EfficientViT的高效transformers系列。我们发现，现有transformer模型的运行速度通常受到内存效率低下的操作的限制，特别是多头自注意力机制（MHSA）中的张量重塑和逐元素函数。
EfficientViT-SAM
whaosoft143ai的博客
02-19 991
在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。作者设计了两系列模型，EfficientViT-SAM-L和EfficientViT-SAM-XL，它们在速度和性能之间提供了平衡。然而，SAM的图像编码器组件带来了显著的计算成本，导致高延迟，限制了在时间敏感场景中的实用性。特别是，在COCO数据集上，与SAM-ViT-H相比，EfficientViT-SAM在A100 GPU上实现了48.9倍的吞吐量提升，而mAP没有下降。 whaosoft
EfficientViT是什么？
m0_46583515的博客
09-20 1335
与卷积神经网络(CNN)相比，ViT具有更强的全局信息捕获能力和远程交互能力，特别是在扩大训练数据大小和模型大小时表现出优于CNN的准确性[3]，但是，在对高分辨率移动场景应用时，ViT不如CNN，此时便引入了EfficientViT，及高效率的ViT[4]。ViT(Vision Transformer)是2020年提出、于2021年发表的的将自然语言处理(NLP)领域的transformer引入自然语言处理(CV)领域用于分类的训练模型，在公开数据集的训练中超过了Res，且越大的数据集训练效果越好。
EfficientViT
whaosoft143ai的博客
05-16 815
典型的 ViT 模型主要继承了 NLP Transformer 的设计策略，例如，在 Q、K、V 的投影中使用相等的通道数、在不同阶段增加注意力头数，并将 FFN 的扩展比设置为4。结果显示，在不同的头部中使用特征的不同通道切分，而不是像 MHSA 一样对所有头部使用相同的完整特征，可以有效减少注意力计算的冗余。为了解决这个问题，文章提出了级联分组注意力(cascaded group attention)模块，将完整特征的不同切分输入到不同的注意力头部，从而既节省了计算成本，又提高了注意力的多样性。
EfficientViT：高分辨率密集预测的多尺度线性注意力
qq_45981086的博客
10-28 3902
EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction论文总结和代码实现。
CVPR 2023 | EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
热门推荐
画心
05-15 1万+
EfficientViT，推理更快的ViT。
【CVPR2023】EfficientViT：具级联组注意力的访存高效ViT
m0_63642362的博客
05-27 3176
EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention论文浅析
【ICCV 2023】EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
m0_61899108的博客
11-02 5795
高分辨率密集预测得到越来越多的应用，如计算摄影、自动驾驶等。然而，巨大的计算成本使得在硬件设备上部署最先进的高分辨率密集预报模型变得困难。本文提出EfficientViT，一个新的高分辨率视觉模型家族，具有新颖的多尺度线性特性。不同于现有的高分辨率密集预测模型依赖于大量的softmax注意力、硬件低效的大内核卷积或复杂的拓扑结构来获得良好的性能，多尺度线性注意力只需轻量级和硬件高效的操作就可以实现全局感受野和多尺度学习（高分辨率密集预测的两个理想特征）。
YOLOV5改进：CVPR2023：加入EfficientViT主干：具级联组注意力的访存高效ViT
AIcurator的博客
07-18 1604
视觉变压器由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉变压器家族，名为EfficientViT。我们发现现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高的相似性，从而导致计算冗余。
Yolov8轻量级：EfficientViT，基于级联分组注意力模块的全新实时网络架构
QvisCs的博客
09-17 868
EfficientViT是一种基于注意力机制的轻量级视觉转换网络，它利用了Transformer的优势，并通过设计轻量化的注意力模块，减少了模型的计算量和参数数量。近期，研究人员提出了一种新的实时网络架构，名为Yolov8轻量级：EfficientViT，它采用了基于级联分组注意力模块的创新方法，旨在提高计算机视觉任务的速度和准确性。Yolov8轻量级：EfficientViT结合了两种先进的网络结构，即Yolov8和EfficientViT，从而在轻量级模型中实现了更好的速度和准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值