全新轻量级ViT！LVT：具有增强自注意力的Lite视觉Transformer

最新推荐文章于 2024-03-05 17:31:14 发布
最新推荐文章于 2024-03-05 17:31:14 发布
阅读量2.5k 收藏 28
点赞数
文章标签： 大数据 算法 python 计算机视觉 神经网络
原文链接：https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247538110&idx=3&sn=d7f15ad7d7f3fd0576678f9fb819628b&chksm=f9a12731ced6ae277f358b6511498982d97e82fc3530ff2f11fb66aaab28e4b455f404feadde&scene=126&&sessionid=0
版权

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

转载自：集智书童

2ac0ceb183a66626eb49091eebe74148.png

Lite Vision Transformer with Enhanced Self-Attention  

论文：https://arxiv.org/abs/2112.10809

代码（将开源）：

https://github.com/Chenglin-Yang/LVT

尽管 Vision Transformer 的表示能力令人叹服，但目前的轻量级 Vision Transformer 模型仍然存在局部区域密集预测不一致和不正确的问题。作者怀疑Self-Attention机制的效果在比较浅的网络中是有限的。

因此，本文提出了Lite Vision Transformer (LVT)，这是一种新型的轻量级Transformer网络，具有两种增强的Self-Attention机制，以改善边缘部署模型的性能。

对于Low-level特征，引入了卷积自注意力(Convolutional Self-Attention, CSA)。与以往融合卷积和自注意力的方法不同，CSA将局部自注意力引入到大小为3×3卷积中，以丰富LVT第一阶段的Low-level特征。

对于High-level特征，提出了递归Atrous自注意力(RASA)，利用多尺度上下文计算相似性映射，并采用递归机制以增加额外的边际参数代价的表示能力。

LVT在ImageNet识别、ADE20K语义分割、COCO全景分割等方面的优势得到了验证。

1介绍

基于Transformer的架构最近取得了显著的成功，它们在各种视觉任务中表现出了卓越的性能，包括视觉识别、目标检测、语义分割等。

Dosovitskiy受到自然语言处理中Self-Attention的启发，首次提出了一种基于Transformer的计算机视觉网络，其关键思想是将图像分割成小块，从而通过位置嵌入实现线性嵌入。

为了降低 Self-Attention 引入的计算复杂度，Swin-Transformer通过使用局部非重叠窗口限制自注意力的计算开销。此外，引入分层特征表示来利用来自不同尺度的特征以获得更好的表示能力。

另一方面，PVT提出了spatial-reduction attention (SRA)来降低计算成本。它还通过在基本Transformer Block的自注意力层之后的前馈网络(FFN)中插入深度卷积来消除位置嵌入。

Swin-Transformer和PVT都证明了它们对于下游视觉任务的有效性。然而，当将模型缩小到移动端友好的大小时，也会出现显著的性能下降。

在这项工作中，专注于设计一个移动端高效的Vision Transformer。更具体地说，引入了一个Lite Vision Transformer (LVT) Backbone，它具有两个新颖的自注意力层，以追求性能和紧凑性。LVT遵循标准的四阶段结构，但与现有的移动端网络(如MobileNetV2和PVTv2-B0)具有类似的参数大小。

这里对自注意力的第一个改进是卷积自注意力(Convolutional self-attention, CSA)。自注意力层是Vision Transformer的基本组件，因为自注意力捕获了短期和长期的视觉依赖。然而，识别位置是视觉任务成功的另一个重要关键。例如，卷积层是处理Low-level特征的更好层。现有的技术已经提出将卷积和自注意力与全局感受野结合起来可以得到更高的性能。

相反，作者将局部自注意力引入到卷积核大小为3×3的卷积中。CSA被提出并应用于LVT的第一阶段。由于CSA的存在，LVT比现有的Transformer模型更丰富了Low-level特征，具有更好的泛化能力。如图1所示，与PVTv2-B0相比，LVT能够在局部区域产生更多的相干标签。

6a8644c895d19e617c65dfaface982f1.png

另一方面，lite模型的性能仍然受到参数数量和模型深度的限制。本文进一步提出通过递归Atrous自注意力(RASA)层来提高lite Transformer的表示能力。如图1所示，LVT结果的语义正确性较好，这是因为这种有效的表示方式。

具体来说，RASA包含了两个具有权重共享机制的组件。第一个是Atrous自注意力(ASA)。在计算query和key之间的相似度时，它利用了具有单个卷积核的多尺度上下文。第二个是递归管道。按照标准的递归网络，将RASA形式化为一个递归模块，其中ASA作为激活函数。它在不引入额外参数的情况下增加了网络深度。

在ImageNet分类、ADE20K语义分割和COCO全景分割上进行实验，以评估LVT作为广义视觉模型Backbone的性能。

主要贡献总结如下:

  1. 提出了卷积自注意力(CSA)。与以往融合全局自注意力和卷积的方法不同，CSA将局部自注意力集成到卷积核大小为3 × 3的卷积中。该算法通过包含动态核和可学习滤波器来处理Low-level特征；

  2. 提出递归Atrous自注意力(RASA)。它由两部分组成。第一部分是Atrous自注意力(ASA)，它捕捉了自注意力相似性映射计算中的多尺度语义。另一部分是用ASA作为激活函数的递归公式。提出了RASA算法，在增加额外参数代价的前提下提高算法的表示能力。

  3. 提出Lite Vision Transformer (LVT)作为视觉模型的轻量级Transformer Backbone。LVT包含四个阶段，前三个阶段分别采用CSA和RASA。LVT在ImageNet识别、ADE20K语义分割和COCO全景分割等方面的性能都得到了验证。

2相关工作

2.1 Vision Transformer

ViT是第一个证明了Transformer结构可以以优异的性能转移到图像识别任务中的Vision Transformer。图像被分割成一系列的patches，这些patches被线性嵌入为ViT的token输入。

在ViT之后，提出了一系列的改进方法。

在训练方面，DeiT介绍了Transformer知识蒸馏策略。

对于Tokenization，T2T-ViT提出了T2T模块，递归地将相邻token聚合成一个token，以丰富局部结构建模。TNT进一步将token分解成更小的token，从它们中提取特征，以便与普通token特征集成。

对于位置嵌入，CVPT提出了可推广到任意分辨率图像的动态位置编码。

在多尺度加工方面，Twins研究了局部自注意力和全局自注意力的结合。该方法在位置嵌入中引入了卷积，从不同阶段考察了不同尺度下特征间的交叉注意力。

Cross-ViT提出了处理不同尺度token的双路Transformer，并采用了基于交叉注意力的token融合模块。

在层次设计方面，Swin-Transformer和PVT都采用了四阶段设计，并逐渐下样，这有利于下游的视觉任务。

2.2 CNN与Transformer的结合

有四种方法：

  • 第一种是将自注意力中的位置嵌入与卷积相结合，包括CVPT和CoaT；

  • 第二种是在自注意力前应用卷积，包括CvT、CoAtNet和BoTNet；

  • 第三个是在自注意力后插入卷积，包括LocalViT和PVTv2；

  • 第四种是并行的自注意力和卷积，包括AA和LESA。

与上述所有将局部卷积与全局自注意力合并的方法不同，本文提出了卷积自注意力(Convolutional self-attention, CSA)，它将自注意力和卷积结合在一起，并在模型的第一阶段将3×3 kernel作为一个强大的层。

2.3 递归卷积

递归方法已被用于卷积神经网络(CNNs)的各种视觉任务。它包括图像识别、超分辨率、目标检测、语义分割。与这些方法不同的是，本文在轻量级Vision Transformer中研究了一种递归方法作为通用Backbone。具体而言，提出了一种具有多尺度query信息的递归自注意力层，有效地提高了移动端模型的性能。

3Lite Vision Transformer

本文提出了Lite Vision Transformer (LVT)，如图2所示。作为多视觉任务的Backbone，遵循标准的四阶段设计。每个阶段执行一次下采样操作，并由一系列构建块组成。输出决议从第4步逐步到第32步。与以往的Vision Transformer不同，LVT的参数比较少，具有两个新的自注意力层。第一个是卷积自注意力层，第一阶段采用了3×3卷积核。第二个是递归的Atrous自注意力层，它有一个全局卷积核，在最后三个阶段被采用。

5bc2f65aa332de7e235aaefa6d2e6176.png

3.1 卷积自注意力模块（CSA）

我们应该都知道全局感受野有利于自注意力层的特征提取。然而，在视觉模型的早期阶段，卷积更受青睐，因为局部性在处理Low-level特征时更为重要。与以往结合卷积和大核(全局)自注意力的方法不同，作者重点设计了一个基于窗口的自注意力层，它有一个3×3 kernel，并包含卷积的表示。

1、卷积再分析

让是输入和输出特征向量，其中d表示通道数。让索引空间位置。卷积是通过滑动窗口计算的。在每个窗口中，可以将卷积公式写为:

a1bc67310952ae33d982a401678932f2.png

其中表示由以位置为中心的核定义的局部邻域中的空间位置。，其中为核大小。表示到之间的相对空间关系。是投影矩阵。总的来说，kernel中有 。一个3 × 3 kernel由9个这样的矩阵组成。

2、Self-Attention再分析

自注意力需要3个投影矩阵计算query，key和value。本文考虑了基于滑动窗口的自注意力问题。在每个窗口中，可以写出自注意力的公式为：

64c7177695fc632f6596bff1f9e7f4cd.png

其中，是一个标量，控制值在求和中每个空间位置的贡献。通过softmax操作归一化，使得。与相同核大小k的卷积相比，可学习矩阵的数量为3，而不是。最近，Outlook Attention提出了预测，而不是通过query和key的点积来计算，并且在kernel size较小时表现出了优越的性能。这里也采用这样的计算，可以写成:

3cc6ad05c239a3583963c9494c7ba99f.png

其中和表示向量的第个元素。

3、Conv Self-Attention的诞生
33729155d1a5f5934d0c6350092be6c0.png

将自注意力和卷积推广为统一的卷积自注意力，如图3所示。其公式如下:

1141db5947bc668bbf7966ac63dab0a5.png

SA和CSA都有大小为k×k的局部窗口输出。当且所有权值相同时，CSA为输出中心的卷积。当且所有投影矩阵都相同时，CSA为自注意力。

由于采用输入预测的动态，如Eqn(3)所示，Outlook Attention是CSA的一个特例。CSA的容量比Outlook Attention大。在表1中总结了它的性质。通过这种推广，CSA既具有输入相关的kernel，又具有可学习的滤波器。为增强Vision Transformer第一阶段的表现能力而设计的。

5865c60fbde60e370dfbc525f6bf3233.png

3.2 Recursive Atrous自注意力(RASA)

轻量化模型更高效，更适合于设备上的应用程序。然而，即使采用先进的模型体系结构，它们的性能也受到参数数量较少的限制。对于轻量级模型，本文将重点放在通过略微增加参数数量来增强它们的表示能力。

1、Atrous自注意力层

我们都知道多尺度特征有利于检测或分割目标。Atrous卷积被提出以与标准卷积相同数量的参数来捕获多尺度上下文。权值共享的Atrous卷积也被证明可以提高模型性能。

与卷积不同，自注意力的特征响应是来自所有空间位置的投影输入向量的加权和。这些权重由query和key之间的相似度确定，并表示任何一对特征向量之间的关系强度。因此，在生成如图4所示的权重时，添加了多尺度信息。具体来说，将query的计算从1×1的卷积升级为以下操作:

3e25d6d01d0442f96e9944aef0fabfdb.png

为特征映射，为权值。是空间维度。D为特征通道。表示卷积的核大小、膨胀率和组数。

这里，首先使用1×1卷积来应用线性投影。然后，应用三种具有不同膨胀率但共享内核的卷积来捕获多尺度上下文。通过将组数量设置为特征通道数量，进一步降低了参数开销。然后将不同尺度的并行特征加权求和。

同时本文采用了一种自校准机制，通过激活强度来确定每个刻度的weight。这可以由SiLU实现。在本设计中，自注意力中任意一对空间位置之间的query和key的相似度计算采用了多尺度信息。

2、Resursive Atrous自注意力 (RASA)

对于轻量级模型，在不增加参数使用的情况下增加它们的深度。递归方法在卷积神经网络的许多视觉任务中被提出。与这些方法不同，本文提出了一种自注意力的递归方法。设计遵循标准循环网络。与Atrous自注意力(ASA)相结合，提出递归Atrous自注意力(RASA)，其公式可以写成:

4cca7bdc92dc7bf837305a9af95c13b0.png

其中为步长，为隐状态。以ASA作为非线性激活函数。初始隐藏状态。是输入状态与隐藏状态相结合的线性函数。是投影weight。然而，经验发现，设置可以提供最好的性能，并且避免引入额外的参数。将递归深度设置为2，以限制计算成本。

4模型架构

LVT的架构如表2所示。采用标准的四阶段设计。采用四层重叠的patch嵌入层。第一个将图像采样到stride-4分辨率。另外三个样本将特征映射为stride-8、stride-16和stride-32的分辨率。所有级均由Transformer组成。每个块包含Self-Attention层，后面跟着一个MLP层。CSA嵌入在第1阶段，RASA嵌入在其他阶段。它们是增强的自注意力层，用于处理LVT中的局部和全局特征。

c1c408fb2715070f57f5c2c5643d41b0.png

5实验

4.1 消融实验

1、Recursion Times of RASA

作者研究了递归时间和模型性能之间的关系。实验是在ImageNet分类上进行的。作者把递归时间设为1到4。结果如表7所示。

74dddf6ef81b27b3f2aedd8ea9356d2f.png

通过上表可以看出，随着递归时间的变长，精度也得到了一定的提升，但是FLOPs也有一定的提升。

2、CSA和RASA的贡献

在下表中。对于ImageNet分类，训练和测试的输入分辨率都是224 × 224。对于ADE20K语义分割，按照SegFormer框架，在MLP解码器中插入VOLO和LVT。在测试期间，图像的短边被调整为512。它被观察到CSA和RASA对性能增益有显著的贡献。

442c37f5151e016d1739868f7ad86604.png 7125f34e3c17afa713a379f81514a04f.png

4.2 ImageNet分类

结果如表所示。限制编码器尺寸小于3.5M，遵循MobileNet和PVTv2-B0。编码器是设计重点，因为它是其他复杂任务(如检测和分割)所使用的Backbone。为了将LVT与其他标准模型进行比较，这里将LVT扩展到ResNet50的大小。

d18fe81414e02c7387c0d68392a1f1cc.png

4.3 ADE20K语义分割

使用输入分辨率512×512计算。在单个NVIDIA V100 GPU上计算2000张图像的FPS。在推理过程中，将调整图像的大小，使其短边为512。只使用单尺度测试。模型是紧凑的。加上解码器，参数小于4M。可以观察到LVT在之前所有的移动语义分割方法中表现出最好的性能。

5e67dce0f404234a7edd6c5730ff466b.png

4.4 移动端COCO全景分割

输入分辨率为1200 × 800。在推理过程中，将调整所有图像的大小，使大边不大于1333，短边小于800。使用单个NVIDIA V100 GPU，在2000张高分辨率图像上计算FLOPs。包括解码器在内的整个模型所需参数小于5.5M。可以观察到LVT在移动全景分割方面的优势。

807a9031b1dc176accc2a9d67fa486c9.png 0ad5777cc644a7f86fae997d41424e9e.png

上面论文代码下载

后台回复：LVT，即可下载上述论文

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

重磅！Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、Transformer、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

2c04e37d8fa56432844f4ff9deab1b58.png

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看a89946c42994e920c3f4bc830a38ef43.gif

Amusi（CVer）
关注
  • 0
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
轻量化混合（卷积和transformer）网络，发论文的热点
02-03
CNN的成功依赖于其两个固有的归纳偏置，即平移不变性和局部相关性，而视觉Transformer结构通常缺少这种特性，导致通常需要大量数据才能超越CNN的表现，CNN在小数据集上的表现通常比纯Transformer结构要好。 CNN感受野有限导致很难捕获全局信息，而Transformer可以捕获长距离依赖关系，因此ViT出现之后有许多工作尝试将CNN和Transformer结合，使得网络结构能够继承CNN和Transformer的优点，并且最大程度保留全局和局部特征。 Transformer是一种基于注意力的编码器-解码器结构，最初应用于自然语言处理领域，一些研究最近尝试将Transformer应用到计算机视觉领域。 在Transformer应用到视觉之前，卷积神经网络是主要研究内容。受到自注意力在NLP领域的影响，一些基于CNN的结构尝试通过加入自注意力层捕获长距离依赖关系，也有另外一些工作直接尝试用自注意力模块替代卷积，但是纯注意力模块结构仍然没有最先进的CNN结构表现好。
lite-transformer:[ICLR 2020]具有短距离注意的Lite变压器
03-19
具有长距离注意的Lite变压器 @inproceedings{Wu2020LiteTransformer, title={Lite Transformer with Long-Short Range Attention}, author={Zhanghao Wu* and Zhijian Liu* and Ji Lin and Yujun Lin and Song Han}, booktitle={International Conference on Learning Representations (ICLR)}, year={2020} } 概述 我们发布了Lite变压器的PyTorch代码。 [|| ]： 权衡曲线的一致改进 节省2万倍的进化变压器搜索成本 18.2倍的进一步压缩变压器 如何使用 先决条件 Python版本> = 3.6 版本> = 1.0.0
ViT再升级！9个视觉transformer最新改进方案让性能飞跃
最新发布
学姐带你玩AI的博客
03-05 3053
通过优化ViT结构和训练策略，我们可以提高模型的性能和计算效率，增强模型对局部信息的捕捉能力。同时解决一些原有模型存在的问题。比如原始的ViT模型在处理高分辨率图像时，由于自注意力机制的计算复杂度与序列长度相关，会导致较高的计算成本。通过对ViT进行改进，我们就可以减少参数量和计算量。这类改进不仅能够更高效地处理图像数据，同时还能增强ViT在各种视觉任务中的适用性。因此，为了让模型更加高效和适用于实际应用，研究者们已经提出不少值得学习的ViT改进方案。比如基于全新残差注意力机制的ReViT。本文介绍。
vit.zip视觉transformer代码
03-12
vision in transformer论文源码
vit:VIT是Taskwarrior的轻量级，快速，基于诅咒的前端
04-29
VIT Visual Interactive Taskwarrior全屏终端界面。 对于VIT 1.3， 特征 完全可自定义的键绑定（默认为类似Vim的键） 整洁的显示 没有鼠标 速度 每列着色 高级制表符完成 多个/可定制的主题 覆盖/自定义列格式化程序 智能子项目缩进 要求 3.5+ 安装 请按照 快速开始 从命令行运行vit --help以获得基本用法说明。 从命令行运行vit以使用默认配置，报告和过滤器启动VIT。 在运行VIT时，键入:help然后按Enter以查看基本的命令/导航操作。 建议： 如果没有默认的用户配置文件，VIT将建议安装它-带有所有配置选项的完整注释，请检出。 做vit --help （了解vit命令行参数） 在vit中执行:help （查看“命令”） 使用xterm终端（用于全彩支持） 有关进一步调整的建议，请参见 VIT处理任务颜色
ViT:实现Vi（sion）T（transformer）
05-26
在PyTorch中实现Vi（sual）T（transformer） 大家好，新年快乐！ 今天，我们将要实现著名的Vi （双） T （变压器），该产品在“。 代码在这里，可以从下载本文的交互式版本。 ViT将很快在我称为新计算机视觉库中提供 这是一个技术教程，而不是您在普通的中级文章中找到的使您变得富有的前5个最重要的熊猫功能。 因此，在开始之前，我强烈建议您： 看看惊人的网站 观看 阅读文档 因此，ViT使用在图像上工作的普通变压器（“提出的一种变压器）。 但是，如何？ 下图显示了ViT的体系结构 输入图像被分解为16x16展平的小块（图像未按比例绘制）。 然后使用普通的完全连接层将它们嵌入，在它们前面添加特殊的cls令牌，并对positional encoding求和。 生成的张量首先传递到标准Transformer，然后传递到分类头。 就是这样。 本文的结构分为以下几节
LITE TRANSFORMER WITH LONG-SHORT RANGE ATTENTION
m0_47005029的博客
06-29 792
在这篇论文中，我们提出了一种高效的移动NLP架构——Lite Transformer，以在边缘设备上部署移动NLP应用。Transformer已经成为自然语言处理（例如机器翻译、问答系统）中无处不在的技术，但要实现高性能需要大量计算资源，这使得它在硬件资源和电池方面受限的移动应用中并不适用。
Lite Transformer with Long-Short range attention
Acmer_future_victor的博客
05-05 1914
Lite Transformer with Long-Short range attention 2020年 arxiv文章 Abstract Transformer在自然语言处理（例如机器翻译、问答）中变得无所不在；然而，它需要大量的计算来实现高性能，这使得它不适合受到硬件资源和电池严格限制的移动应用。本文提出了一种高效的移动NLP体系结构——Lite Transformer，以方便在边缘设备上部署移动NLP应用。关键的原语是长短距离注意 (LSRA)，其中一组头部专用于局部上下文建模（通过卷积），
转载：SBCFormer：一种新型CNN-VIT轻量级混合网络， 首次以1 FPS 速度在SBC上实现 80% 的top-1 精度
wuling129的专栏
11-15 267
文章地址：https://arxiv.org/ftp/arxiv/papers/2311/2311.03747.pdf项目地址：https://github.com/xyongLu/SBCFormer。
Lite transformer
m0_47867419的博客
09-04 334
图片以及思想来源请参考论文。
最新轻量ViT综述！后Transformer时代如何发展？
深度学习技术前沿
02-27 553
摘要 视觉Transformer（ViT）已经通过使用基于注意力的编码器-解码器模型，彻底改变了这一领域。最近，一些开创性的工作在计算机视觉（CV）中采用了类似Transformer的架构，他们报告了这些架构在图像分类、目标检测和语义分割等任务中的出色性能。ViT由于其具有竞争性的建模能力，已证明其性能优于卷积神经网络（CNN）。然而，这些架构需要大量的计算资源，这使得这些模型难以部署在资源受限的...
Vision Transformer(ViT)实践项目，图像分类任务，“猫狗大战”（猫狗分类）
02-25
利用ViT模型实现图像分类，本项目具有强大的泛化能力，可以实现任何图像分类任务，只需要修改数据集和类别数目参数。这里采用的是开源的“猫狗大战”数据集，实现猫狗分类。 本项目适用于Transformer初学者，通过该实践项目可以对于ViT模型的原理和结构有清晰地认识，并且可以学会在具体项目中如何运用ViT模型。本项目代码逻辑结构清晰，通俗易懂，适用于任何基础的学习者，是入门深度学习和了解Transformer注意力机制在计算机视觉中运用的绝佳项目。
又一个轻量级 ViT：Lite Vision Transformer with Enhanced Self-Attention
u014546828的博客
12-26 2137
Lite Vision Transformer with Enhanced Self-Attention https://arxiv.org/pdf/2112.10809.pdf Abstract Despite the impressive representation capacity of vision transformer models, current light-weight vision transformer models still suffer from inconsist.
【Backbone】TransNeXt:最新ViT模型（原理+常用神经网络汇总）
qq_45752541的博客
12-05 3340
基于生物模仿视杆细胞视觉设计的Token混合器聚合注意力和一种具有门控通道注意力的通道混合器卷积GLU。作者将它们结合起来，提出一种强大的高度鲁棒的视觉模型TransNeXt，它在各种视觉任务如分类、检测和分割等方面都实现了最先进的性能。TransNeXt在多尺度推理的出色性能突显了它在解决深度衰减问题方面优于大型核策略的优势。此外，作者还提供了一个CUDA实现，在训练中实现了高达103.4%的加速，在推理中实现了60.5%的加速。
轻量级Visual Transformer模型——LeViT(ICCV2021)
木盏
03-03 8975
LeViT是FAIR团队发表在ICCV2021上的成果，是轻量级ViT模型中的标杆，文章对ViT中多个部件进行的改进，如加速策略等，对很多工程化铺设ViT系列模型都是很有借鉴意义的。 按说，近期出现的优质模型非常多，各种冲击SOTA的，详情可戳我整理的小综述《盘点2021-2022年出现的CV神经网络模型》。但我为何会单独对LeViT拿出来进行详细剖析呢？原因很简单：LeViT非常工程实用，是一款足够优秀的轻量级视觉transformer模型。市面上很多轻量级模型都进入了一个误区：大家都在比拼FLOPs数和
ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册
Paper weekly
05-22 495
本文介绍一下最近被 ICML 2023 接收的文章：A Closer Look at Self-Supervised Lightweight Vision Transformers.论文标题：A Closer Look at Self-Supervised Lightweight Vision Transformers论文链接：https://arxiv.org/abs/2205.14443代码链...
轻量自高斯注意力（LSGA）机制—论文总结和代码实现
qq_45981086的博客
09-30 1477
想改进高斯注意力？这篇论文给出答案！ ——轻自高斯注意力（LSGA）机制
上手最常用的CV模型分析方法——使用grad-cam对ViT的输出进行可视化
Yuetian_w的博客
11-15 1697
Vision Transformer (ViT) 作为现在CV中的主流backbone，它可以在图像分类任务上达到与卷积神经网络 (CNN) 相媲美甚至超越的性能。ViT 的核心思想是将输入图像划分为多个小块，然后将每个小块作为一个 token 输入到 Transformer 的编码器中，最终得到一个全局的类别 token 作为分类结果。ViT 的优势在于它可以更好地捕捉图像中的长距离依赖关系，而不需要使用复杂的卷积操作。
轻量级的transformer
07-29
因此，这种轻量级的Transformer模型在计算资源有限的情况下具有较高的效率和性能。\[1\]\[2\] #### 引用[.reference_title] - *1* [AAAI 2023 | 轻量级语义分割新范式： Head-Free 的线性 Transformer 结构]...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值