FasterViT: Fast Vision Transformers with Hierarchical Attention

最新推荐文章于 2025-03-07 11:38:52 发布
最新推荐文章于 2025-03-07 11:38:52 发布
阅读量1k 收藏 16
点赞数 25
文章标签： 机器学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qgh1223/article/details/136915430
版权
本文介绍了一种名为FasterViT的方法，它通过引入层次注意力和CarrierToken(CT)来提升视觉Transformer的速度。CT利用低成本实现大范围注意力，通过卷积、池化和多层注意力机制处理局部窗口和全局信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

FasterViT: Fast Vision Transformers with Hierarchical Attention

本文引入了层次注意力（Hierarchical Attention）的Carrier Token（CT），该令牌以低成本获得比局部窗口更大的注意力足迹。
层次注意力具体步骤为：

  1. 划分输入特征图为 n × n n\times n n×n局部窗口，得到特征图 x ^ 1 \hat{x}_{1} x^1​。
  2. CT计算。首先通过卷积和池化初始化CT。 x ^ c = Conv ⁡ 3 × 3 ( x ) x ^ c t = AvgPool ⁡ H 2 → n 2 L ( x ^ c ) , \begin{aligned} \hat{\mathbf{x}}_{\mathbf{c}} & =\operatorname{Conv}_{3 \times 3}(\mathbf{x}) \\ \hat{\mathbf{x}}_{\mathbf{c t}} & =\operatorname{AvgPool}_{H^{2} \rightarrow n^{2} L}\left(\hat{\mathbf{x}}_{\mathbf{c}}\right), \end{aligned} x^c​x^ct​​=Conv3×3​(x)=AvgPoolH2→n
最低0.47元/天 解锁文章
Fast Vision Transformers with HiLo Attention
读书郎
09-03 1352
Vision Transformers (ViTs) 引发了计算机视觉的最新和重大突破。它们的高效设计主要是由计算复杂度的间接度量来指导的，即FLOPs，然而与吞吐量等直接度量有明显的差距。因此，我们建议在目标平台上使用直接速度评估作为高效 ViT 设计原则。特别是，我们引入了 LITv2，这是一种简单有效的 ViT，它在一系列不同模型大小上以更快的速度优于现有的最先进方法。LITv2 的核心是一种新颖的自注意力机制，我们称之为 HiLo。
DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification 论文阅读笔记
m0_38007279的博客
12-08 2781
文中提出一种轻量化的预测模型用于决定剪去哪些tokens，称为DynamicViT。对于每个输入序列，使用二值化masking决定哪些tokens是没什么信息而需要丢弃的。通过剪去66%的输入tokens能够降低模型31%~37%的GFLOPs，效率提升超过40%，所有Transformer模型精度降低在0.5%以内。
ICLR 2024 | FasterViT: Fast Vision Transformers with Hierarchical Attention
画心
05-17 1710
本文提出了一种 CNN 和 ViT 的混合架构，即 FasterViT。这样的混合架构可以快速生成高质量 token，然后基于 Transformer 块来进一步处理这些 token。其重点在于结合架构组合和高效的注意力模块的设计，从而优化 ViT 模型的计算效率，提高图像的吞吐率，加强对于高分辨率图像的适应能力。
论文研读 | fastervit: fast vision transformers with hierarchical attention
Verhan_Cao的博客
07-25 815
FasterViT：具有层次注意力的快速视觉Transformer
NeurIPS24 Oral！聚类+transformer全新里程碑！
最新发布
Aimoxin111的博客
03-07 644
性能提升：在自动语音识别任务上，聚类注意力模型在给定计算预算下优于标准 Transformer 模型，例如在 Wall Street Journal 数据集上，i-clustered 模型在 4 层时的 PER 为 5.14%，而标准 Transformer 在 6 层时的 PER 为 5.56%。增强特征表示和模型性能：聚类算法能够将数据分组，找出数据中的结构，而Transformer模型具有强大的特征提取能力，二者结合可以进一步提升模型对数据特征的捕捉和表示能力，从而提高模型在各种任务中的性能。
新注意力机制！LITv2：具有HiLo注意力的快速视觉Transformer
阿木寺的博客
06-02 4806
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Fast Vision Transformers with HiLo Attention论文：‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍https://arxiv.org/abs/2205.13213‍代码（即将开源）：https://github.com/zip-group/LITv2近两年来，Vi...
【NeurIPS2022】Fast Vision Transformers with HiLo Attention
OUC的搬砖日常
12-03 558
这个论文的核心贡献是提出了一种新的注意力机制 HiLo（High / Low frequency）。如下图所示，在上面部分，分配了 1−α1-\alpha1−α 比例的 head 用于提取高频注意力，下面分配了 α\alphaα 比例的 head 用于提取低频注意力。高频注意力： 在2x2的窗口中计算 attention。低频注意力： 将2x2的窗口池化，得到的特征做为 K 和 V。原始特征做为 Q，再计算注意力。（基本上和 PVT 中的计算方法一样）。因为 KV 特征维度减少，计算效率显著提升。论文中还
Arxiv 2106 | Vision Transformers with Hierarchical Attention
画心
07-10 1181
本文重新设计了视觉Transformer中的多头自注意力（MHSA），以实现更高效的全局关系建模过程，同时又不牺牲细粒度信息。
class Downsample(nn.Module): """ Down-sampling block based on: "Hatamizadeh et al., FasterViT: Fast Vision Transformers with Hierarchical Attention """ def __init__(self, dim, keep_dim=False, ): """ Args: dim: feature size dimension. norm_layer: normalization layer. keep_dim: bool argument for maintaining the resolution. """ super().__init__() if keep_dim: dim_out = dim else: dim_out = 2 * dim self.norm = LayerNorm2d(dim) self.reduction = nn.Sequential( nn.Conv2d(dim, dim_out, 3, 2, 1, bias=False), ) def forward(self, x): x = self.norm(x) x = self.reduction(x) return x 逐行解释
07-08
它基于论文"FasterViT: Fast Vision Transformers with Hierarchical Attention"中的方法。 在`__init__`方法中，它接受两个参数：`dim`表示特征大小的维度，`keep_dim`是一个布尔值，用于控制是否保持分辨率。 在...
逐行解释class PatchEmbed(nn.Module): """ Patch embedding block based on: "Hatamizadeh et al., FasterViT: Fast Vision Transformers with Hierarchical Attention """ def __init__(self, in_chans=3, in_dim=64, dim=96): """ Args: in_chans: number of input channels. dim: feature size dimension. """ super().__init__() self.proj = nn.Identity() self.conv_down = nn.Sequential( nn.Conv2d(in_chans, in_dim, 3, 2, 1, bias=False), nn.BatchNorm2d(in_dim, eps=1e-4), nn.ReLU(), nn.Conv2d(in_dim, dim, 3, 2, 1, bias=False), nn.BatchNorm2d(dim, eps=1e-4), nn.ReLU() ) def forward(self, x): x = self.proj(x) x = self.conv_down(x) return x
07-08
它基于论文"FasterViT: Fast Vision Transformers with Hierarchical Attention"中的方法。 在`__init__`方法中，它接受三个参数：`in_chans`表示输入图像的通道数，默认为3；`in_dim`表示第一层卷积的输出通道数，...
【注意力机制】一系列关于attention的高效改进大集合
zenRRan的博客
08-26 9861
编辑：NewBeeNLP前几天逛github刷到一个『awesome-fast-attention』大列表，整理了一系列关于attention的高效改进文章，包括论文、引用量、源码实现、...
FasterViT实战：使用FasterViT实现图像分类任务
07-10
FasterViT实战：使用FasterViT实现图像分类任务
2025新风向聚类+Transformer创新结合！发A会根本不用愁！
d22800的博客
02-19 1458
聚类+Transformer”是一种结合聚类算法和Transformer架构的创新方法，近年来在多个领域取得了显著的研究进展和应用成果。我还整理出了相关的论文+开源代码，以下是精选部分论文更多论文料可以关注领取更多[论文+开源码】
FasterViT实战：使用FasterViT实现图像分类任务（二）
m0_47867638的博客
07-22 7397
训练部分。
NVIDIA实验团队新作:VIT高性能即插即用Encoder-FasterVIT
Hai2342的博客
07-01 1178
通过两个步长为2的3*3的连续卷积实现对输入图像的Overlapping patches embedding如图3所示，这些卷积层的作用是将输入图像中的像素映射到一个D维的嵌入空间，然后通过批归一化（提高模型训练稳定性）和ReLU函数（保持非线性特征）的处理。3.随着网络层数的增加，其拥有了更多的通道数量，此时需要引入更具表达力的操作如层归一化和注意力机制等，这些操作可以提升网络的表达能力，并且相对于计算量来说，对计算吞吐量的影响较小（可以通过并行计算来处理多位置或多通道的关系）。
FasterViT
whaosoft143ai的博客
06-17 392
英伟达提出分层注意力,一种新型的混合架构FasterViT，它取得了更优的性能-吞吐量均衡，达成了新的Pareto前沿。在网络的后半部分，特征分辨率比较小，推理效率会受计算约束，故它采用了attention等操作提升表达能力。在网络的前半部分，特征分辨率比较大，推理效率主要受访存约束，故它仅采用了卷积类操作以充分利用稠密卷积；相比ConvNeXt-B，FasterViT指标高出0.4mIoU@ms，同时吞吐量高出7.01%。相比其他混合架构，FasterViT具有更高的吞吐量，同时具有更优的Top1性能。
FasterViT实战：使用FasterViT实现图像分类任务（一）
AI浩
07-16 1578
论文翻译：https://blog.csdn.net/m0_47867638/article/details/131542132官方源码：https://github.com/NVlabs/FasterViT这是一篇来自英伟达的论文。FasterViT结合了CNN的快速局部表示学习和ViT的全局建模特性的优点。新提出的分层注意力(HAT)方法将具有二次复杂度的全局自注意力分解为具有减少计算成本的多级注意力。受益于基于窗口的高效自注意力。每个窗口都可以访问参与局部和全局表示学习的专用载体Token。
FasterViT：英伟达提出分层注意力，构造高吞吐CNN-ViT混合网络 | ICLR 2024
晓飞的算法工程笔记
04-23 1419
论文设计了新的CNN-ViT混合神经网络FasterViT，重点关注计算机视觉应用的图像吞吐能力。FasterViT结合CNN的局部特征学习的特性和ViT的全局建模特性，引入分层注意力（HAT）方法在降低计算成本的同时增加窗口间的交互。在包括分类、对象检测和分割各种CV任务上，FasterViT在精度与图像吞吐量方面实现了SOTAHAT可用作即插即用的增强模块来源：晓飞的算法工程笔记 公众号。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qgh1223

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值