15、CF-ViT: A General Coarse-to-Fine Method for Vision Transformer

最新推荐文章于 2023-06-07 17:06:53 发布
最新推荐文章于 2023-06-07 17:06:53 发布
阅读量702 收藏 8
点赞数
分类专栏： # NLP 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50973728/article/details/129485690
版权

简介

论文：https://arxiv.org/abs/2203.03821
github：https://arxiv.org/pdf/2203.03821.pdf

transformer 输入图像的空间维度上产生了相当大的冗余，导致大量的计算成本。

论文提出一种粗到细的vision transformer(CF-ViT)来减轻计算负担，同时保持性能

CF-ViT在不影响性能的情况下，比LV-ViT降低了53%的FLOPs，吞吐量也达到了2.01×
在这里插入图片描述
vit transformer 加速方法

  • Static ViT Compression
    致力于通过手动设计模块，无论输入图像如何，都具有固定的计算图，从而降低网络复杂性
  • Dynamic ViT Compression
    动态ViT根据其输入图像调整计算图

vis transformer公式

编码、输入
在这里插入图片描述
注意力权重
在这里插入图片描述
FFN
在这里插入图片描述

实现流程

主要思想是减少输入序列长度来降低计算成本
在这里插入图片描述
理论依据是

  • 粗粒度的补丁分割也可以很好地定位信息对象
  • 大多数图像在较短的序列长度内都能被ViT模型很好地识别

论文方法将vis transformer的过程分为两阶段实现

在粗推理阶段使用较小长度的标记序列实现图像识别，如果预测结果没达到阈值，进一步分割信息区域以进行细粒度识别

Coarse Inference Stage

输入
在这里插入图片描述
假设有 k 个编码器，输出为
在这里插入图片描述
再经过一个分类器 F，得到各个patch的 n-分类结果
在这里插入图片描述
取最大的分类概率值
在这里插入图片描述
使用阈值 η 来实现性能和计算之间的权衡，如果 p j c > η p^c_j > η pjc​>η，那么输出分类结果为 j 类，否则进入细推理阶段

Informative Region Identification

并不是对所有patch都进行细分，识别并重新划分这些对性能提高最有利的信息 patch
在这里插入图片描述

使用类注意力 a k 0 a^0_k ak0​ 作为分数来指示一个令牌是否具有信息

全局类注意力：此外，使用指数移动平均(EMA)将不同编码器之间的类注意结合起来，以更好地识别信息补丁
在这里插入图片描述
β = 0.99 \beta = 0.99 β=0.99 全局类注意力从第 4 个编码器开始，在最后一个编码器 α ˉ K \bar{\alpha}_K αˉK​ 中选取全局类注意力得分较高的patch

Fine Inference Stage

通过注意力权重大小对patch进行排序后，进一步限制细推理的patch数量

限定细粒度分裂后的patch数为
在这里插入图片描述
α ∈ [ 0 , 1 ] \alpha \in [0,1] α∈[0,1]提供了准确性和效率之间的权衡

α = 0表示没有很好的推断，结果 patch 最少,虽然计算上很经济，但如果测试集充满了“硬”图像，性能就会下降

α = 1导致CF-ViT精细推理阶段退化到传统的ViT模型

α设为0.5

Feature Reuse

在这里插入图片描述
经过patch限定后的输入patch为：
在这里插入图片描述
为了不丢失原有的信息，将划分前的patch信息注入到四个细粒度补丁中

如上上图所示， x ~ 0 f \tilde{x}_0^f x~0f​首先经过一个MLP映射，然后复制4份，再根据粗推理阶段的预测结果进行筛选，得到 X r = F R ( x K 1 ; x L 2 ; ⋯   ; x K N c ) X_r = FR(x^1_K;x^2_L;\cdots;x_K^{N_c}) Xr​=FR(xK1​;xL2​;⋯;xKNc​​)，然后分别与细粒度划分后的patch相加

在这里插入图片描述
简单而言，就是每个划分后的小patch应该继承划分前大patch的信息

划分后再经过一个分类器得到预测分类结果 p f p^f pf
在这里插入图片描述

实验

损失函数
在这里插入图片描述
交叉熵损失 和 Kullback-Leibler散度

使用的η = 1，这意味着对每个输入图像都会执行精细推断阶段，η值越大，进入精细推理阶段的输入越多，性能越好，但计算成本也越大，反之亦然

result

在这里插入图片描述
在这里插入图片描述

C--G
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CF-ViT：用于视觉Transformer的由粗到细的两阶段动态推理架构 | AAAI 2023
阿木寺的博客
12-07 704
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群作者：阿 甘 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/586247306此文章介绍刚被AAAI-2023会议接收的动态ViT论文 CF-ViT: A General Coarse-to-Fine Method for Vision Tra...
AAAI 2023 | CF-ViT：由粗到细的两阶段动态推理架构
Paper weekly
11-24 585
©作者 |陈锰钊单位 |厦门大学研究方向|模型压缩与加速此文章介绍刚被 AAAI 2023 会议接收的动态 ViT 论文 CF-ViT: A General Coarse-to-Fine Method for Vision Transformer。代码、训练日志、预训练模型皆已在 GitHub 上开源。论文题目：CF-ViT: A General Coarse-to-Fine Method...
CF-ViT论文粗读
qq_39520290的博客
03-10 4374
ViT 你准备用了么？ Vision Transformer 最近被我学了一下，发现其机理确实能够很好的突出数据的特征，所以性能比CNN好（在大致情况下）。但是Vision Transformer 有一个主要的缺点就是，计算量会很大，参数很多，预测新图片时间会很慢。 但是我想，后面会不会有一大批来研究如何减少模型计算量的论文，果不其然，很多啊，如下面这篇： Coarse-to-Fine Vision Transformer 论文地址：https://arxiv.org/pdf/2203.03821v1.pd
CVPR/ICML 2023 ViT最新论文解析（附下载）
最新发布
学姐带你玩AI的博客
06-07 2524
相较于CNN（卷积神经网络），视觉transformer（ViT）具有更出色的建模能力，在imagenet等基准上也取得的了更优秀的性能，这可能也是为什么近年来ViT越发热门的原因。而且最近ViT的新进展真的不少，我这段时间逛论文的时候也研读了一些，今天就简单总结了几篇个人认为很不错的文章，和大家分享分享。
视觉合集4
whaosoft143ai的博客
12-14 571
采用视觉和语言语义显式对齐的好处是，即使没有任何基于场景文本的预训练任务，LTG也可以在TextVQA数据集和ST-VQA数据集上分别提高 6.06% 和 6.92%的绝对准确性，与非预训练基线方法相比，LTG通过空间包围框连接有效地统一了视觉和文本模式，这在之前的方法中研究尚浅。视觉富文档独有的多模态属性，即文本内容，图像信息及文档整体布局的高度耦合，既加大了问题的复杂性，也为技术创新提供了新的着力点。与日俱增的新文字样式更近一步加剧了识别的困难，也对系统的泛化性提出了更高的要求whaosoft aiot
AAAI 2023 | 一种通用的粗-细视觉Transformer加速方案
CV技术指南（微信公众号）
03-13 494
本文中提出了一种由粗到精的视觉变换器（CF-ViT）来减轻计算负担，同时保持性能。CF-ViT 以两阶段的方式实现网络推理。在粗略推理阶段，输入图像被分成一个小长度的补丁序列，用于计算上经济的分类。如果没有被很好地识别，信息块将被识别并进一步以细粒度重新分割。
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，...
Transformer-in-Computer-Vision:近期基于Transformer的CV作品的纸质清单
04-19
**最后更新时间：2021/04/19更新日志2021 / April-更新了Transformer-in-Vision的所有最新论文。民意调查： （arXiv 2021.03）使用堆叠式变压器的多模式运动预测。 ， （arXiv 2021.03）具有语言和视觉的跨模态任务...
Transformer-For-CV：适用于计算机视觉任务的Transformer应用程序摘要
02-19
图像价值16x16字：用于图像识别的变压器[VIT] [ICLR 2021] [] [] DeiT：数据高效的图像变压器[arxiv2021] [] [] 侦测 DETR：使用变压器进行端到端对象检测[ECCV2020] [] [] 可变形DETR：用于端到端对象检测的可...
Vision-Transformer-Keras-Tensorflow-Pytorch-Examples:视觉变压器的Tensorflow实现（图像值得16x16字
05-30
在介绍的 Vision Transformer (ViT) 的 Tensorflow 实现，作者表明 Transformers 直接应用于图像补丁并在大型数据集上进行了预训练，在图像分类方面效果非常好。 官方文件 官方代码 文章一步一步 视觉转换器 。 ...
Expynos-vit-hack:白哈克
05-24
Exypnos-vit-hack 维特·哈克
Vision Transformer (ViT)
连理o的博客
02-11 2667
目录IntroductionMethodVision Transformer (ViT)References Introduction ViT 这篇论文提出，在图像分类任务中，CNN 并非必须的， pure Transformer 也能取得很好的效果。特别是在大量数据上预训练后再迁移到中小型数据集上时 (ImageNet, CIFAR-100, VTAB, etc.)，相比 SOTA CNNs，ViT 仅需更少的训练资源就能取得更好的效果 Method Vision Transformer (ViT)
附代码 Vision Transformer（VIT）模型解读
weixin_44543648的博客
11-06 1305
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 该论文主要介绍了如何仅仅使用Trnsformers来进行图像分类。 Transformers lack some of the inductive biases inherent to CNNs, such as translation equivariance and locality, and therefore do not generalize wel
一文解读Vision Transformer(ViT)
abbcdc的博客
03-22 2万+
Vision Transformer打破了CNN在计算机视觉领域的统治地位，仅使用一个标准的Transformer Encoder（与NLP领域中使用的Transformer相同），并在大规模数据集预训练的情况下，就能达到和CNN一样甚至更好的效果，可以说是填补了CV和NLP之间的鸿沟。
Vision Transformer打卡营来啦！朱欤博士带你从零玩转ViT爆款模型！
PaddlePaddle
11-17 448
Transformer自2017年被提出后，从横扫NLP领域的风光无二，到陷入一片对其在CV任务有效性的质疑声中，再到不久前在多项图像任务中显示出直逼CNN的优异性能 以及 ICCV202...
深度学习（十七）基于改进Coarse-to-fine CNN网络的人脸特征点定位
热门推荐
hjimce的专栏
11-29 2万+
本篇博文主要讲解2013年face++的大牛们提出的改进的DCNN模型《Extensive Facial Landmark Localization with Coarse-to-fine Convolutional Network Cascade》，发表于2013年ICCV上的一篇用于定位多个人脸特征点的文献，实现了68个人脸特征点的高精度定位。这篇paper没有给出训练数据，也没有给出测试模型、源代码等，所以源代码需要自己写，训练数据我们需要自己到IBUG网站下载，可以下载到两千多张的训练数据，这篇p
Focal Self-attention for Local-Global Interactions in Vision Transformers 论文阅读笔记
read, note and comment papers
08-17 962
Focal Self-attention for Local-Global Interactions in Vision Transformers 论文阅读笔记 这是微软的一篇文章，也是屠榜级别的力作，在COCO上达到了58.9%的map 原本的transformer对长依赖和短依赖是同时建立的，如下图这只可爱的小猫咪，注意力图可视化发现某个patch对其它patch的注意力实际上既有全局又有局部，然而对于目标检测和图像分割任务，图片分辨率较高，这样完整的注意力带来的计算负荷难以承受。 虽然有其它
图像修复之 coarse-to-fine 网络精进总结
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
10-14 3545
Image Inpainting | coarse-to-fine 网络精进总结 Generative Image Inpainting with Contextual Attention --2018 Free-Form Image Inpainting with Gated Convolution --2019 优秀解析–知乎 PEPSI : Fast Image Inpainting with Parallel Decoding Network --2019 1: PEPSI 网.
华人团队用Transformer做风格迁移，速度快、可试玩，网友却不买账
迈微AI研习社 · 号主
09-28 508
利用神经网络进行风格迁移是一项非常常见的任务，方法也很多，比如基于优化和基于 RL 的方法。最近，来自百度 VIS 团队的研究者提出了一种基于 Transformer 的风格迁移框架，速度快于基线方法，实现效果也不错。然而，研究遭到了网友的质疑，这是为什么呢？
V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer
04-04
V2X-ViT is a novel approach to cooperative perception in autonomous vehicles that leverages the power of Vision Transformers (ViT) to improve communication between vehicles and the surrounding ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值