Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

最新推荐文章于 2024-05-24 14:01:26 发布
最新推荐文章于 2024-05-24 14:01:26 发布
阅读量2k 收藏 7
点赞数 1
分类专栏： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jipinzhuo93/article/details/114401367
版权
 

A. 问题

首先，对于dense prediction tasks，完全无卷积的的transformer backbone少有人研究。而VIT作为用在图像分类任务的完全transformer结构，很难直接应用于像素级别的dense prediction，例如目标检测与分割。

原因：（1）只有一个尺度的低分辨率输出 （2）内存与计算复杂度限制。

为了解决完全transformer对于dense prediction的限制，提出PVT，与vit相比，

好处（1）输入输出可以更小（4x4, vit是32x32），从而产生高分辨率的输出。（2）提出渐进收缩金字塔结构（progressive shringkin pyramid）显著减少计算量 （3）提出空间减少注意力层，进一步减少计算量(spatial-reduction attention)。

与CNN相比，PVT在每一步的特征提取过程中都考虑了全局感受野。

此外，有一个小问题，作者在介绍vision transformer相关工作的时候，这句话不知如何理解。

B. 方法

（1） 整体结构，有{F1,F2,F3,F4}四个级别的输出。

（2）金字塔结构

不同stage的结构是share的，控制输出的方法如下。

（3）Encoder

 

提出Spatial-Reduction Attention(SRA)替代MHA，减少计算量。不同之处在于SRA会降低K和V的大小。

C. 实验

（1）分类

1.28million训练，50k验证，1000类。8个V100，300epochs。没说训练时间。

（2）目标检测

COCO train2017数据集 （118kimage）,5k验证， 8 v100, batch 16。

（3）语义分割

ADE20K, 150类，20210张图训练。先在imagenet pre-train。4 v100, batch size 16, 80k循环。

（4）纯transformer（PVT+other transformer完成检测分割）

（5）消融实验

- Pyramid Structure: 4x4 patch效果

- Deeper vs Wider: deep 更有用

- 预训练

- 计算消耗

Splatoon7
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及代码解析
Hide on bush
09-27 3026
Pyramid Vision Transformer1. Abstract2. Introduction3. Method3.1. Overall Architecture3.2. Transformer Encoder3.3. More Details4. PVT-V1代码解析4.1. main脚本4.2. pvt脚本4.2.1. PyramidVisionTransformer类的init4.2.2. PyramidVisionTransformer类的forward 论文地址：PVT-V1版本论文
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 432
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 2396
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
PVT：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文学习
dawnyi_yang的博客
04-04 2796
目录摘要论文结构方法CNN金字塔结构Transformer编码器维度分析实验及结果图像分类目标检测其他 摘要 PVT是把金字塔结构引入到Transformer中，使得它可以像ResNet那样无缝接入到各种下游任务中（如：物体检测，语义分割），同时也取得了非常不错的效果。 论文地址：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 代码地址：PVT 论文结构 第一部分介绍了以C
论文笔记 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
最新发布
985小菜鸡
05-24 1016
通过以上设计，PVT不仅能够替代CNN骨干，还能在各种视觉任务中提供更好的性能，特别是在需要高分辨率和多尺度特征的任务中。通过以上贡献，PVT不仅解决了传统Transformer在密集预测任务中的困难，还在多个任务中展现出优越的性能，证明了其作为新型视觉骨干网络的潜力。PVT的设计使得其在资源消耗、灵活性和性能方面均具有显著优势。PVT模型被分为四个阶段，每个阶段由一个补丁嵌入层和若干个Transformer编码器层组成。
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
m0_61899108的博客
08-22 2818
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
Pyramid Vision Transformer（PVT）
quan18833830265的博客
07-26 186
原文链接：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) our PVT overcomes the difficulties of the conventional Transformer by (1) taking fine-grained image patches (i.e., 4×4 pixels per patch
Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone
03-29
Pyramid Vision Transformer (PVT) Transformer设计，用于密集预测的通用backbone.该资源包含Pyramid Vision Transformer及Pyramid Vision Transformer v2相关的图像分类、目标检测、实例分割代码。
聚四氟乙烯
03-04
金字塔视觉变压器：适用于无卷积的密集预测的多功能... 如果您将此代码用于论文，请引用： @misc{wang2021pyramid, title={Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convoluti
pyramid_basemodel：金字塔SQLAlchemy应用程序的全局基类
02-28
pyramid_basemodel pyramid_basemodel是一个瘦的低级软件包，提供SQLAlchemy声明性Base和线程本地范围的Session ，可以由不同的软件包使用，而只需要绑定一次db引擎即可。用法您可以将它们用作声明性模型定义的基类...
pyramid_cachebust:Pyramid 的缓存破坏
07-01
安装通过点子： pip install pyramid_cachebust设置通过include方法添加到您的配置器： config = Configurator()config.include('pyramid_cachebust')config.add_static_view('static', 'myapp:static')现在pyramid....
pyr.tar.gz_For You I Will_blending_pyramid
09-24
For example, in image stitching, you will need to stack two images together, but it may not look good due to discontinuities between images. In that case, image blending with Pyramids gives you ...
Vision Transformer之Pyramid Vision Transformer
画心
02-27 3691
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2
zhe470719的博客
05-17 8439
目录详情 详情 名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文 代码：官方代码 笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions【ICCV2021】
Iron_lyk Blog
05-22 325
Paper: https://openaccess.thecvf.com/content/ICCV2021/papers/Wang_Pyramid_Vision_Transformer_A_Versatile_Backbone_for_Dense_Prediction_Without_ICCV_2021_paper.pdf Code: https://github.com/whai362/PVT 目录 文章动机 Pyramid Vision Transformer(PVT) 启发 文章动机.
论文阅读：PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_53086461的博客
11-08 1424
尽管卷积神经网络(cnn)在计算机视觉领域取得了巨大的成功，但本研究研究的是一种更简单、无卷积的骨干网络，可用于许多密集的预测任务。与最近提出的专门为图像分类而设计的视觉转换器(Vision Transformer, ViT)不同，我们引入了金字塔视觉转换器(Pyramid Vision Transformer, PVT)，它克服了将Transformer移植到各种密集预测任务中的困难。与目前的技术相比，PVT有几个优点。
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1693
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
Vision Transformer详解
热门推荐
霹雳吧啦Wz
06-26 24万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
一文解读Vision Transformer(ViT)
abbcdc的博客
03-22 2万+
Vision Transformer打破了CNN在计算机视觉领域的统治地位，仅使用一个标准的Transformer Encoder（与NLP领域中使用的Transformer相同），并在大规模数据集预训练的情况下，就能达到和CNN一样甚至更好的效果，可以说是填补了CV和NLP之间的鸿沟。
pyramid vision transformer: a
08-22
Pyramid Vision Transformer (PVT)是一种用于密集预测的通用backbone，它是一种基于Transformer的设计。PVT的整体架构包括了Transformer编码器和其他细节。PVT的设计使得它可以应用于图像分类、目标检测和实例分割等任务。 PVT的整体架构包括了Transformer编码器和其他细节。Transformer编码器是PVT的核心组件，它通过自注意力机制和全连接层来建模输入图像的关系。PVT还采用了金字塔结构，通过在不同尺度上应用Transformer来捕捉图像中的多尺度信息。这种金字塔结构可以提高PVT在密集预测任务中的性能。 PVT还提供了相应的代码实现，包括了图像分类、目标检测和实例分割的代码。这些代码可以帮助研究人员和开发者更好地理解和应用PVT模型。 论文地址：PVT-V1版本论文 源码地址：PVT-v1-torch源码<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout ...](https://blog.csdn.net/qq_52053775/article/details/127700540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone](https://download.csdn.net/download/weixin_42715977/87625056)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及...](https://blog.csdn.net/m0_45971439/article/details/120495124)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值