Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions【ICCV2021】

最新推荐文章于 2023-08-22 19:36:47 发布
最新推荐文章于 2023-08-22 19:36:47 发布
阅读量320 收藏
点赞数
分类专栏： 论文阅读笔记 文章标签： transformer 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DUDUDUTU/article/details/124917016
版权

Paper: https://openaccess.thecvf.com/content/ICCV2021/papers/Wang_Pyramid_Vision_Transformer_A_Versatile_Backbone_for_Dense_Prediction_Without_ICCV_2021_paper.pdf

Code: https://github.com/whai362/PVT

目录

文章动机

 Pyramid Vision Transformer(PVT)

启发

文章动机

许多CNN Backbones使用金字塔结构来完成目标检测、实例分割等任务，本文将CNN中的金字塔结构引入到Transformer中去，来生成multi-scale（多尺度）的特征图，来更好的完成这些任务。

 Pyramid Vision Transformer(PVT)

金字塔的结构如上图所示，由于本文方法对目前想做的研究没有太大的帮助，所以没细看。

启发

比较有意思的是在Encoder部分，作者在进行multi-head attention之前，将K和V的空间尺寸进行了缩减，目的是为了减小计算量。

 启发于本文中如下左图的机制，对于一个query，更新时可以并不是对所有的query进行attention，而是对欧氏空间中距离最近的local进行attention，其他的不care。（ps ： 这种想法很直接，可能已有人做）

Iron_lyk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及代码解析
Hide on bush
09-27 3008
Pyramid Vision Transformer1. Abstract2. Introduction3. Method3.1. Overall Architecture3.2. Transformer Encoder3.3. More Details4. PVT-V1代码解析4.1. main脚本4.2. pvt脚本4.2.1. PyramidVisionTransformer类的init4.2.2. PyramidVisionTransformer类的forward 论文地址：PVT-V1版本论文
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 429
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
jipinzhuo93的博客
03-05 2039
A. 问题 首先，对于dense prediction tasks，完全无卷积的的transformer backbone少有人研究。而VIT作为用在图像分类任务的完全transformer结构，很难直接应用于像素级别的dense prediction，例如目标检测与分割。原因：（1）只有一个尺度的低分辨率输出 （2）内存与计算复杂度限制。 为了解决完全transformer对于dense prediction的限制，提出PVT，与vit相比，好处（1）输入输出可以更小（4x4,...
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
最新发布
m0_61899108的博客
08-22 2777
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
PVT(Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions)
GY-赵的博客
08-30 428
大小的patch，计算transformer所需的资源巨大， 因此必须想办法减少计算代价。作者这里主要使用一种SRA的方法，将计算attention需要的输入 K，V通过一个线性投影，减少计算维度。attention的计算还是以前的公式。通过这些公式，可以计算出 Attention(·) 操作的计算/内存成本比 MHA 低。倍，因此它可以在资源有限的情况下处理更大的输入特征图/序列。的图片，经过一个PatchEmbeeding将其分割成。作为下一阶段的输入，以此类推可以得到不同分辨率的。.........
Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone
03-29
Pyramid Vision Transformer (PVT) Transformer设计，用于密集预测的通用backbone.该资源包含Pyramid Vision Transformer及Pyramid Vision Transformer v2相关的图像分类、目标检测、实例分割代码。
聚四氟乙烯
03-04
金字塔视觉变压器：适用于无卷积的密集预测的多功能... 如果您将此代码用于论文，请引用： @misc{wang2021pyramid, title={Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convoluti
pyramid_basemodel：金字塔SQLAlchemy应用程序的全局基类
02-28
pyramid_basemodel pyramid_basemodel是一个瘦的低级软件包，提供SQLAlchemy声明性Base和线程本地范围的Session ，可以由不同的软件包使用，而只需要绑定一次db引擎即可。用法您可以将它们用作声明性模型定义的基类...
pyr.tar.gz_For You I Will_blending_pyramid
09-24
For example, in image stitching, you will need to stack two images together, but it may not look good due to discontinuities between images. In that case, image blending with Pyramids gives you ...
pyramid_cachebust:Pyramid 的缓存破坏
07-01
安装通过点子： pip install pyramid_cachebust设置通过include方法添加到您的配置器： config = Configurator()config.include('pyramid_cachebust')config.add_static_view('static', 'myapp:static')现在pyramid....
PVT：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文学习
dawnyi_yang的博客
04-04 2771
目录摘要论文结构方法CNN金字塔结构Transformer编码器维度分析实验及结果图像分类目标检测其他 摘要 PVT是把金字塔结构引入到Transformer中，使得它可以像ResNet那样无缝接入到各种下游任务中（如：物体检测，语义分割），同时也取得了非常不错的效果。 论文地址：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 代码地址：PVT 论文结构 第一部分介绍了以C
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 2259
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
[论文评析] ArXiv-2021,Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convo
MasterQKK
08-11 626
Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convolutions Image-level prediction task Pixel-level dense prediction task 提出了所谓的Pyramid Vision Transformer (PVT), PVT可以作为各种密集预测任务的backbone。进一步将PVT个DETR结合可以构建端到端的目标检测系统， 无需Conv. o
Vision Transformer之Pyramid Vision Transformer
画心
02-27 3685
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1689
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
Pyramid Vision Transformer（PVT）
quan18833830265的博客
07-26 181
原文链接：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) our PVT overcomes the difficulties of the conventional Transformer by (1) taking fine-grained image patches (i.e., 4×4 pixels per patch
【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2
zhe470719的博客
05-17 8222
目录详情 详情 名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文 代码：官方代码 笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...
Pyramid Vision Transformer 论文笔记
Tianchao龙虾
09-04 1355
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions PVT 论文链接: https://arxiv.org/abs/2102.12122 一、 Problem Statement 提出一个类似于CNN中的pyramid 结构，使得Transformer结构适用于多种dense prediction task。 二、 Direction 采用4x4大小的image patch作
(九)：Pyramid Vision Transformer
Wangzx的博客
04-14 461
文献阅读：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without ConvolutionsAbstract1. Introduction2. Related Work2.1. Convolutional Backbones in Computer Vision2.2. Dense Prediction Tasks 密集预测任务2.3. Self-Attention and Transformer in Vis
pyramid vision transformer: a
08-22
- *3* [Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及...](https://blog.csdn.net/m0_45971439/article/details/120495124)[target="_blank" data-report-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值