Transformer系列：Pyramid Vision Transformer （ICCV2021）

已于 2022-06-23 11:35:53 修改
阅读量1.9k 收藏 6
点赞数
分类专栏： Transformer Object detection Classification 文章标签： transformer 深度学习 人工智能
于 2022-06-23 11:29:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34992700/article/details/125423587
版权

1. Motivation

ViT输出的feature map是single-scale和low-resolution的，难以用于pixel-level dense prediction任务中（比如目标检测和分割）。对于常用的图像输入大小（COCO中的800 shorter edge），ViT的计算量和占用内存很大。

2. Contribution

提出PVT， 可以代替CNN用于很多下游任务中，包括image-level和pixel-level prediction，是第一个纯transformer的backbone。1）PVT能输入很小的image patch（4*4），以学习高分辨率的特征。2）为了减小计算量，引入逐渐缩小的金字塔结构，即随着网络加深，减少sequence length。3）采用spatial-reduction attention (SRA) 进一步减少资源消耗。

3. Methods

 3.1 Overall Architecture

Patch embedding：将图像划分为4*4大小的patch，拉成向量，经过linear projection，得到patch embedding（疑问：本文声称没有卷积层，但这不就是核为4*4，stride为4的卷积层吗？）。

加上position embedding后输入至transformer encoder block。一共四个block，将feature map大小逐渐降4，8，16，32倍（相对于原图大小）。

3.2 Feature Pyramid for Transformer

CNN中使用stride得到multi-scale feature map，本文首先将第i个stage的feature map划分为Pi * Pi大小的patch，每个patch拉成向量，映射成Ci维度的embedding，最后得到H_{i-1}/Pi  * W_{i-1}/Pi * Ci 大小的feature map 。（其实就是带

最低0.47元/天 解锁文章
CV小白升级中
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pyramid Vision Transformer: A Versatile Backbone for De
禅与计算机程序设计艺术
10-11 644
作者：禅与计算机程序设计艺术 1.背景介绍 在计算机视觉领域，目前最火热的技术主要包括卷积神经网络(CNN)、注意力机制（Attention）、Transformer等。其中，CNN和注意力机制都是可以用于解决各种图像处理任务的基础性方法。但是，它们都存在局限性，比如在特征提取和定位方面表现不佳，甚
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及代码解析
Hide on bush
09-27 2995
Pyramid Vision Transformer1. Abstract2. Introduction3. Method3.1. Overall Architecture3.2. Transformer Encoder3.3. More Details4. PVT-V1代码解析4.1. main脚本4.2. pvt脚本4.2.1. PyramidVisionTransformer类的init4.2.2. PyramidVisionTransformer类的forward 论文地址：PVT-V1版本论文
Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone
03-29
Pyramid Vision Transformer (PVT) Transformer设计，用于密集预测的通用backbone.该资源包含Pyramid Vision Transformer及Pyramid Vision Transformer v2相关的图像分类、目标检测、实例分割代码。
【YOLO改进】换遍MMDET主干网络之Pyramid Vision Transformer（PVT）（基于MMYOLO）
最新发布
Vlone_pp的博客
05-11 558
Pyramid Vision Transformer（PVT）是一种深度学习模型，它结合了Transformer架构和金字塔结构，旨在将Transformer的强大能力引入计算机视觉任务中，特别是那些需要密集预测的任务，如目标检测、语义分割等。PVT的主要特点在于其金字塔结构的设计。与原始的Vision Transformer（ViT）相比，PVT在多个阶段使用了不同尺度的特征图，从而形成了金字塔结构。这种设计使得PVT能够捕获不同尺度的特征信息，提高了模型对图像中不同大小目标的处理能力。
(九)：Pyramid Vision Transformer
Wangzx的博客
04-14 458
文献阅读：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without ConvolutionsAbstract1. Introduction2. Related Work2.1. Convolutional Backbones in Computer Vision2.2. Dense Prediction Tasks 密集预测任务2.3. Self-Attention and Transformer in Vis
大白话Pyramid Vision Transformer
我爱计算机视觉
03-02 5294
本文转载自知乎，已获作者授权转载。链接：https://zhuanlan.zhihu.com/p/353222035TL;DR这个工作把金字塔结构引入到Transformer[1]中，使得...
Pyramid Vision Transformer（PVT）: 纯Transformer设计，用于密集预测的通用backbone
热门推荐
AI数据工厂
03-15 1万+
本文主要提出了一个纯Transformer的模型——PVT，可以作为下游密集预测的backbone使用。还设计了一个渐进缩减金字塔和一个空间缩减注意力层，在有限的资源下获取多尺度的、更高分辨率的输出。
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1684
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
MyDLNote-Transformer : Pyramid Vision Transformer 一个无卷积的密集预测通用Backbone
u014546828的博客
07-05 657
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions paperhttps://arxiv.org/pdf/2102.12122.pdf Code is available at https://github.com/whai362/PVT Note:ImprovedPyramid Vision Transformer, PVTv2: Improved Baseli...
Transformer Model: Attention without RNN
10-15
深入浅出理解Attention机制 深入浅出理解Transformer原理 Transformer Model Attention for Seq2Seq Model Attention without RNN Self-Attention without RNN
从RNN到Attention到Transformer系列：Encode-Decode(Seq2Seq)代码实现
05-30
​ 介绍从RNN到Attention到Transformer系列中Decode-Encode(Seq2Seq) https://blog.csdn.net/qq_39707285/article/details/124726403
Vision in Transformer全文翻译
04-14
ViT的全文翻译，结构同原文保持一致。 1.全文翻译的markdown原文件 2.全文翻译的PDF 3..ViT的原文 4.知识点总结的博客http://t.csdn.cn/PLzkf 逐字逐句翻译Vision in Transformer
Transformer实战-系列教程7：SwinTransformer 源码解读
02-05
与传统的Transformer相比，Swin Transformer通过采用分层结构和窗口内注意力机制，实现了更高效的计算和更好的适用性于图像识别、目标检测和语义分割等任务 1. 层次化特征表示 Swin Transformer通过构建层次化的特征...
搞懂 Vision Transformer 原理和代码系列
01-19
搞懂 Vision Transformer 原理和代码.pdf 搞懂 Vision Transformer 原理和代码.xlsx
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
m0_61899108的博客
08-22 2751
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
【论文笔记】Feature Pyramid Transformer(特征金字塔转换器) (ECCV 2020)
qq_37194898的博客
08-17 7180
文章目录论文信息一、特征金字塔二、本文论文的内容1.引入库2.读入数据总结 论文信息 一、特征金字塔 在介绍这篇文章前，首先需要了解一下特征金字塔：这篇论文是CVPR2017年的文章，采用特征金字塔代替了传统的Scale handling 方法 论文链接： https://arxiv.org/pdf/1612.03144.pdf https://blog.csdn.net/xiamentingtao/article/details/78598027 https://github.com/kuangli
PVT：Pyramid Vision Transformer 能接受高分图像的Transformer骨干网
prinTao的博客
10-19 214
参考资料 https://blog.csdn.net/weixin_44966641/article/details/118733341 http://jalammar.github.io/illustrated-transformer/ https://www.cnblogs.com/jins-note/p/14815511.html Transformer结构 Encoder-Decoder Transformer结构可以表示为Encoder和Decoder两个部分。Encoder和Decoder主要由
PVT(Pyramid Vision Transformer)算法整理
gentlelu的博客
06-11 3813
整体架构
PVT(Pyramid Vision Transformer)学习记录
pengxiang1998的博客
05-16 2054
x为torch.Size([2, 3136, 64])，首先经过permute进行维度变换为torch.Size([2, 64,3136]),随后经过reshape为：torch.Size([2, 64, 56, 56])值得注意的是，只有stage1上patch=4，在后面的三个stage上patch都为2，这样也就参考卷积，其是一个二倍大小的关系。首先我们的输入图片为torch.Size([2, 3, 224, 224])，即batch-size=2，channel=3，W=H=224。
pyramid vision transformer: a
08-22
Pyramid Vision Transformer (PVT)是一种用于密集预测的通用backbone，它是一种基于Transformer的设计。PVT的整体架构包括了Transformer编码器和其他细节。PVT的设计使得它可以应用于图像分类、目标检测和实例分割等任务。 PVT的整体架构包括了Transformer编码器和其他细节。Transformer编码器是PVT的核心组件，它通过自注意力机制和全连接层来建模输入图像的关系。PVT还采用了金字塔结构，通过在不同尺度上应用Transformer来捕捉图像中的多尺度信息。这种金字塔结构可以提高PVT在密集预测任务中的性能。 PVT还提供了相应的代码实现，包括了图像分类、目标检测和实例分割的代码。这些代码可以帮助研究人员和开发者更好地理解和应用PVT模型。 论文地址：PVT-V1版本论文 源码地址：PVT-v1-torch源码<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout ...](https://blog.csdn.net/qq_52053775/article/details/127700540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone](https://download.csdn.net/download/weixin_42715977/87625056)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文以及...](https://blog.csdn.net/m0_45971439/article/details/120495124)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值