(九)：Pyramid Vision Transformer

最新推荐文章于 2024-05-24 14:01:26 发布
最新推荐文章于 2024-05-24 14:01:26 发布
阅读量463 收藏
点赞数
分类专栏： “情感分析”研究方向论文-精读总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37486501/article/details/115693445
版权

文献阅读：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

  • 出处：CoRR abs/2102.12122 (2021)
  • 主要内容：PVT在ViT基础上引入了和CNN类似的金字塔结构，使得PVT像CNN那样作为backbone，应用在图像分类（分割和检测）等任务。
    在这里插入图片描述

Abstract

尽管使用卷积神经网络(CNNs)作为骨干在计算机视觉领域取得了巨大的成功，但这项工作研究了一种简单的骨干网络，对于许多没有卷积的密集预测任务很有用。不同于最近提出的用于图像分类的Transformer模型(如ViT)，我们提出了金字塔视觉变压器(PVT)，它克服了将Transformer移植到各种密集预测任务中的困难。与现有技术相比，PVT有几个优点：
(1)不同于ViT，通常ViT有低分辨率的输出和高成本的计算和内存，PVT不仅可以训练图像的密度分区上实现高输出分辨率,对密集的预测是很重要的,但也使用逐步缩小金字塔减少大型特征图的计算。
(2) PVT继承了CNN和Transformer的优点，通过简单地替换CNN骨干，使其成为各种视觉任务中不需要卷积的统一骨干。
(3)我们通过大量的实验验证了PVT，表明它提高了许多下游任务的性能，例如对象检测、语义和实例分割。例如，在相当数量的参数下，RetinaNet+PVT在COCO数据集上获得了40.4个AP，超过了RetinNet+ResNet50(36.3个AP)的4.1个绝对AP(见图2)。我们希望PVT可以作为像素级预测的

了解本专栏 订阅专栏 解锁全文
Laura_Wangzx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Transformer系列：Pyramid Vision Transformer （ICCV2021）
weixin_34992700的博客
06-23 1982
PVT overcomes the difficulties of porting Transformer to various dense prediction tasks.
论文：Pyramid Vision Transformer
cztAI的博客
07-25 1693
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 金字塔视觉Transformer: 无卷积密集预测的通用主干 PVTv1：https://arxiv.org/abs/2102.12122 代码：https://github.com/whai362/PVT PVTv2：https://arxiv.org/abs/2106.13797 代码：https://github.com/
大白话Pyramid Vision Transformer
我爱计算机视觉
03-02 5328
本文转载自知乎，已获作者授权转载。链接：https://zhuanlan.zhihu.com/p/353222035TL;DR这个工作把金字塔结构引入到Transformer[1]中，使得...
论文笔记 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
最新发布
985小菜鸡
05-24 1028
通过以上设计，PVT不仅能够替代CNN骨干，还能在各种视觉任务中提供更好的性能，特别是在需要高分辨率和多尺度特征的任务中。通过以上贡献，PVT不仅解决了传统Transformer在密集预测任务中的困难，还在多个任务中展现出优越的性能，证明了其作为新型视觉骨干网络的潜力。PVT的设计使得其在资源消耗、灵活性和性能方面均具有显著优势。PVT模型被分为四个阶段，每个阶段由一个补丁嵌入层和若干个Transformer编码器层组成。
Pyramid Vision Transformer（PVT）: 纯Transformer设计，用于密集预测的通用backbone
热门推荐
AI数据工厂
03-15 1万+
本文主要提出了一个纯Transformer的模型——PVT，可以作为下游密集预测的backbone使用。还设计了一个渐进缩减金字塔和一个空间缩减注意力层，在有限的资源下获取多尺度的、更高分辨率的输出。
二十六章：Pyramid Vision Transformer ——金字塔视觉Transformer:一种无卷积的用于密集预测的多功能主干网络
ADICDFHL的博客
07-20 672
虽然卷积神经网络（CNN）在计算机视觉领域取得了巨大成功，但本研究探讨了一种更简单、无卷积的骨干网络，适用于许多密集预测任务。与最近提出的专门用于图像分类的Vision Transformer（ViT）不同，我们引入了克服了将Transformer应用于各种密集预测任务的困难。与当前最先进的方法相比，PVT具有几个优点：（1）与通常输出低分辨率结果且计算和内存开销较高的ViT不同，
Pyramid Vision Transformer (PVT) 代码，用于密集预测的通用backbone
03-29
Pyramid Vision Transformer (PVT) Transformer设计，用于密集预测的通用backbone.该资源包含Pyramid Vision Transformer及Pyramid Vision Transformer v2相关的图像分类、目标检测、实例分割代码。
pyramid_cachebust:Pyramid 的缓存破坏
07-01
安装通过点子： pip install pyramid_cachebust设置通过include方法添加到您的配置器： config = Configurator()config.include('pyramid_cachebust')config.add_static_view('static', 'myapp:static')现在pyramid....
pypharaoh:Pyramid 实用程序类
06-22
法老王 金字塔公用事业 班级 SRBB 平台堆栈 这是我们的基本应用程序堆栈。 它包括以下主要模块。 主要平台 网络服务器框架 数据库抽象。... 浏览器的模块化 Javascript。...api ， admin和web模块可能不会相互引用，因为...
pyramid-social-auth:Pyramid 的简单身份验证
06-25
**Pyramid 社交认证：构建灵活的身份验证系统** Pyramid 是一个强大的 Python Web 开发框架，它提供了高度可扩展性和灵活性，使得开发者能够轻松构建从小型应用到大型复杂系统的各种项目。`pyramid-social-auth` 是...
pyramid_fullauth:Pyramid fullauth的目标是通过用户管理为金字塔提供完整的插件注册功能
04-06
pyramid_fullauth 金字塔fullauth为基于的Web...包装资源错误跟踪器： ： 文档： : PyPI： ：//pypi.python.org/pypi/pyramid_fullauth测验您将需要：在extra_requires [tests]中定义的包以运行测试，然后： py.test
MyDLNote-Transformer : Pyramid Vision Transformer 一个无卷积的密集预测通用Backbone
u014546828的博客
07-05 664
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions paperhttps://arxiv.org/pdf/2102.12122.pdf Code is available at https://github.com/whai362/PVT Note:ImprovedPyramid Vision Transformer, PVTv2: Improved Baseli...
PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_52302919的博客
11-11 4051
论文地址：https://arxiv.org/pdf/2106.13797.pdf代码地址： https://github.com/whai362/PVT。
论文阅读：PVT v2: Improved Baselines with Pyramid Vision Transformer
qq_53086461的博客
11-08 1441
尽管卷积神经网络(cnn)在计算机视觉领域取得了巨大的成功，但本研究研究的是一种更简单、无卷积的骨干网络，可用于许多密集的预测任务。与最近提出的专门为图像分类而设计的视觉转换器(Vision Transformer, ViT)不同，我们引入了金字塔视觉转换器(Pyramid Vision Transformer, PVT)，它克服了将Transformer移植到各种密集预测任务中的困难。与目前的技术相比，PVT有几个优点。
​PVTv2来了！金字塔视觉Transformer重磅升级！三点改进，性能大幅提升
阿木寺的博客
06-29 8382
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalkerPVTv2: Improved Baselines with Pyramid Vision ...
PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout Convolutions
qq_52053775的博客
11-05 2457
VIT很难用于密集检测任务，作者提出了PVT，(1)不同于产生低分辨率输出和引起高计算和内存成本的VIT，PVT不仅可以训练密集分区的图像来实现高输出分辨率，也使用图像金字塔来减少大型特征地图的计算。(2) PVT继承了CNN和transformer的优点，使其成为各种transformer架构的视觉任务的统一骨干，可以作为CNN骨干的直接替代。图3描述了PVT的概述。结合我们的PVT和DETR，我们可以构建一个端到端目标检测系统，而不需要卷积和手工制作的组件，如密集的锚点和非最大抑制（NMS）。
【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
m0_61899108的博客
08-22 2829
PVT 把金字塔结构引入到Transformer中，使其可以无缝接入各种下游任务。简单调整Multi-Head Attention，提出spatial reduction attention。本文仿照CNNs中常见的金字塔结构，改进原始的Transformer，划分多个stage，每个stage的长宽减半，通道维度增加，再把多个stage进行叠加。以应用于分类、检测、分割等任务。
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
jipinzhuo93的博客
03-05 2048
A. 问题 首先，对于dense prediction tasks，完全无卷积的的transformer backbone少有人研究。而VIT作为用在图像分类任务的完全transformer结构，很难直接应用于像素级别的dense prediction，例如目标检测与分割。原因：（1）只有一个尺度的低分辨率输出 （2）内存与计算复杂度限制。 为了解决完全transformer对于dense prediction的限制，提出PVT，与vit相比，好处（1）输入输出可以更小（4x4,...
PVT：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions论文学习
dawnyi_yang的博客
04-04 2807
目录摘要论文结构方法CNN金字塔结构Transformer编码器维度分析实验及结果图像分类目标检测其他 摘要 PVT是把金字塔结构引入到Transformer中，使得它可以像ResNet那样无缝接入到各种下游任务中（如：物体检测，语义分割），同时也取得了非常不错的效果。 论文地址：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 代码地址：PVT 论文结构 第一部分介绍了以C
pyramid vision transformer: a
08-22
- *1* [PVT论文精读:Pyramid Vision Transformer: A Versatile Backbone for Dense Predictionwithout ...](https://blog.csdn.net/qq_52053775/article/details/127700540)[target="_blank" data-report-click={...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值