论文:Pyramid Vision Transformer

Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

金字塔视觉Transformer: 无卷积密集预测的通用主干

PVTv1:https://arxiv.org/abs/2102.12122
代码:https://github.com/whai362/PVT

PVTv2:https://arxiv.org/abs/2106.13797
代码:https://github.com/whai362/PVT


PVTv1 架构

密集预测任务的目标是对特征图进行像素级分类或回归。目标检测和语义分割是两种典型的密集预测任务。我们的目标是在Transformer中引入金字塔结构,以便为密集的预测任务生成多尺度特征图。与CNN backbones类似,PVTv1 有四个阶段,用于生成不同比例尺的特征图(特征金字塔)。每个阶段由块(Patch)嵌入层和LiTransformer编码器层组成。下面来看LiTransformer编码器的SRA。
在这里插入图片描述


特征金字塔(Transformer)

CNN骨干网使用卷积步幅获得多尺度特征图不同,PVT使用逐步缩小策略,通过块嵌入层来控制特征图的规模。

这里,我们用 P i P_i Pi 表示第 i i i 阶段的块大小。在阶段i的开始,我们首先将输入的特征图 F i − 1 ∈ R H i − 1 × W i − 1 × C i − 1 F_{i−1}∈\mathbb R^{H_{i−1}×W_{i−1}×C_{i−1}} Fi1RHi1×Wi1×Ci1均匀划分为 H i − 1 W i − 1 P i 2 \frac{H_{i−1}W_{i−1} }{P^2_i} Pi2Hi1

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值