论文笔记：Vision Transformers for Dense Prediction

已于 2023-02-17 13:54:38 修改
阅读量736 收藏 2
点赞数
分类专栏： 深度估计 Backbone 文章标签： 论文阅读 深度学习 计算机视觉 Transformer 单目深度估计
于 2023-02-15 10:50:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blueag1e/article/details/129025337
版权

中文标题: 密集预测的视觉Transformers

创新点

  • DPT是一种密集预测架构，它基于编码器-解码器的设计，利用一个Transformer作为编码器的基本模块。具体来说，我们使用最近提出的ViT作为主干架构。
  • 我们将ViT提供的tokens表示重新组合成不同分辨率的类图像特征表示，并使用卷积解码器逐步将特征表示组合到最终的密集预测中。
  • 与全卷积网络不同，视觉Transformer主干在计算出初始图像嵌入后放弃了显式的降采样操作，并在所有处理阶段保持了恒定维数的表示。此外，它在每个阶段都有一个全球性的接受域。

算法介绍

网络结构

在这里插入图片描述

Transformer 编码器
  • 在高层次，ViT将图像转换为词袋表示的Patches。这些Patches作为“单词”独立编码到特征空间，我们将这些“单词”作为tokens,使用一系列多头自注意力机制来与其他的tokens进行联系。
  • 使用Resnet50作为Embedding编码器。
  • 由于Transformer是设定到集（set-to-set）函数，所以不保留tokens的空间位置信息。因此可以通过合并enbeddings补充这部分信息。
  • 见结构图左。
卷积解码器
  • 提出的解码器将一组tokens组装成不同分辨率的图像特征表示。特征逐步被融合进最终的密集预测中。
  • 提出了一个简单三层Reassemble操作从tokens恢复到图像表示。
    在这里插入图片描述
  • s是输出特征与输入图像的尺寸比
  • 见图中
  1. 首先将 N p + 1 N_p + 1 Np​+1个tokens 按照图像排列到 N p N_p Np​ ,但是 read out token虽然在密集预测任务中没有明确的作用，但潜在地捕捉、区分全局信息，因此设计了三种不同地方法：无视，加在所有的tokens上，使用MLP结合到所有tokens上。（从后面的Abltion study 可知MLP方法和Ignore方法没有明显优略）
    在这里插入图片描述
  2. 然后我们使用一个空间连接操作，组合得到特征图：在这里插入图片描述
  3. 使用空间重采样层对特征进行进一步的特征提取。（1x1卷积，3x3卷积或反卷积）
    在这里插入图片描述
  • 最后我们以较低的分辨率的特征来融合来自Transformer深层的特征，而来自浅层的特征则以较高的分辨率融合。
  • 如果使用ViT-Hybrid模型，则分别使用Resnet以及ViT的特征在Decoder进行融合。

实验介绍

  • 文章把DPT应用在：单目深度估计以及语义分割任务中。

单目深度估计

  • 论文中认为Transformer只有在大量数据上进行训练效果才会好，因此可以在不同数据集间迁移，达到很好的训练效果。
  • 文章训练了60个Epoches。

参考文献

[1] Ranftl R, Bochkovskiy A, Koltun V. Vision transformers for dense prediction[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 12179-12188.

BlueagleAI
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Vision Transformers for Dense Prediction
weixin_42821501的博客
05-24 2602
paper：https://arxiv.org/abs/2103.13413 code：https://github.com/intel-isl/DPT Abstract 我们引入了密集视觉转换器，这是一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。我们将视觉转换器的各个阶段的tokens组合成各种分辨率的类图像表示，并使用卷积解码器逐步将它们组合成全分辨率预测。转换器的主干过程表示在一个恒定的和相对高的分辨率，并在每个阶段有一个全局感受野。与完全卷积网络相比，这些属性允许密集视觉转换器提供更细粒
【论文笔记】Vision Transformers for Dense Prediction
m0_58678659的博客
04-22 5374
提出了基于 ViT 为主干架构的 Vision Transformer
【Transformer】11、DPT: Vision Transformer for Dense Prediction
呆呆的猫的博客
11-09 4062
文章目录一、背景和动机二、方法2.1 Transformer encoder2.2 Convolutional decoder2.3 处理不同输入大小三、效果3.1 单目深度估计3.2 语义分割 论文链接：https://arxiv.org/pdf/2103.13413.pdf 代码链接：https://github.com/intel-isl/DPT 一、背景和动机 现有的密集预测模型大都是基于卷积神经网络的模型，基本上都把网络分为两部分： encoder：也就是 backbone decoder：
Vision Transformers for Dense Prediction论文笔记
qq_43428929的博客
04-14 1041
本篇论文主要提出一种网络，基于Transformer去进行密集预测。众所周知，对于密集预测任务，常见的网络架构为Encoder+Decoder结构。当Encoder提取的特征有损时，Decoder很难去进行恢复。但是目前常用的卷积网络架构常常使用下采样方式，**逐步增加感受野，将低级特征分组为抽象的高级特征，同时确保网络的内存和计算需求保持易于处理。**但是，下采样有一个明显的缺点，特征分辨率和粒度（我感觉这里的粒度像是细粒度特征）在模型的更深层特征丢失，在Decoder中难以恢复。
DiffiT- Diffusion Vision Transformers for Image Generation
最新发布
03-26
《DiffiT: Diffusion Vision Transformers for Image Generation》是一篇由Ali Hatamizadeh、Jiaming Song、Guilin Liu、Jan Kautz和Arash Vahdat等来自NVIDIA的研究人员共同撰写的论文。该研究探讨了在扩散模型...
Transformers_for_Text_Classification：基于Transformers的文本分类
02-03
Transformers_for_Text_Classification基于Transformers的文本分类基于最新的出品的v2.2.2代码进行重构。为了保证代码日后可以直接复现而不出现兼容性问题，这里将放到本地进行调用。强调支持transformer模型后接...
DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT D
11-25
DEFORMABLE DETR是针对端到端对象检测的一项创新性工作，它是在DETR（DEtection TRansformer）基础上的改进版本，旨在解决DETR在训练速度慢和特征空间分辨率有限的问题。DETR由Carion等人在2020年提出，首次实现了...
convolution-vision-transformers:CvT的PyTorch实现
04-01
size ()) for p in parameters ]) / 1_000_000 print ( 'Trainable Parameters: %.3fM' % parameters ) out = model ( img ) print ( "Shape of out :" , out . shape ) # [B, num_classes] 引
Transformers for Natural Language Processing.pdf
11-12
《Transformers for Natural Language Processing》是一本深入探讨自然语言处理（NLP）领域的专著，主要聚焦于Transformer架构，这是由Google等领先科技公司引入的一种革新性深度学习模型。本书旨在教你如何使用...
2021-Vision Transformers for Dense Prediction
weixin_43985824的博客
03-23 798
几乎所有现有的密集预测架构都是基于卷积网络的[6,31,34,42,49,50,53]。密集预测架构的设计通常遵循一种模式，即逻辑上将网络分为编码器和解码器。编码器通常基于图像分类网络(也称为骨干网络)，该网络在大型语料库(如ImageNet)上进行预训练[9]。解码器聚合来自编码器的特征，并将它们转换为最终的密集预测。密集预测的架构研究往往集中在解码器及其聚合策略上[6,7,50,53]。然而，人们普遍认为，骨干网架构的选择对整个模型的能力有很大的影响，因为在编码器中丢失的任何信息都不可能在解码器中恢复。
用于密集预测的视觉转换器 Vision Transformers for Dense Prediction
SHS_JAVA的博客
06-16 1045
  我们提出了一种视觉转换器，一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。本文将视觉转换器各个阶段的toker（翻译是令牌，但我感觉更像一个图像块）组装成各个分辨率的类图像表示，然后在解码器阶段进行组合，从而生成全分辨率预测。transformer采用恒定且相对较高的分辨率表示，并且在每个阶段都具有全局感受野。与全卷积网络相比，这些特征可以提供更细粒度和更全局连贯的预测。实验在深度估计和图像分割两个方向都产生了显著的效率提升。  目前几乎所有的密集预测框架都是基于卷积网络的编解码器结构，他们通
Vision Transformers for Dense Prediction--阅读阶段
MengYa_Dream的博客
08-09 2787
[论文研读]Vision Transformers for Dense Prediction以及相关知识点
Vision Transformers for Dense Prediction 论文阅读
qq_42434944的博客
10-31 1922
研一小菜鸡一枚，刚刚入门CV领域，最近对大火的Transformer 比较感兴趣，把刚刚阅读过的一篇论文和大家分享一下，第一次写文章，如有错误，还请指正。 先放一下论文链接：https://arxiv.org/pdf/2103.13413v1.pdf Background 在阅读论文之前我们要先知道Dense prediction的定义 Dense Prediction：Pixelwise dense prediction is the task of predicting a label for each
Vision Transformer之Pyramid Vision Transformer
画心
02-27 3694
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 文章目录Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions前言与ViT和CNN的比较下游任务分类检测分割其他的一些细节链接 原始文档：https://www.yuque.com/lart/paper
大白话Pyramid Vision Transformer
我爱计算机视觉
03-02 5330
本文转载自知乎，已获作者授权转载。链接：https://zhuanlan.zhihu.com/p/353222035TL;DR这个工作把金字塔结构引入到Transformer[1]中，使得...
MPViT : Multi-Path Vision Transformer for Dense Prediction详解
qq_52053775的博客
10-03 1331
论文地址:https://arxiv.org/pdf/2112.11010.pdf 密集的计算机视觉任务，如目标检测和分割，需要有效的多尺度特征表示，以检测或分类不同大小的物体或区域。ViTs构建了一个简单的多阶段结构（即精细到粗糙），用于使用单尺度patch的多尺度表示。而作者以不同于现有变压器的视角，探索了多尺度的patch embeding和多路径结构，构建了MPViT。MPViT通过多尺度卷积patch embeding，然后，将不同尺度的tokens通过多条路径独立地输入trans
Vision Transformers for Dense Prediction——代码实践
MengYa_Dream的博客
08-09 871
Vision Transformers for Dense Prediction论文实践
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 436
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
"CaiT: Training Vision Transformers with Input Performer
09-14
"CaiT: Training Vision Transformers with Input Performer"是一篇关于使用Input Performer训练视觉Transformer模型的论文。这篇论文旨在通过使用Input Performer来改进Vision Transformer（ViT）模型的训练过程，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BlueagleAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值