Vision Transformers for Dense Prediction

paper：https://arxiv.org/abs/2103.13413
code：https://github.com/intel-isl/DPT

Abstract
我们引入了密集视觉转换器，这是一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。我们将视觉转换器的各个阶段的tokens组合成各种分辨率的类图像表示，并使用卷积解码器逐步将它们组合成全分辨率预测。转换器的主干过程表示在一个恒定的和相对高的分辨率，并在每个阶段有一个全局感受野。与完全卷积网络相比，这些属性允许密集视觉转换器提供更细粒度和更全局一致的预测finer-grained and more globally coherent predictions。我们的实验表明，该体系结构在密集的预测任务中产生了实质性的改进，特别是当有大量训练数据可用时。对于单目深度估计，我们观察到与最先进的全卷积网络相比，其相对性能提高了28%。

Introduction
几乎所有现有的密集预测体系结构都是基于卷积网络的。密集预测体系结构的设计通常遵循这样一种模式，即在逻辑上将网络分离为一个编码器和一个解码器。编码器通常基于图像分类网络，也称为主干，它是在一个大型语料库(如ImageNet)上进行预训练的。解码器聚合来自编码器的特征，并将其转换为最终的密集预测 。 密集预测的体系结构研究经常关注解码器及其聚合策略，然而普遍认为，骨干架构的选择对整个模型的能力有很大的影响，因为在编码器中丢失的任何信息都不可能在解码器中恢复。

卷积骨干逐步向下采样输入图像，提取多尺度特征。下采样使接收野逐渐增加，将低级特征分组为抽象的高级特征，同时确保网络的内存和计算需求保持易于处理。然而，下采样有明显的缺点，在密集的预测任务中尤其突出:特征分辨率和粒度在模型的更深阶段丢失，因此很难在解码器中恢复。虽然特征分辨率和粒度对于某些任务(如图像分类)可能无关紧要，但它们对于密集预测至关重要，在理想情况下，体系结构应该能够在输入图像的分辨率上或接近于输入图像的分辨率上分辨特征。

减少特性粒度损失的各种技术已经被提出。包括更高的输入分辨率(如果计算预算允许)，膨胀卷积在不进行下采样的前提下快速增大感受野，从编码器的多个阶段适当放置跳跃连接到解码器，或者，最近，通过在网络中连接并行的多分辨率特征表示。虽然这些技术可以显著改进预测质量，但是网络的瓶颈仍是它们的基本构造块:卷积。卷积与非线性模块一起构成了图像分析网络的基本计算单元。卷积,根据定义，是有限制感受野的线性算子。单个卷积的有限的接受域和有限的表达能力需要序列叠加到非常深的架构中，以获得