AMiner推荐论文：HRViT: Multi-Scale High-Resolution Vision Transformer

论文链接：
https://www.aminer.cn/pub/6181fdcc5244ab9dcb7a6711?f=cs
密集预测视觉任务，如语义分割、目标检测，是现代智能计算平台(如AR/VR设备)的关键技术。卷积神经网络的发展非常迅速，在密集预测任务方面有了显著的改进。除了传统的CNN外，近期的ViTs也已经吸引了研究者广泛的兴趣，并在视觉任务中显示出竞争性的性能。
得益于self-attention，ViT特征信息交互距离较远。然而，ViT产生单一尺度和低分辨率的表示，这与密集的预测任务不兼容，因为这些任务需要高位置灵敏度和细粒度的图像细节。
近年来，为了适应密集的预测任务，人们提出了各种ViT Backbone。之前的ViT Backbone提出了各种有效的全局/局部自注意力来提取层次特征。
一种多尺度ViT(MViT)已经被提出，以学习一个层次结构，逐步扩大通道信息容量，同时降低空间分辨率。但是，它们仍然遵循类似于分类的网络拓扑结构，采用顺序或系列架构。考虑到复杂性，MViT逐渐对特征映射进行取样，以提取更高级别的低分辨率(LR)表示，并直接将每个阶段的输出提供给下游框架。这种顺序结构缺乏足够的跨尺度相互作用，因此不能生成高质量的高分辨率(HR)表示。
HRNet是为了加强跨分辨率的交互而提出的，它采用了一个多分支架构，在整个网络中维护所有的分辨率。并行提取多分辨率特征，并进行多次融合，生成具有丰富语义信息的高质量HR表示。这种设计理念在各种密集预测任务中取得了巨大的成功。
然而，它的表达能力受到较小的感受野和级联卷积运算的强归纳偏差的限制。随后，提出了一种精简的Lite-HRNet，该Lite-HRNet具有高效的Shuffle-block和通道加权算子。
HR-NAS在残块中插入一个Light-weight Transformer path提取全局信息，并应用神经结构搜索去除channel / head冗余。然而，这些改进的HRNet设计仍然主要基于卷积块构建，他们的微型模型的性能仍然远远落后于ViT的同类模型的SoTA结果。
将HRNet的成功移植到ViT设计并非易事。考虑到多分支的高度复杂性HR架构和Self-Attention操作，简单地用Transformer Block替换HRNet中的所有残差快，将遇到严重的可伸缩性问题。如果没有仔细的Architecture-block协同优化，继承的强大的可表示性将被高昂的硬件成本所淹没。
为了增强ViT的可表征性，以生成语义丰富和位置精确的特征，在本工作中提出HRViT，一种专为高分辨率密集预测任务优化的高效多尺度高分辨率视觉Transformer Backbone。HRViT的目标是促进Vision Transformer的有效多尺度表示学习。
AMiner,让AI帮你理解科学！https://www.aminer.cn