HRformer论文简述

        首先，VIT是将图像划分为16*16size的patches，这样的问题是什么，会失去图像的细粒度信息，意思是本来是224*224，现在变成14*14，图像的分辨率是大大降低的，所以这就会导致在密集检测中会存在加大误差。同时，transformer的输入输出的维度是相同的，这就失去了图像的多尺度特征。

        故本文提出了一种，可以适用于密集检测的框架。

        原理，采用了与HRNet相同的多分辨率并行的一种方法，结合transformer与HRNet的优势。即利用HRNet实现多尺度特征与多分辨率并行，利用transformer的前后维度相同来保持图像的高分辨率。

        同时，经过测试，卷积在图像处理的初期还是具备一定的优势，于是HRformer的结构如下：

        图中，虚线是transformer，实线是conv，利用卷积实现图像在分辨率上的变化，叠加，同时高中低分辨率并行。

 

        同时，在两个transformer块中间，用深度可分离卷积，中间加个卷积就是因为在transformer中我们仅仅计算每个窗口的自注意力，而忽略了不同窗之间的信息传递，卷积可以在不同的窗之间进行信息的传递。这很重要。

        最后网络的输出为四个不同分辨率的特征图组成；

①分类：将不同分辨率融合；②密集检测：只采用高分辨率；③语义分割：将低分辨率上采样，后级联到高分辨率上。

如有问题，欢迎大家批评指正！！