Dual Super-Resolution Learning for Semantic Segmentation解读

双边超分辨率学习语义分割 收录在cvpr2020

摘要：现在的最好的语义分割办法用高分辨率的输入去提高模型性能，这种方法使得计算量增加很多。我们提出了灵活而简单的双支路网络框架（叫DSRL）可以很好的提高网络精度的同时不引入额外的计算量。具体的来说，我们的方法分为三部分：1.超分辨率分割（SSSR）2.单张图像超分辨率（SISR）3.特征关联（FA）模块。可以在低分辨率的输入的情况下保持高分辨率，同时减少计算量。这种方法还可以很简单的应用到其他任务上如人体姿态估计。我们的方法在人体姿态估计与Cityscaps的分割任务上提高了2%的精确度的同时保持Flops不变。

以前的工作中存在的问题是输入分辨率大的情况下精度高，但是计算量也高，降低输入分辨率则精度也会降低，本文提出的方法减轻了这种情况：原理是从低分辨率的输入重建高分辨率的图像。之前类似的工作有四种：1.前上采样超分辨率，就是将输入双线性上采样到高分辨率然后微调网络。2.后上采样超分辨率，就是用网络后端的可学习的上采样层代替前上采样，可以很大程度减少计算复杂度。3.进步上采样超分辨率，是方法2的改进，它针对减少计算复杂度，用渐进的重建高分辨率图像并根据多尺度的单图像分辨率需要进行裁剪。4.迭代式上下采样超分辨率，采用迭代式上下采样产生媒介图像，然后结合它们去重建最后的高分辨率图像。考虑到计算量问题，本文遵循2方法的理念。

网络整体结构：