Paper reading: ISDNet: Integrating Shallow and Deep Networks CVPR2022

ISDNet: Integrating Shallow and Deep Networks for Efficient Ultra-high Resolution Segmentation CVPR2022

论文介绍：在高分辨率的图像分割中，计算和内存的需求都是非常大的。原有的方法主要是采用全局-局部细化的路线，虽然能够很好地考虑到内存的消耗，但是忽略了推断速度。本文主要关注于在整张图像上进行直接推理。本文提出一个高分辨率图像分割框架（Integrating Shallow and Deep Networks， ISDNet），他能很好地整合浅层和深层网络，并显著的提高推理速度并有一个精准的分割结果。为了更好地利用浅层特征和深层特征之间的关联性，提出一个关系感知特征融合模块（Relational-Aware feature Fusion module），以保证网络分割的性能和鲁棒性。

高分辨率图像分割框架对比图

本文的分割网络框架图

深层网络和浅层网络的输入和输出：

High-frequency residuals的计算方式如下： 

High-frequency residuals处理之后的图像，作为浅层网络的输入，以学习那些互补的空间细节。对于深层网络，是把原始图像下采样为小尺度图像，作为输入。深层网络分支有三个损失，即：

辅助分割头（an auxiliary segmentation head） ：标准的cross-entropy函数

超分辨率头