DASRSNet: Multitask Domain Adaptation for Super-Resolution-Aided Semantic Segmentation

论文地址：ieeexplore.ieee.org/abstract/document/9999252 

代码暂未公开

这篇论文还是比较有开创性的，应该是首次将图像超分和分割结合在一起的 

摘要我直接翻译论文的：无监督域适应（UDA）已成为遥感界跨域语义分割（SS）的重要技术，并取得了显着的成果。然而，当从高分辨率（HR）遥感图像转移到低分辨率（LR）图像时，现有的UDA框架总是无法分割LR目标图像，特别是对于小物体（例如汽车），由于严重的空间分辨率偏移问题。在本文中，为了提高UDA模型对LR目标图像和小物体的分割能力，我们提出了一种借助超分辨率（SR）的新型遥感图像SS多任务域适应网络（DASRSNet）。所提出的DASRSNet包含SS域适应（DASS）分支、SR域适应（DASR）分支和特征亲和力（FA）模块。具体来说，DASS和DASR分支共享相同的编码器来提取目标域和源域的域不变特征，并且这两个分支利用不同的解码器和鉴别器来执行跨域SS任务和SR任务，从而对齐域移位分别在输出空间和图像空间。最后，涉及所提出的 FA 损失的 FA 模块被应用于增强源域和目标域的 SS 特征和 SR 特征的亲和力。跨城市航空数据集的实验结果证明了我们的 DASRSNet 相对于最近的 UDA 模型的有效性和优越性。

那么直接进入正题：

一、Domain Adaptation for Semantic Segmentation

这一节讲的是论文提出来的结合领域适应的图像分割， 从上面的网络支路可以看到，输入图像是原图结果下采样后生成的低分辨率图像，因此为了生成与原图像相同分辨率的图像，在分割网络的解码器里加入了上采样层。

关于Lseg的介绍：

这里采用了香农熵来计算不同类对应的不同的熵值，通过ac来实现，c为类别 

这里β取了0.999，其中nc为每个类别在图像中对应的像素数量，像素数量越多，ac反而越小，因此能做到是小目标物体更好被网络识别并分割的效果，ac最后也做了一个归一化处理

关于Ladv的介绍：

这是discriminators的网络图

可以看到，I为分割预测图的熵图，将熵图送进辨别器中求loss，这里的I用了源域和目标域的预测图，因此可以起到跨域自适应的效果

二、Domain Adaptation for Super-Resolution

这一节讲的是超分辨率的领域适应方法，其中的Ladv和前面seg branch的是一样的，这里就不讲了

这里将源域的未经下采样的图像跟下采样后的图像通过超分辨率后生成的HR图像做了一个L2范数损失，能够使得生成的HR图像更接近原图像

三、FA Module

这一节是该论文的主要创新点，将高分辨率图像的结构信息用来引导低分辨率图像的分割，这里的结构信息通俗来讲就是图像中一辆小车跟小车的相关性肯定比跟其他类别的相关性要大，目前也有相关研究证明了这种结构信息可以提供隐式的语义信息，对怎么提供语义信息感兴趣的可以移步这两篇文章：ESPC_NASUnet: An end-to-end super-resolution semantic segmentation network for mapping buildings from remote sensing images；Dual super-resolution learning for semantic segmentation。

这里的M就是每个相邻像素直接的相似度矩阵

 最后通过将源域分割图跟源域HR预测图和目标域分割图跟目标域HR预测图做了L1范数后归一化来做loss，可以将HR图像跟LR图像进行结构信息或者说是语义信息的对齐

这是网络最后的loss函数

Conclusion

 在本文中，我们提出了一种新颖的双流UDA网络DASRSNet，用于遥感图像的SR辅助分割，以进一步解决遥感图像中小物体严重的空间分辨率偏移问题和严重的域偏移问题。所提出的 DASRSNet 由三个模块组成：DASS 分支、DASR 分支和 FA 模块。具体来说，DASS模块提取不同域的域不变SS特征并在输出级别对齐域移位，而DASR模块学习域不变SR特征并消除图像空间中的域间隙。此外，为了提高源域和目标域上 SS 特征和 SR 特征的亲和力，我们在 FA 模块中提出了一种新的 FA 损失，旨在加强 DASS 分支和 DASR 分支之间的相关性。对基准数据集（由从不同传感器和城市获得的航空图像组成）进行的广泛实验表明，在面对空间分辨率偏移问题时，特别是对于小物体，所提出的 DASRSNet 可以比现有 UDA 框架实现更好的分割性能。此外，我们进行了大量的消融实验，以更好地探索 DASRSNet 的 SS 能力。在我们未来的工作中，所提出的DASRSNet将通过更强大的技术进一步优化，例如弱监督域自适应和多视场自适应分割，以处理各种光谱导致的域偏移实际应用中的频带和更复杂的固有空间分辨率偏移问题（例如，从航空图像转移到卫星图像）。