TGRS2022/云检测：Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment

论文下载
开源代码

0.摘要

大多数基于卷积神经网络（CNN）的云检测方法都建立在监督学习框架上，该框架需要大量像素级标签。然而，为海量遥感图像手动注释像素标签既昂贵又耗时。为了降低标记成本，我们提出了一种无监督域自适应（UDA）方法，将源卫星标记图像上训练的模型推广到目标卫星的未标记图像。为了有效解决跨卫星图像的域偏移问题，我们开发了一种新的基于分组特征对齐（GFA）和熵最小化（EM）的UDA方法来提取域不变表示，以提高跨卫星图像的云检测精度。拟议的UDA方法在“Landsat-8→ ZY-3”“和”GF-1→ ZY-3“域适应任务上进行了评估。实验结果证明了我们的方法对现有最先进的UDA方法的有效性。

1.概述

随着遥感技术的发展，世界范围内发射了大量用于地球观测的光学遥感卫星。不幸的是，大约66%的地球表面被云覆盖[1]，这导致光学卫星传感器获取的大多数遥感图像受到云污染。被云污染的遥感图像被视为低质量产品，这严重干扰了图像分析任务，例如土地覆盖分类[2]、图像匹配[3]、目标检测[4]和三维曲面生成[5]。因此，云检测是评估遥感图像质量的重要预处理步骤[6]。
近年来，深度卷积神经网络（DCNN）方法已广泛用于遥感图像的云检测。提出了许多有效的云检测方法，例如基于超像素的分类方法[7]-[9]和基于端到端语义的分割方法[10]-[12]。这些基于CNN的云检测方法大多基于监督框架，该框架严重依赖于具有图像级[7]-[9]或强像素注释[10]-[12]的大量训练数据。
然而，标签标注是一项艰巨的任务，需要专家级的人类知识，尤其是为大量遥感图像手动标记像素级云和非云标注，这既昂贵又耗时。在我们之前关于ZY-3缩略图上云覆盖估计的工作[6]，[13]中，我们还站在有监督的CNN框架上进行云检测。手动标记ZY-3缩略图的云掩码非常繁琐和耗时。从大小为1k×1k的云层覆盖的红、绿、蓝（RGB）场景缩略图中标记像素注释通常需要1-2小时。因此，迫切需要使用无监督学习方法来减少人工标记数据集的工作量。
克服这一限制的一种有效方法是利用转移学习策略将知识从标记数据集转移到未标记数据集[14]。然而，由于域转移问题，例如分辨率和频谱差异，以及跨卫星遥感图像之间的土地覆盖类型差异，基于源卫星标记数据集训练的CNN模型很难推广到目标卫星图像。近年来，提出了无监督域自适应（UDA）作为转移学习的一种特殊情况，以解决源域（标记数据集）和目标域（未标记数据集）之间的域转移问题[15]-[17]。基于对抗学习的UDA已被证明是通过源域和目标域之间的分布对齐来解决域转移问题的有效方法[18]。基于对抗学习的UDA的关键思想是学习域鉴别器来区分源域数据和目标域数据的特征，从而帮助语义分割模型学习域不变特征表示，以混淆域鉴别器[19]。UDA方法的分布对齐可以在不同的表示层上实现，例如输入级（像素级）[20]、特征级[21]或输出级[14]、[16]、[17]。这些UDA方法在“合成”上取得了良好的性能→ “真实”案例
然而，只有少数作品关注遥感图像，特别是跨卫星遥感图像。在遥感图像分割中，基于UDA的工作，如[22]、[23]和[24]，大多使用样式转换方法[25]来生成虚假源域，其中数据视觉外观与目标域相似。换句话说，这些方法侧重于在原始输入级别而不是在特征和输出级别执行分布对齐。此外，这些方法在数量有限的土地覆盖类型数据集上进行了评估。由于全球地貌特征不同，采集的卫星图像中存在多个子域。如图1所示，同一颗卫星在不同地点获取的ZY-3图像显示了不同的颜色、云类型和土地覆盖类型。因此，由于源域和目标域中的子域复杂多样，仅基于样式转换方法与输入级进行分布对齐可能不是最优的。考虑到跨卫星图像语义信息的一致性，在特征级或输出级进行域对齐可能是减少源和目标卫星数据域之间域差距的一种有希望的方法。
在本文中，我们重点采用UDA方法将知识从标记的云量评估数据集转移到未标记的ZY-3数据集。换句话说，我们的目标是从源标记的域卫星数据集学习云检测模型，该数据集在目标ZY-3数