2022TGRS/云检测：用于遥感图像云检测的无监督域不变特征学习Unsupervised Domain-Invariant Feature Learning for Cloud Detection

用于遥感图像云检测的无监督域不变特征学习)

0.摘要

遥感图像中云的检测是一项重要的任务，卷积神经网络(CNNs)已被用来进行检测。然而，有监督的云检测CNNs很大程度上依赖于大量在像素级标注的样本来调整其参数。对RS图像进行标注是一个劳动密集型的过程，需要专家级别的人类知识。为了降低标记成本，我们提出了一种无监督域适应(UDA)方法，使在标记源卫星图像上训练的模型可以推广到未标记的目标卫星图像。具体而言，我们提出了一种细粒度特征对齐(FGFA)域适应策略，鼓励云检测网络提取域不变表示，这提高了云检测在未标记目标卫星图像中的准确性。该策略由两个步骤组成:1)基于注意引导机制的细粒度类相关特征选择和2)基于分组类相关特征对齐方法的类相关特征对齐(FA)。在“Landsat-8→ZY-3”和“GF-1→ZY-3”域适应任务上的实验结果证明了该方法的有效性，并优于现有的最先进的UDA方法。

1.概述

在过去十年中，云检测引起了越来越多的关注。特别是，主要地球观测项目（如美国宇航局的陆地卫星和欧洲航天局的哨兵）采用开放数据政策，促进了各种云检测算法的发展[1]。深度学习[2]的发展促进了图像处理任务的重大突破，如语义分割[3]、图像分类[4]、图像恢复[5]和目标检测[6]。
近年来，先进的卷积神经网络(CNN)模型被提出用于多光谱卫星图像的云检测。这些网络包括经典的超像素分类[7]、[8]，典型的端到端基于cnn的框架[1]、[9]，以及多尺度/级特征融合网络[10]、[11]。然而，这种网络严重依赖大量像素级标注的样本来进行参数调优，样本采集繁琐、耗时、昂贵的[12]。在我们之前的ZY-3缩略图云检测工作[10]，[13]中，我们也开发了监督式CNN框架，并解决了遥感图像标签的棘手问题。在我们数据集的标签组中有10个人。具体来说，在贴标签之前，小组成员会接受中国陆地卫星遥感应用中心(LSRSAC)专家的培训。对于每一张图片，我们通过图像编辑软件，如Adobe Photoshop，来获取像素级的注释。每一张被标记的图片都由另外两个小组成员反复检查。此外，LSRSAC的专家还对标签不一致的疑难案例进行了进一步的检查和细化。它通常需要1-2个小时的标签像素标注从云覆盖缩略图。因此，无监督学习方法被高度要求减少人工标记数据集的工作量。
目前，已有可用的云覆盖评估数据集，如Landsat-8云覆盖评估验证数据集[14]和GF-1 WFV云和云阴影覆盖验证数据集[15]。然而，由于潜在的非常不同的领域特征，在这些现有数据集上训练的基于cnn的方法很难直接用于分析目标卫星图像。由于辐射分辨率、空间分辨率、传感器的光谱范围以及云的形状和土地覆盖类型的高动态，这个问题被称为域移位问题[16]。例如，在图1中，我们展示了不同传感器获取的卫星图像纹理图。，不同卫星传感器获取的RS图像中云的纹理风格差异较大。虽然在几乎所有的卫星图像中，云区都以明亮和白色(饱和)为主，但这些不同传感器获得的云区之间存在较大的区域分布差距。因此，为了充分利用现有数据集，迫切需要一种有效的领域对齐方法来减少不同数据集之间的领域差异。
解决域转移问题的一种有效方法是利用域适应策略强制特征提取器生成域不变特征[16]，[17]。随着生成式对抗网络(GAN)的发展，基于对抗学习的无监督域适应(UDA)图像分割方法，如对抗判别域适应(ADDA)方法[18]、循环一致对抗域适应(CyCADA)方法[19]和对抗熵最小化(AdvEnt)方法[20]受到了广泛关注。然而，大多数基于udd的语义分割方法都是针对自然街景图像开发的，比如使用普通相机获取的Cityscapes Dataset[21]中的图像。光学卫星遥感图像与自然街景图像有很大的不同。如前所述，在跨卫星图像云检测任务中，不同卫星传感器获取的图像存在光谱和分辨率差异，导致较大的域差异，难以将源训练模型推广到目标数据集。此外，领域偏移问题是由于云的形状和不同的云类别以及不同的全球地貌类型引起的。因此，使用简单的UDA方法对跨卫星图像进行云检测是一个很大的挑战。
在本文中，我们着重于利用UDA方法从ZY-3图像的缩略图中获取云覆盖信息，以评估其质量。如[10]和[13]所示，高分辨率卫星图像的缩略图包含数据生产者获取云覆盖信息所需的信息。然而，缩略图包含一个RGB图像(有三个波段)或一个灰色图像(只有一个波段)。毫无疑问，缩略图图像与高光谱或多光谱RS图像之间存在较大的领域差异。为了减少域差异差距，我们建议使用特征级域适应来鼓励云检测网络生成源和目标域数据集的域不变特征。受类级域适应方法[22]的启发，我们提出了一种细粒度特征对齐(FGFA)域适应方法，该方法不仅考虑了源和目标域数据集之间的局部类相关特征域转移问题，而且还考虑了局部类相关特征的有效对齐。
我们提出了一种类相关特征选择机制来选择细粒度的类相关特征，然后提出了一种特征对齐(FA)策略来有效地将源和目标领域数据集的类相关特征对齐到一个共同的特征空间中。为了评价该方法的有效性，我们使用Landsat-8云覆盖评估验证数据集[14]和GF-1 WFV云和云阴影覆盖验证数据集[15]组成带标记的源域数据集，而未标记的fy -3卫星缩略图数据集作为目标域。在本文中，最终目标是学习一个从源标记的域卫星数据集训练的云检测模型，该模型可以在目标ZY-3数据集上表现良好。我们的贡献可以概括如下。

• 我们提出了一种FGFA策略，以鼓励分割网络提取域不变表示。目的是提高对目标未标记卫星图像的云检测精度，