Unsupervised remote sensing image thin cloud removal method based on contrastive learning论文翻译

2024 IET 

论文名称 基于对比学习的无监督遥感图像薄云去除方法

摘要

去云算法是遥感图像预处理的关键步骤。当前主流的遥感图像去云算法都是基于深度学习实现的，并且大多数都是有监督的。训练需要大量的数据对来实现去云。然而，真实的有/无云图对数据集在现实世界中很难获得，通过在合成数据集上训练获得的模型通常需要更好地推广到自然场景。现有的基于Cycle-GAN框架的无监督薄云去除方法模型复杂且训练不稳定，无法很好地解决配对数据集不足的问题。基于此，本文提出了一种基于对比学习的无监督遥感图像薄云去除方法——GAN-UD方法。这是一个由频率-空间注意力生成器和鉴别器组成的网络。此外，作者还引入了局部对比损失和全局内容损失来约束生成图像的内容，以确保生成的无云图像在图像内容方面与输入云图像保持一致。实验结果表明，在没有成对训练数据集的情况下，本文提出的方法仍然可以有效地去除遥感图像中的薄云，优于当前的无监督去云方法，并达到与有监督方法相当的性能。

1导言

        随着卫星遥感技术的进步，光学遥感图像在林业等许多领域得到了广泛应用1】、农业【2】和资源勘探【3].然而，云污染导致遥感图像的大部分特征信息被遮挡，严重阻碍了遥感图像的应用和研究。据统计，在存档的光学卫星遥感图像中，约有三分之二的对地观测图像受到云层污染4, 5].假设只有干净和清晰的图像用于处理和研究。在这种情况下，它将导致大多数遥感数据无法使用，特别是在受云层影响更严重的低纬度地区。因此，去云是许多遥感图像进一步研究的关键预处理步骤，具有重要的实用价值。

        在遥感图像中，厚云的严重遮挡通常会影响对特征信息的观察和分析。因此，经常需要使用像素替换来去除云。尽管可以去除云，但获得的云去除图像通常与厚云图像中的特征信息不同。相比之下，薄云图像中的特征信息是可以恢复的，因为薄云不会完全遮挡图像的特征信息，同时没有明确的边界，我们可以通过一些方法来确保去云图像的内容保持不变。

        在遥感图像中，厚厚的云层可以完全覆盖特征信息，影响对图像的观察和分析。因此，经常需要使用像素替换来去除云。并且以这种方式生成的云去除图像将经常不同于厚云图像中的特征信息。相比之下，薄云图像中的特征信息是可以恢复的，因为薄云不会完全遮挡图像的特征信息，并且没有清晰的边界，我们可以通过一些方法保持去云图像的内容不变。

        最近，深度学习已被引入薄云去除方法。基于深度学习的去云方法利用卷积神经网络强大的特征表示能力，从大量训练样本中学习遥感云图和无云图像之间的映射函数，这类方法大大提高了遥感图像去云的性能【6-11, 37, 38].然而，大多数基于深度学习的去云方法都是基于监督学习的。这些方法严重依赖大量的成对训练数据来学习如何从遥感图像中去除云污染。然而，在现实世界中，缺乏成对的遥感云/无云图像数据，构建成对的遥感图像数据集需要耗费大量人力和资源。现有的成对遥感影像数据集大多由同一颗卫星在不同时期获取，获取完成后需要进一步筛选，然后进行影像配准，以精确构建成对遥感影像。由于成对的遥感图像数据集数量较少，并且其构建需要大量资源，因此对遥感图像的进一步研究受到限制。

        基于此，本文提出了一种针对不成对数据的薄云去除方法。在这项工作中，我们做出了以下三个方面的贡献:

1)本文建立了一种有效的非配对数据生成对抗网络（GAN-UD）来去除非配对遥感图像中的薄云，该网络即使在非配对数据集上也能实现薄云去除。

2)考虑到遥感图像通常包含各种具有复杂空间特征的地物。在没有成对样本的情况下，为了充分利用输入图像的信息，我们引入了频率-空间注意力模块（FSAM）来充分利用图像的空间和通道信息，并引导网络去除薄云；此外，为了约束生成图像的内容，我们还引入了局部对比损失和全局内容损失来保持生成图像和输入图像在内容方面的一致性。

3)在RICE1和Paris数据集上的实验结果表明，我们提出的GAN-UD优于当前的无监督去云方法，并获得了与有监督方法相当的性能。

2相关工作

2.1针对RSI的薄云移除

        遥感图像薄云去除技术是遥感图像处理中的一项重要技术。在遥感图像获取中，由于自然因素的影响，获取的遥感图像往往被带有地面信息的云层遮挡，对后续的图像信息提取和分析造成很大干扰。为此，人们提出了多种遥感图像薄云去除方法，包括基于传统图像处理和基于深度学习的薄云去除方法。

2.1.1基于传统图像处理的方法

        在传统的图像处理方法中，同态滤波12】，小波变换【13, 14】和暗通道先验（DCP）【15】是去除薄云的更经典的方法。其中，同态滤波和小波变换主要是将图像从空间域转换到频率域，然后在频率域中利用薄云的低频特性，通过设置带阈值的高通滤波器来抑制低频信息和增强高频信息，最后转换到空间域来实现图像去云。DCP最早用于图像去雾，主要利用图像中相应的非天空区域。具有非常低的灰度值先验信息的通道将用于实现图像去雾。后来它被用来解决遥感图像中薄云去除的问题。该方法可以快速有效地进行图像去云，但得到的去云图像较暗，对遥感云图并不普遍有效。

2.1.2基于深度学习的方法

基于深度学习的遥感图像薄云去除方法分为有监督（成对）和无监督（不成对）方法。

监督薄云去除方法，AoDNet【7】首先提出了一种基于卷积神经网络的端到端去云模型，将其输入到遥感云图中，并对模型进行训练以直接获得清晰的无云图像。网格网站【8提出了一种基于注意机制的多尺度网络模型。随着生成对抗网络（GAN）模型的提出，文献9，10使用GAN网络架构来实现遥感图像去云任务并取得了良好的效果。近年来，潘等将注意机制与GAN【16设计一个基于空间注意力机制的空间注意力生成对抗网络来实现去云11].它利用空间注意机制模拟人类视觉机制来实现去云，并与文献9，10进行了比较。与文献9，10相比，它生成了更高质量的无云图像。随着视觉转换器的提出，转换器的重要模型框架被引入图像处理任务。云移除【37】提出了一种基于Vision Transformer的编码器网络和多尺度特征融合网络来实现遥感图像的薄云去除。近日，WaveCNN-CR【38】提出了小波集成CNN来生成更真实和精细的薄云去除图像。然而，监督方法的成功依赖于大规模的成对训练数据集。并且在配对数据集难以获得的情况下，文献10通过物理模型模拟云层，合成有/无云的配对数据集，最后使用这些数据集训练去云模型。然而，通过在合成数据集上训练获得的模型通常难以推广到真实场景。

无监督薄云去除方法。CycleGAN17】是非成对图像到图像翻译最流行的框架。受Cycle-GAN的启发，文献1在不使用成对训练数据的情况下实现了遥感图像去云。子等【18】将物理模型与Cycle-GAN相结合，进一步提高精简云移除的性能。Cycle-GAN设计原理通过循环一致性来约束两个域之间的转换。然而，由于源域和目标域的知识不对称，Cycle-GAN无法保证生成的目标图像细节接近真实的清晰图像。铬-锰-磷合金【39首次提出通过输入Sentinel-2A多光谱波段图像（可见光和近红外）来恢复薄云图像的背景信息，以便网络模型可以学习更多的图像信息，并结合物理模型使用GAN来实现遥感图像的薄云去除。随后，CR-MSS【40】建议使用更多波段的遥感图像数据（可见光、近红外和SWIR）进行薄云去除任务。该方法通过融合SWIR波段和可见/近红外波段的光谱信息来恢复被云遮挡的遥感图像的内容信息，以更好地去除可见/近红外波段的薄云。

2.2对比学习

        近年来，对比学习在无监督任务方面取得了很大进展【19].对比学习可以直接使用数据本身作为监督信息，通过正负样本的特征信息来学习数据的特征表示，从而可以更接近正样本特征而远离负样本特征。对比学习不依赖于成对的训练样本，因此被广泛用于难以获得成对样本的低级视觉任务，并取得了一流的性能，如图像去雨【20】，图像去雾【21】，图像超分辨率【22】和图像翻译【23].因此，在本文中，我们引入对比损失来确保去云图像和输入图像之间的内容一致性，以恢复清晰的图像。

        "由于缺乏真实的成对无云图像，如何使网络能够准确地去除薄云而不使生成的图像内容失真是本文解决的主要问题。GAN-UD的总体框架如图所示，它由频率-空间注意力生成器（G）和鉴别器(D）组成。这里D用于区分实际的无云图像(I)(真实)从生成的图像(Ig)(假的)。在实验中，我们输入了遥感云图I，然后I。通过G来生成图像I，然后I和I输入到D中以辨别真伪。在训练过程中，生成器G和鉴别器D相互对抗，不断学习，最终达到纳什均衡并停止训练。"

GAN-UD概述，包括频率-空间注意力生成器（G）和鉴别器（D）。输入Ix是多云图像，重建的去云图像是 Ig。 ，以及 Iy 是实际的无云图像。 Lc ， Lcl ，以及 Ladv 分别是对抗性损失、全局内容损失和局部对比损失。GAN-UD，用于数据生成的非对抗网络。

        首先，在部分3.1，我们介绍生成器g的整体结构。其次，在第3.2中，我们详细描述了FSAM，它主要提取输入图像Ix来自频域和空间域的特征信息，使得网络能够聚焦于来自频域和空间域的特征信息的薄云区域；然后，在部分3.4中，我们描述了GAN-UD的损失函数，其中全局内容损失和局部对比损失都用 于维护生成的图像Ig。 与输入图像一致 ${I}_x美元 就内容而言。为了确保生成的图像Ig。 在范围上没有失真。最后，我们在第节简要描述我们的鉴频器网络3.3.

3.1生成器

        生成器G的详细流程如图所示1。给定遥感多云图像（ ${I}_x美元 ），它首先通过卷积层提取特征，然后通过Relu激活，然后通过三个标准残差块（RB）和四个FSAM，最后通过两个RB和一个卷积层生成去云图像（ ${I}_g$。 ).

3.2频率-空间注意力模块

        注意力机制在图像恢复和图像重建任务中取得了成功。本质上，注意力机制使用一组由网络自主学习 并“动态加权”的加权系数来增强基本特征，同时抑制次要部分，以便输入图像的细节Ix可以有效地用于更好地重建目标图像Ig。FSAM由空间注意块和频率注意块组成。

频率注意块

        FAB使用频率通道注意（FCA）【24】层以在处理信道特征时分割信道信息，然后通过2D离散余弦变换（DCT）将分割的特征变换到不同的频域【25】，最后，不同频域上的信道信息被灵活地加权，从而帮助我们将更多的注意力集中在关键信道信息上。如图所示2，在特征图之后，f是FAB的输入，F被分成n部件，按渠道维度，以及Fi分配相应的2D DCT频率分量。每个2D DCT结果可以被用作频率关注压缩结果。其中ui，vi是与特征相对应的2D频率分量指示器

3.2.2空间注意块

        SAB利用图像内容在空间位置上的相关性来获取空间维度上更有价值的信息，这已经被应用于图像去雨和图像去云任务中。如图所示2，特征图f在的rchw是SAB的输入，注意力地图是由空间注意力模块（SAM）获得的。SAM可以提取输入图像上下文信息并生成感知特征图。对感知特征图执行进一步的卷积和sigmoid激活以获得注意力图 然后引导三个空间注意力残差块（SARB），输出特征图

3.3鉴别器

        鉴别器D使用PatchGAN【9】，它由五个4 × 4卷积层、三个实例归一化层、三个下采样层和四个leakyRelu激活层组成，用于区分输入图像的真假。

3.4损失函数

        由于缺少成对的无云图像，一个实用的损失函数来约束生成的结果至关重要。除对抗性损失外，本文还设计了局部对比损失和全局内容损失，以确保输入多云图像和生成的去云图像之间的内容一致性约束。

3.4.1对比损失

        为了保持模糊图像和去雾图像的局部内容一致性，引入了对比损失。该损失使用共享多层感知器 (MLP) 将图像差异编码为特征，并在特征空间中使用对比学习来拉近查询块和正样本之间的距离，同时扩大查询块和负样本之间的距离。该损失函数基于 InfoNCE，并使用温度系数 τ = 0.07 和 255 个负样本。

局部对比损失函数和全局内容损失函数协同工作，以保持图像的局部和全局内容一致性。局部对比损失使用对比学习来拉近查询块和正样本之间的距离，同时扩大查询块和负样本之间的距离，而全局内容损失通过比较VGG199 特征来衡量图像之间的内容差异。为了稳定训练并提高性能，在训练过程中向负样本添加了随机高斯噪声进行扰动。

3.4.2全球内容损失

为了保持图像的局部和全局内容一致性，使用对比学习损失函数和全局内容损失函数。局部对比损失函数确保局部内容的一致性，而全局内容损失函数通过比较 VGG19 特征来保持全局内容的一致性。

全局内容损失函数通过计算模糊图像和去雾图像之间 VGG19 特征的差异来衡量内容差异。具体来说，它使用 VGG19 网络的“conv4_2”和“conv5_2”层的特征来计算内容损失，如下所示：

l_c（I_x，I_g）= ∑^m_i=1 (1 / (C_i H_i W_i)) * (f^i_{vgg19}(I_x) - f^i_{vgg19}(I_g))^2

其中 m 是 VGG19 提取的层数，C_i 表示第 i 层中的通道数，H_i 和 W_i 表示第 i 层中特征图的高度和宽度，f^i_{vgg19}(I) 表示 VGG19 第 i 层中图像 I 的特征。

3.4.3对抗性损失函数

        除了上述损失函数之外，GAN-UD还采用了对抗性损失，该损失函数源自LSGAN，定义如下：

L_adv(I_X, I_Y) = E_{I_Y \sim P_Y} log D(I_Y) + E_{I_X \sim P_X} log D(G(I_X))

其中，I_X和I_Y分别代表模糊图像和生成图像。

总体而言，GAN-UD的复合损失函数是所有上述损失函数的总和：

L_total = L_adv + L_cl + L_c

对抗性损失使得生成图像的分布与真实图像的分布相匹配，而内容感知损失和颜色损失则在以下综合作用下有效地保持输入图像的内容信息：

• 内容感知损失：通过最小化生成图像与输入图像之间的特征差异，确保生成图像保留输入图像的主要内容。
• 颜色损失：通过最小化生成图像与输入图像之间的颜色差异，确保生成图像的颜色与输入图像一致。

这种综合损失函数的设计避免了内容失真问题，并使得GAN-UD能够生成高质量的去雾图像。

4实验

4.1实验设置

数据集

为了验证所提出方法的有效性，我们在RICE1数据集上评估了GAN-UD的性能33】和巴黎数据集【10].此外，我们将GAN-UD扩展到近红外波段，由于RICE1数据集不包含近红外波段，因此我们选择CR-GAN-PM【39】方法进行我们的实验。

RICE1数据集

8巴黎数据集

Hasan等人构建的巴黎数据集

Hasan等人构建的巴黎数据集包含4043幅分辨率为256×256的图像，这些图像来自于WorldView-2卫星。该数据集用于训练和测试去雾算法。

合成多云图像

为了训练去雾算法，我们需要合成多云图像。文献[9]提出了一种合成多云图像的方法，该方法如下所示：

I_x = (1 - (w * y_{CM})) \cdot y + (w * y_{CM}) \cdot y_{Cloud}

其中：

• Ix​：合成多云图像
• y：无云图像
• yCM​：遮罩图像
• yCloud​：实际的云图
• w：掩膜图像的权重，表示云层的厚度

在实验中，我们将w设置为0.7和0.8。

数据集划分

我们随机选择了1000对图像，并将它们以4:1的比例分成训练集和测试集。训练集用于训练去雾算法，测试集用于评估去雾算法的性能。

• 遮罩图像（y_CM）用于指示云的位置。白色区域表示云，黑色区域表示无云。
• 真实云图（y_Cloud）是真实天空的图像。
• 无云图像（y）是去除云层后的图像。
• 浑浊图像（I_x）是受到雾霾影响的图像。

• 

• 具有不同遮蔽图像权重的多云图像的视觉比较。

哨兵-2A数据集

哨兵-2A数据集由李等人从哨兵-2A卫星获得。数据集由20对多云和无云的哨兵-2A图像组成，其中每幅塞蒂内尔-2A遥感图像包含可见光、近红外和短波红外部分的13个光谱带。在我们的实验中，我们遵循CR-GAN-PM设置，并选择16幅遥感图像进行训练和四对图像进行测试。训练和测试数据集被裁剪成256 × 256大小的面片。由于收集的遥感多云图像不能完全被云覆盖，因此裁剪后的斑块可能看起来干净清晰无云。为了获得多云斑块，我们利用了多云斑块的像素值通常大于相应的无云斑块的像素值的特性。我们使用OPENCV中的减法方法来找到云/无云补丁像素差图像 ${I}_{sub}$ ，然后计算像素值为0的数量， ${Z}_{sum}$ 。最后，通过阈值分割得到浑浊斑块。该实验将阈值设置为5000，假设 ${Z}_{sum}$ 多云天气不到5000英镑。获得5764对多云/无云斑块用于训练，1376对用于以上述方式进行测试。

实验细节

模型实现基于Pytorch框架，并在NVIDIA TITAN Xp GPUs上进行训练。该模型通过参数进行训练 1美元= 0.5美元 和 2美元= 0.999美元 在Adam优化器中，训练批次大小为1。在该模型上总共执行了400个时期的训练。模型的初始学习率为0.0002，经过200个历元的训练后，学习率线性衰减为0。

评估指标

我们使用峰值信噪比（PSNR）【34】，结构相似性（SSIM）【35】和色差公式（CIEDE2000）【36】定量评估薄云去除方法的性能，其中PSNR和SSIM越显著，薄云去除性能越好。较小的CIEDE2000显示出更好的薄云去除性能。

PSNR通过计算最大像素值与图像均方误差（MSE）的比值来衡量两幅图像的相似程度，计算公式如下:

$ $ \ begin { equation } MSE = \ frac { 1 } { { cwh } } \ \ mathop \ sum \ limits _ { I = 1}^c \ mathop \ sum \ limits _ { j = 1}^w \ mathop \ sum \ limits _ { k = 1}^h { \ left（{i_g^{i,j,k},i_y^{i,j,k}} \right)}^2\end{equation}$$ (12)

$ $ \ begin { equation } PSNR = 10 \ cdot lo { g } _ { 10 } \ left（{\frac{{max_{{i}_g}^2}}{{mse}}} \ right）\ end { equation } $ $ (13)

其中MSE是MSE， ${I}_g$。 是去除薄云后的图像，以及 $ {I}_y美元 是无云图像。 $I_g^{i,j,k}$ , $I_y^{i,j,k}$ 的像素值 ${I}_g$。 , ${I}_y美元 在（i,j,k）坐标。C, W，以及H分别是图像的通道数、宽度和高度，以及 $MA{X}_{{I}_g}$ 是图像的最大像素值。

SSIM通过以下公式计算三个属性（对比度、亮度和结构）来衡量图像之间的相似性:

$ $ \ begin { equation } ssim \ left（{ { I } _ g，{ I } _ y } \ right）= \ frac { { \ left（{ 2 { \ mu } _ { { I } _ g } { mu } _ { { I } _ y }+{ c } _ 1 } \ right）\ left（{ 2 { \ sigma } _ { { I } _ g { I } _ y }+{ c } _ 2 } \ right）} } } { { \ left（{ { \ mu }_{{i}_g}^2+{ \ mu } }_{{i}_y}^2+{ c } _ 1 } \ right 6 (14)

在哪里Ig是去除薄云后的图像 $ {I}_y美元 是干净无云的图像。 ${\mu }_{{I}_g}$ , ${\mu }_{{I}_y}$ 是的平均值 ${I}_g$。 和 $ {I}_y美元 ，分别是， ${\sigma }_{{I}_g}$ , ${\sigma }_{{I}_y}$ 分别是I_g和I_y的方差 ${\sigma }_{{I}_g{I}_y}$ 是的协方差 ${I}_g$。 和 ${I}_y美元 . $ { c } _ 1 = {（{ { k } _ 1l } )}^2 $ , $ { c } _ 2 = {（{ { k } _ 2l } )}^2 $ 是两个常数和L是图像的像素值范围。 ${k}_1美元 , ${k}_2美元 默认为0.01和0.03。

CIEDE2000用于通过以下公式计算色彩空间中两幅图像之间的距离来评估图像之间的色差:

$ $ \ begin { equation } ciede 2000 \ left（{ { I } _ g，{ I } _ y } \ right）= \ sqrt { { { \ left（{ \ frac { { \ delta l^{\prime}}}{{{k}_l{s}_l}}} \right)}}^2+{ \ left）（{ \ frac { { \ delta c^{\prime}}}{{{k}_c{s}_c}}} \right)}}^2+{ r }）\ t \ left（{ \ frac { { \ delta h^{\prime}}}{{{k}_h{s}_h}}} \right)}}^2+{ r } _ t \ left）\ left（{ \ frac { { \ delta c^{\prime}}}{{{k}_c{s}_c}}} \ right）}）\ end { equation } $ $ (15)

在哪里Ig是去除薄云后的图像Iy是干净无云的图像。 $ \达美L^{\prime}$ , $ \达美C^{\prime},$ 和 $ \达美H^{\prime}$ 分别是CIELAB颜色空间中的亮度、色度和色调。 ${k}_L，{k}_C$。 ，以及 ${k}_H$。 是三个常量参数， ${S}_L ，{S}_C ，$ 和 ${S}_H$ 是权重系数，和 ${R}_T美元 是旋转函数。

4.2实验结果和分析

4.2.1与其他薄云去除方法的比较

为了证明GAN-UD的有效性，我们将其与传统的DCP算法、无监督的Cloud-GAN方法、有监督的Pix2Pix、SPAGAN、Cloud-Removal和WaveCNN-CR方法进行了比较。上述所有方法的代码都由各自的作者提供，并可在GitHub上获得。

RICE1和Paris数据集上不同薄云去除方法的定量评估结果以表格形式呈现1–3。我们可以观察到:与传统的和不成对的薄云去除方法相比，我们的方法实现了最高的PSNR、SSIM和最低的CIEDE2000。与成对薄云去除方法相比，本文的方法也具有竞争力。定量评估结果也验证了GAN-UD方法在薄云去除任务中的有效性，但由于GAN-UD缺乏监督信息，与最新的成对薄云去除方法相比仍有一定的改进空间。

表1。RICE1数据集下各种薄云去除方法的定量评估结果，最佳性能如所示大胆的，第二好于红色，排名第三蓝色.

此外，我们将GAN-UD方法与DCP、SPAGAN、Pix2Pix、云去除、WaveCNN-CR和Cloud-GAN薄云去除方法进行了定性比较，结果如图所示6-8。数字6显示了每种薄云去除方法在RICE1数据集上的实验结果的可视化绘图。我们可以观察到DCP算法整体更暗，Cloud-GAN方法更模糊。斯帕甘显示颜色失真。与Pix2Pix相比，GAN-UD显示出细腻的纹理细节和更清晰的边缘。与最新的成对薄云去除方法Cloud-Removal和WaveCNN-CR相比，GAN-UD可以生成视觉上相似的结果。

数字7和8使用不同的权重w在Paris数据集上显示实验结果的视觉图。我们可以观察到DCP算法并没有有效地去除该数据集中的薄云，与SPAGAN相比，Pix2Pix生成的图像显示出严重的失真，GAN-UD生成的图像更清晰，更接近真实的无云图像。与去云和WaveCNN-CR相比，GAN-UD在可视化方面稍差。

我们在多光谱波段进行了实验，以进一步扩展GAN-UD在遥感图像薄云去除任务中的适用性。进行了特定的实验，以比较GAN-UD与无监督云-GAN和CR-GAN-PM方法以及有监督云去除、WaveCNN-CR和SPAGAN方法及其在Sentinel-2A数据集上的定量和定性评估。其中，除了专门针对可见光和近红外波段的多光谱波段遥感图像去云方法CR-GAN-PM外，本文作者通过修改输入输出通道数和必要的网络结构对其他方法进行了实验，以更好地验证GAN-UD在可见光和近红外波段遥感图像去云的有效性。

桌子4给出了Sentinel-2A数据集上各波段不同薄云去除方法的定量评估结果。与非成对的薄云去除方法（例如Cloud-GAN和专门用于多波段CR-GAN-PM的方法）相比，GAN-UD在波段2至8中实现了最高的PSNR和SSIM值，两者都优于SPAGAN。与较新的成对薄云去除方法（如WaveCNN-CR和去云）相比，GAN-UD仍有一些差距。

此外，我们将GAN-UD方法与SPAGAN、云去除和WaveCNN-CR成对薄云去除方法以及云-GAN和CR-GAN-PM不成对方法进行了定性比较，结果如图所示9。数字9显示了Sentinel-2A数据集上波段2–8中每种薄云去除方法的实验结果，其中第1至5、6至10行是波段（2）、乐队（3）、乐队（4）、乐队（8）和RGB可视化图像。我们可以观察到SPAGAN显示出严重的颜色失真，并且不能有效地学习多波段遥感图像的信息。WaveCNN-CR显示斑片状闭塞。与云-GAN和CR-GAN-PM相比，GAN-UD具有精细的纹理细节和更锐利的边缘；就视觉效果而言，它类似于表现最好的去云。

为了验证GAN-UD的有效性，我们对GAN-UD的损失函数和生成器进行了烧蚀实验，并在RICE1数据集上进行了训练和测试。表中显示了实验组5和7.

表5。不同损失函数的烧蚀实验装置。

如表中所示5，为了验证我们提出的损失函数的有效性，我们对模型变量方程进行了实验（1), (2), (3)，以及(4).此外，为了确保比较的公平性，除了方程（1), (2), (3)，以及(4).

如表中所示6，比较等式（1)和(2），我们可以观察到，在将本地对比损耗添加到原始网络模型后，SSIM PSNR提高了10.16 dB和0.300，CIEDE2000降低了14.202。比较（1)和(3），我们可以看到，在将全局内容损失添加到原始模型后，PSNR和SSIM分别提高了10.87 dB和0.320，CIEDE2000降低了14.608。比较（3)和(4），将局部对比损失添加到（3），PSNR和SSIM分别提高了1.67分贝和0.021分贝，CIEDE2000则降低了1.171分贝。比较（2)和(4），将全局内容丢失添加到（2）将PSNR和SSIM提高了2.38 dB和0.041，并将CIEDE2000降低了1.577。综合使用上述损失函数，PSNR、SSIM和CIEDE2000分别为32.46 dB、0.954和3.597。因此，上述消融研究也证实了每个损失函数都有其贡献。

表6。RICE1数据集上消融实验的定量结果比较。

FSAB的分析

为了评估GAN-UD网络中频率-空间注意力模块（FSAB）模块的有效性，我们将GAN-UD的FSAB模块变体替换为（a）、（b）和（c）。为了确保比较的公平性，我们仅将网络中的FSAB模块替换为（a）、（b）和（c），如表所示7对于特定的实验设置。

表7。不同注意机制模块的消融实验装置。

视觉比较 ${v}_S$， ${v}_F$，以及 RICE1数据集上的${v}_{SF}$

外，如图所示10，我们定性地比较了（a）、（b）和（c）的实验结果，可以观察到我们的方法比（a）、（b）更有效地从遥感图像中去除薄云，并且生成的图像内容更清晰和更真实。

表8。RICE1数据集上消融实验的定量结果比较。

5个限制

当云层较厚时，在无监督的情况下，GAN-UD生成的图像可以去除云层，但无法准确恢复完全被云层覆盖的区域的图像细节，从而导致云层较厚的区域块中的像素失真。此外，我们在RICE2数据集上对GAN-UD和Cloud-GAN进行了比较实验【35].实验证明，与其他无监督遥感图像薄云去除方法相比，该方法能够更有效地去除厚云。结果如图所示11中，我们可以观察到GAN-UD生成的图像纹理更清晰，但局部失真。

RICE2数据集上云-GAN和GAN-UD的可视化比较。甘-UD，非对数据生成对抗网络

6个结论

提出了一种新的非配对遥感图像薄云去除方法——GAN-UD方法。我们通过在GAN网络中引入对比损失和内容损失来确保生成的图像与输入内容一致。对比损失是保持生成图像的局部一致性，而内容损失是保持生成图像的全局一致性。此外，我们还设计了一个频率-空间注意力网络，通过频率-空间注意力块使网络专注于本质特征并忽略无关特征来增强网络的学习能力。在遥感图像薄云去除数据集上的实验结果表明，该方法优于当前的无监督去云方法和一些有监督去云方法。

作者投稿

詹聪潭:概念化；数据监管；形式分析；调查；方法论；验证；可视化；写作-原始草稿。冯晓杜:项目管理；资源；监督；写作—审阅和编辑。王曼:资源。谢:写作—审阅和编辑。桂:数据监管。秦聂:数据监管。

承认

本工作得到厦门市自然科学基金项目3502Z20227067、福建省自然科学基金项目2023J011427和厦门市科技局“公开竞赛”项目的资助，项目编号为3502Z20231038。