Denoising Diffusion Probabilistic Feature-Based Network forCloud Removal in Sentinel-2 Imagery论文翻译

mdpi 2023

论文名称 基于

络的Sentinel-2图像去云去噪

论文地址 https://www.mdpi.com/2072-4292/15/9/2217

论文代码 

摘要 

        在遥感领域，云污染是严重影响光学卫星图像质量的常见问题。随着深度学习技术的快速发展，云污染问题有望得到解决。在本文中，我们提出了一种新的去噪扩散概率模型-云去除网络(DDPM-CR)，它可以有效地去除光学图像场景中的薄云和厚云。我们的网络利用去噪扩散概率模型(DDPM)体系结构来整合云层光学图像和辅助SAR图像作为输入来提取DDPM特征，为缺失信息检索提供重要信息。此外，我们还提出了一种采用DDPM特征的云移除头，该云移除头具有多尺度的注意力机制来去除云。为了获得更好的网络性能，我们提出了一种面向云的损失，在训练过程中既考虑了高、低频图像信息，又考虑了云区域。烧蚀和对比实验表明，在不同的云环境下，DDPM-CR网络的性能优于其他方法，获得了更好的视觉效果和精度指标(MAE=0.0229，RMSE=0.0268，PSNR=31.7712，SSIM=0.9033)。这些结果表明，DDPM-CR网络是一种很有前途的解决方案，无论是在薄云覆盖区域还是在厚云覆盖区域，特别是在使用辅助信息如SAR数据的情况下。

关键词：云去除；合成孔径雷达光学图像；产生式模型；深度学习

1.介绍

        光学遥感图像具有高空间分辨率和易解译的特点，是植被监测[1]、土地利用制图[2]、生态变化监测[3]等领域的重要数据源。然而，云和云影覆盖了55%的地球表面，影响了图像质量，阻碍了地物光谱信息的记录[4]。光学遥感图像中缺失光谱信息的提取对于保持数据的完整性和确保后续应用的成功至关重要。

        近几十年来，已经提出了几种光学图像中的云去除方法，这些方法可以分为基于空间的方法、多光谱方法和多时间方法[5]。基于空间的方法通过使用图像数据的其他部分来恢复丢失的光谱信息，假设云覆盖区域和无云区域具有相同的统计分布。已发展出用于去除光学图像中的云的插值法[6，7]、传播扩散法[8]、基于变化法[9]和基于样本的方法[10]。基于空间的方法不依赖于额外的信息，而是依赖于同一图像的无云部分。虽然用一小部分被云污染的图像可以获得更好的效果，但是很大比例的厚云覆盖可能会阻碍这种方法。因此，辅助数据，如合成孔径雷达图像[11]，已经被用来解决这个问题。多光谱方法使用具有高云穿透率的图像波段作为补充，通过多项式拟合模型[12，13]和物理模型[14，15]来去除云。这些方法可以恢复受雾霾和薄云影响的光谱信息；然而，恢复厚云条件下丢失的光谱信息仍然具有挑战性。多时相方法使用其他时期的无云图像来恢复丢失的光谱信息，通常使用替换方法[16，17]、过滤方法[18]和基于学习的方法[19]。然而，假设无云图像在不同阶段之间没有显著变化，多时相方法增加了对图像获取的要求。

        深度学习技术的最新进展，特别是在图像修复方面的进展，导致了有助于消除云和云影的端到端网络的发展。这些网络可以使用单一临时光学图像和互补的SAR图像作为输入数据[20-23]。此外，可以应用类似于自然图像修复的云去除工作流，并使用由云检测算法提取的云掩模来帮助训练DNN模型。各种风格的DNN模型已被用于云去除。Meraner等人。[24]提出了一种基于残差神经网络的多光谱图像去云方法。基于完全卷积网络，纪万昌等人提出了一种基于完全卷积网络的方法。[25]设计了一种级联架构，在检测云和云阴影的同时，还可以恢复受污染的地表信息。为了恢复完整的归一化植被指数(NDVI)序列数据，Jing等人。[26]集成了注意力机制和具有SAR数据和GLCM特征的递归神经网络(RNN)，以从时间和像素相邻图像域检索缺失信息。此外，条件生成性对抗网络(CGAN)和循环GAN已被用来消除各种分布和厚度的云[27-30]。然而，由于Gans良好的生成能力，一些工作试图找到解决方案来构建直接从SAR到光学的图像转换[31，32]。尽管如此，成像原理上的巨大差距仍然是一个重大挑战[33]，SAR多光谱图像融合仍然是输入数据的最佳选择。基于GaN的网络虽然可以达到很好的去云效果，但训练难度大，模型崩溃的风险是一个棘手的问题。除了GaN结构外，扩散概率模型最近也引起了人们的极大关注。与基于GaN的模型不同，扩散模型服从马尔可夫过程，马尔可夫过程是有效的训练过程，并已被用于许多计算机视觉应用，如超分辨率[34]、图像去模糊[35]和图像修复[36]。这些工作对构建有效的云移除体系结构具有指导意义。在上述研究的基础上，本文提出了一种DDPM-CR网络，该网络利用去噪扩散概率模型(DDPM)作为云去除任务的特征提取工具。DDPM的深层特征为网络提供了关键信息，以增强其表征能力。此外，通过将注意力机制和所提出的面向云的丢失函数相结合，我们的网络可以有效地恢复由于云覆盖而丢失的频谱和详细信息。本文的主要贡献如下：        

        1.基于多层深度特征的DDPM-CR网络能够有效地恢复缺失信息，允许云污染图像的重复使用。

        2.面向云的损耗函数，综合了各种损耗函数的优点，提高了网络训练的性能和效率。

        本文的结构如下。第二节介绍了拟议的DDPM-CR网络的结构，云导向损失的定义，数据处理的介绍，以及这项工作的训练数据集和训练细节。第三节给出了烧蚀分析和与基线方法的对比实验。第四节对所获得的结果进行了讨论。最后，第五节给出了本工作的结论。

2.用于云移除的DDPM-CR架构

2.1DDPM云移除功能

        DDPM-CR方法由两个主要组件组成：DDPM网络和建议的云移除头部。DDPM网络用于在多个层次上提取深层特征，然后将这些特征作为输入馈送到云去除头部。通过利用丰富的DDPM功能，云去除头能够检索云覆盖的图像中缺失的信息。DDPM类似于GaN和VAE模型，是一种生成性模型[37]，训练有素的模型可以生成逼真的遥感图像。鉴于DDPM在各种计算机视觉应用中的成功，如简介中所示，它具有有效地应用于云移除任务的潜力。DDPM网络包括两个过程，即正向过程和反向过程，如图1所示。Remote Senss.2023，15,22173第27页2.用于云移除的DDPM-CR体系结构2.1。DDPM云移除功能DDPM-CR方法由两个主要组件组成：DDPM网络和建议的云移除头部。DDPM网络用于在多个层次上提取深层特征，然后将这些特征作为输入馈送到云去除头部。通过利用丰富的DDPM功能，云去除头能够检索云覆盖的图像中缺失的信息。DDPM类似于GaN和VAE模型，是一种生成性模型[37]，训练有素的模型可以生成逼真的遥感图像。鉴于DDPM在各种计算机视觉应用中的成功，如简介中所示，它具有有效地应用于云移除任务的潜力。DDPM网络包括两个过程，即正向过程和反向过程，如图1所示。

图1.DDPM示意图上行描述了正向扩散过程；下行表示了反向推理过程。在反向推理过程中，绿色色条表示输入/输出层，蓝色色条表示ResNet块，粉色条表示关注层，这将在下文中详细描述

        DDPM前向过程涉及将高斯噪声添加到遥感图像的马尔可夫过程。在云移除任务的上下文中，受云污染的映像充当X0并提供初始映像分发。为了确保从受云污染的图像中提取足够的特征以从受云污染的图像中检索信息，DDPM网络使用了五个输入波段，包括三个多光谱波段(红、绿、蓝)和两个合成孔径雷达波段(VV)，并将图1中描述的重新参数化技术描述为1，基于给定的超参数，可以在任意时间t∈(0，)获得添加噪声的XT。这里，βt控制噪声方差和−βt=∏ti=1βi，它们分布在0-1的区间上。在T次迭代之后，如2所示，产生服从各向同性高斯分布的噪声添加结果。反向推理过程也是一个马尔可夫链，其目的是在T次迭代之后从添加噪声的结果中重建原始图像，如上图的3和4所示。该去噪过程需要一个深度网络fθ来对反向推理过程中的参数进行建模。参数µθ(Xt，t)和σ2θ(Xt，t)在3中是通过网络训练获得的均值和方差。为此，基于U-Net的[38]网络被修改用于反向推理，如图2所示。基于给定的超参数，遥测2023，15,22174。这里，𝛽控制噪声方差和𝛽=∏𝛽，它们分布在0-1的区间上。在T次迭代之后，如图2所示，产生服从各向同性高斯分布的噪声添加结果。反向推理过程也是一个马尔可夫链，其目的是在T次迭代之后从添加噪声的结果中重建原始图像，如上图的3和4所示。该去噪过程需要一个深度网络𝑓来对反向推理过程中的参数进行建模。3中的参数𝜇(𝑥，𝑡)和𝜎(𝑥，𝑡)是通过网络训练获得的均值和方差。为此，基于U-Net的[38]网络被修改为反向推理，如图2所示。

图2.去噪模型𝑓的体系结构该模型在U-Net结构的基础上进行了改进，并用ResNet块和关注层代替了原有的Conv块，增强了推理图像的细节信息。

        逆向推理的主要架构是基于广泛使用的U-Net网络，如上图所示。为了满足从噪声中恢复图像的要求，并为后续的云去除过程提供精确的深度特征，主要修改部分是ResNet块。噪声仿射层被设计成线性地向图像特征添加噪声。此外，还使用了SWISH层，因为它在更深层的体系结构中表现优于RELU层[39]。为了将网络集中在不同维度和不同显著图像区域的深层特征上，引入了空间和通道注意机制的高效和健壮性，而不会明显增加计算成本[40]。为了避免影响推理性能，在体系结构的瓶颈处设置了关注层。最后，根据[37]提出的工作，可以重建原始的拼接图像，并且可以以简化的形式定义其目标函数：图2。去噪模型fθ的体系结构。该模型在U-Net结构的基础上进行了改进，并用ResNet块和关注层代替了原有的Conv块，增强了推理图像的细节信息。逆向推理的主要结构是基于广泛使用的U-Net网络，如上图所示。为了满足从噪声中恢复图像的要求，并为后续的云去除过程提供精确的深度特征，主要修改部分是ResNet块。噪声仿射层被设计成线性地向图像特征添加噪声。此外，还使用了SWISH层，因为它在更深层的体系结构中表现优于RELU层[39]。为了将网络集中在不同维度和不同显著图像区域的深层特征上，引入了空间和通道注意机制的高效和健壮性，而不会明显增加计算成本[40]。为了避免影响推理性能，在体系结构的瓶颈处设置了关注层。最后，根据[37]的工作，可以重构原始拼接图像，并以简化的形式定义其目标函数。

其中，f_θ表示上述去噪模型；∼_x表示前向过程之后的加噪图像。

2.2.除云头

        在本文中，我们没有使用DDPM反向推理工作流来直接去除云层，因为遥感图像缺失的光谱信息的提取需要更复杂的架构。因此，利用训练良好的DDPM网络，提取不同的深度特征，提供丰富的信息，使我们能够通过后续的去云头获得更好的去云效果。提取的DDPM特征如图3所示

图3.不同形状的具有不同附加噪声级别的提取的DDPM特征的演示上述特征表示采用JET颜色图显示，中间值用黄色和绿色表示，高值和低值用红色和蓝色表示。在不同的中间添加噪声的情况下，DDPM根据不同的激活值聚焦于地物的不同部位，这有利于后续的除云任务。

        上图描述了从预先训练的DDPM网络中提取的深层特征。该图分为3行和5列，每行表示添加到输入图像的不同噪声级别，每列表示不同尺度的深度特征。这些噪声级别是通过反复试验来选择的，以增强网络对不同成像条件的稳健性。在不同尺度上提取的特征，如(h，w)、(h/2，w/2)、(h/4，w/4)、(h/8，w/8)和(h/16，w/16)，代表了图像从浅边缘和纹理到全局抽象表示的不同特征。无论是大尺度特征还是小尺度特征都可以很好地描述。通过组合这些特征生成的多尺度特征表示更好地捕捉了遥感图像中的模式。基于这些深层特征，我们提出了一个云去除头来执行云去除任务，如图4所示。图3.不同形状的不同添加噪声级别的提取的DDPM特征的演示。上述特征表示采用JET颜色图显示，中间值用黄色和绿色表示，高值和低值用红色和蓝色表示。在不同的中间添加噪声的情况下，DDPM根据不同的激活值聚焦于地物的不同部位，这有利于后续的除云任务。上图描述了从预先训练的DDPM网络中提取的深层特征。该图分为3行和5列，每行表示添加到输入图像的不同噪声级别，每列表示不同尺度的深度特征。这些噪声级别是通过反复试验来选择的，以增强网络对不同成像条件的稳健性。在不同尺度上提取的特征，如(h，w)、(h/2，w/2)、(h/4，w/4)、(h/8，w/8)和(h/16，w/16)，代表了图像从浅边缘和纹理到全局抽象表示的不同特征。无论是大尺度特征还是小尺度特征都可以很好地描述。通过组合这些特征生成的多尺度特征表示更好地捕捉了遥感图像中的模式。基于这些深层特征，我们提出了一个云移除头来执行云移除任务，如图4所示。

图4.建议的云移除体系结构去云头采用𝑓去噪模型中不同上样本块提取的深度特征。T表示添加的中间噪声的不同级别。S代表了蓝模的舞台

        上图描述了云去除推理过程，从DDPM网络中提取不同噪声水平的深层特征作为输入，以提供不同尺度下地物描述的有效信息。网络由多个块组成，块的数量与提取的DDPM特征的数量相对应。每个块由卷积层、RELU层、关注层(与DDPM网络相同)和上采样层组成，用于逐步恢复输出图像的原始大小。在网络的顶部，TANH层将输出值压缩到(-1，1)以匹配归一化输入图像的范围。此外，在每一步，TANH层将输出值压缩到(-1，1)以匹配归一化输入图像的范围该网络将所有DDPM功能与处理后的功能集成在一起，以保留精细化的图像细节，然后将其传递给关注层，以专注于恢复云污染区域中丢失的信息。

2.3.面向云的损失

        用于训练DDPM网络的损失函数在公式(1)中描述。然而，云去除头是负责去除云的主要部件，其功能类似于图像修复。通常，在图像修复网络中通常采用平均绝对误差(MAE)损失。然而，遥感图像中的云污染像元具有较大的动态范围和明显的偏差。因此，单一的MAE损失函数不足以解决这一问题。为了克服这一挑战，本文提出了一种面向云的损失，它包含三个子损失函数，如下所示：

        基于云的损失被表示为LCOL，它是三个子损失函数的组合，即修正的MAE损失(LmMAE)、感知损失(LPERCEP)和注意力损失(L注意)，分别由λa、λb和λc加权。修正的MAE损失同时考虑了云和云影，其定义取决于所使用的验证精度指标，如下式所示：

        其中G和P分别表示目标无云图像块和去云头获得的去云结果。L1损失，也称为MAE损失，由∗1表示，而阿达玛乘积由表示。云和云阴影掩模M是由Zhai等人提出的云检测方法得到的。[41][中英文摘要]。无云区域和云污染区域的权值由λM表示，权值在训练过程中根据验证精度度量而变化。当精度较低时，将λM设置为较高的值，使网络能够了解遥感图像的整体特征。随着网络训练的进行和准确率的提高，λM逐渐减小，使网络专注于恢复丢失的信息。

        改进的MAE损失函数旨在重建图像块的颜色和纹理信息，但在训练过程中可能会丢失高频信息，导致结果过度平滑。为了解决这个问题，面向云的损失包括感知损失术语(LPERCEP)。这一术语利用预先训练的CNN网络来测量生成的图像补丁与其对应的无云补丁之间的差异，从而增强了云去除结果的细节[42]。此外，注意力损失也被合并到面向云的损失中，如以下公式所定义的。

        注意力损失函数通过整合图4中每个关注层的特征并生成空间注意矩阵，将云和云面具在不同尺度上的图像区域增强为高显著值，从而提高了云去除任务的整体性能，从而在云定向损失中发挥了关键作用。∗2 2表示L2损失函数，用于控制网络专注于去云任务。经过广泛的实验，选择λa、λb和λc分别为0.8、0.15和0.0 5，以平衡不同的遥感图像表示。

2.4.实验数据和训练细节

        为了训练DDPM-CR网络，需要大量的图像块，特别是对于复杂的遥感图像表示。在这项研究中，我们利用哨兵-1和哨兵-2图像的时空分辨率和可访问性来执行云去除任务[43，44]。Sentinel-2多光谱数据以不同的空间分辨率捕获了从443 nm到2190 nm的13个波段的光谱信号。可见光和近红外波段的空间分辨率为10m，其他波段的空间分辨率为20m和60m。另一方面，哨兵一号卫星可以通过多种成像模式获取各种天气条件的地面信息。最广泛使用的模式是干涉宽测绘带(IW)，它捕获单极化VV和双极化VH图像数据。为了在各种云条件下有效地训练DDPM-CR网络，我们引入了一个名为SEN12MS-CR[45]的开源数据集，该数据集包含2018年四季的175个全球分布地区。该数据集包括122,218个图像三元组(合成孔径雷达图像、多云图像和目标无云图像)，大小为256×256。在本文中，我们将厚云区定义为60%以上的光谱信号完全被云遮挡的图像区域，反之亦然。我们使用表1中的分区标准进行网络培训、验证和测试。

        表1.SEN12MS-CR数据集的训练、验证和测试样本数量。分区比例为6：2：2。

        本文对多模式数据源哨兵2号多光谱图像和哨兵1号合成孔径雷达图像进行了预处理，以解决它们在取值范围上的显著差异，并消除异常像素和背景像素对结果的影响。采用异常值滤波和最小-最大归一化方法对数据进行预处理。异常值滤波过程消除了离群点像素值对归一化的影响。通过迭代整个数据集，计算多光谱和合成孔径雷达图像的最小值和最大值。经过预处理后，将每个图像数据项的取值范围转换为[−1，1]，以避免不同取值维度的影响。此外，在网络训练过程中采用了随机图像裁剪，将原始图像块随机裁剪成较小的子集。在每次迭代中，在不同位置生成图像块增加了网络的健壮性。此外，较小的图像补丁导致较少的DDPM特征参数，从而减轻了GPU内存的负担。DDPM和云移除头网络的培训程序分为两个步骤。为了确保一致性，所有训练图像块的行和列大小被随机裁剪为128。对于DPM网络，使用了1×10−4的学习率和带有余弦预热时间表的ADAM优化器。权值采用开明分布进行初始化，以保持权值参数的异质性和稳定性。相反，云移除头网络应用正态分布来初始化权重，其中µ=0，δ2=0.02。类似地，当β1=0.5时，β2=0.999时，也使用ADAM优化器，对于前50个历元，初始学习率为2×10−4，随后是衰减率为0.92时的多步衰减法，以获得更好的收敛。由于GPU内存的限制，这两个网络的训练过程总共运行200个历元，批大小为1。实施平台是配备Intel Core i9-10900k CPU@3.70 GHz、32 GB DDR4 2133 MHz RAM和12 GB RAM的NVIDIA GeForce RTX 3060的工作站。操作系统为Ubuntu 18.04。所有网络均通过使用Python3.6的PyTorch 1.10.0实现。关于DDPM-CR的实施，请参阅补充资料部分。为了定量评估去云结果的性能，使用MAE、RMSE、PSNR和SSIM四个指标进行分析，其定义如下。

(1)平均绝对误差(MAE)

其中MAE被定义为推断结果与目标图像的偏差。H和W分别表示高度和宽度。(i，j)表示图像块的像素位置，P(i，j)和G(i，j)分别是推断图像和目标图像中的像素值。

(2)均方根误差(RMSE)

其中RMSE也是广泛使用的像素级度量，用于计算具有均方残差的平方根的推断图像和目标图像之间的相似性。

(3)峰值信噪比(PSNR)

        峰值信噪比是图像评价的客观评价指标，它反映了图像重建的质量。在方程定义中，均方误差被定义为推断图像和目标图像之间的均方误差。一般来说，PSNR值小于20表示重建质量较差，PSNR值大于30表示重建性能良好。PSNR通常与SSIM度量一起使用。

(4)结构相似性(SSIM)

        SSIM度量是用于度量推断图像和目标图像的相似性的常用度量。它应用强度(S)、亮度(L)和对比度(C)，定义如下。

        其中，µP、µG、σP、σG和σPG分别是推断图像和目标图像的平均值、标准差和协方差。C1、C2和C3是避免INF结果的常量，C1=(K1∗L)2，C2=(K2∗L)2，C3=C2/2，其中K1=0.01，K2=0.03。L是根据16位哨兵图像的灰度确定的，L=65,535。为了提高执行效率，使用高斯函数来计算均值、标准差和协方差。因此，最终的SSIM定义如下所示。

        其中α，β和γ分别是定义L、c和S的重要性的权重，α=β=γ=1.3。

3.实验与结果

3.1.合成孔径雷达多光谱多模式输入数据的消融研究

        合成孔径雷达多光谱多通道输入数据的消融研究大多数去云方法只使用光学图像作为数据源。然而，在这种情况下，需要一些光谱信息才能穿透云层，这使得云的去除具有挑战性。厚云遮挡了卫星图像传感器记录的地物光谱信息，这些方法仅依靠云的邻域图像表示来恢复丢失的信息。通过结合SAR图像作为补充数据，更有可能恢复厚云覆盖区域的缺失信息。为了验证多模式输入数据对云去除的影响，训练了一个没有SAR图像的相同的DDPM-CR网络。结果如图5所示。上图显示了SAR数据的有效性，其中包括城市地区和农田的例子。城市区域具有复杂的纹理，这使得检索丢失的信息变得困难，而农田在图像表示上更加均匀，但受到植物季节性的影响。这两个区域都覆盖着厚厚的云层和云影，除了左上角外，大多数图像部分的信息都不见了。有辅助SAR数据的DDPM-CR网络在这两个方面都优于没有SAR数据训练的网络。在城市区域，(G)表明云覆盖区域的缺失信息得到了很好的恢复，而没有辅助信息，缺失信息无法很好地重建，重建部分有云的痕迹，如(H)所示。对于农田，如(J)所示，没有辅助数据的网络只能使用相邻像素来推断缺失信息，导致无法同时提取云覆盖区域和无云区域。除云效果的评价指标如(K)和(L)所示。为了减小测量单位的差异，MAE、RMSE和SSIM指标共享一个公用轴，而PSNR使用一个单独的轴。此外，MAE和RMSE的值都很小，条形也比SSIM短得多。从这两个子图来看，合成孔径雷达数据有助于提高性能，每个精度度量都高于非合成孔径雷达数据网络。对于特定区域，MAE和RMSE指标比较接近，农地区域的PSNR和SSIM有明显的改善，在没有SAR数据补充的情况下，去云效果较差，扩大了结果与SAR数据的差距。为了进一步评估SAR数据的有效性，使用SEN12MS-CR的测试数据集生成了评估表，如表2所示。        

图5.有或没有辅助SAR图像的DDPM-CR的云去除结果。云污染的图像块来自SEN12MS-CR数据集的测试部分。(a，b)城市和农田的云状图像；(d，f)相应的无云图像块；(c，e)VV波段的哨兵-1图像块；(g，i)以SAR图像为辅助数据的DDPM-CR的云去除结果；和(h，j)使用DDPM-CR网络去除没有SAR图像的云。颜色组成基于自然颜色(R：Band4，G：Band3，B：Band2)。(k，1)是在有或没有SAR数据的不同训练策略下的评估指标。

表2.有或没有合成孔径雷达数据补充的DDPM-CR网络的量化结果以下指标是通过SEN12MS-CR的测试数据集的平均值实现的。表中，第一行表示以合成孔径雷达数据作为补充训练的DDPM-CR网络，第二行表示没有进行合成孔径雷达互补训练的网络。

表2表明，使用和不使用合成孔径雷达数据训练的DDPM-CR网络产生不同的结果。图5还显示了用合成孔径雷达数据训练的DDPM-CR网络的性能优于没有合成孔径雷达数据的网络，改进的精度指标证明了这一点。通过引入SAR数据作为辅助数据，MAE和RMSE指标分别降低了30.9%和32.1%，而PSNR和SSIM指标分别提高了12.8%和21.9%。在提供额外信息以帮助网络检索丢失的信息方面，SAR数据是至关重要的。DDPM-CR网络不能在没有依据的情况下生成云去除结果，并且云和云阴影的类型太多，无法学习它们在实际地物上的图像映射，这可能导致云去除结果的崩溃，如图5中的耕地结果。充分利用不受云和云阴影影响的SAR图像的空间信息，网络可以利用更多的辅助信息来检索缺失的信息。DDPM结构有效地结合了合成孔径雷达和多光谱图像的优点，去云头以级联的方式在不同噪声水平下组合这些深度特征，以获得良好的去云效果。

3.2.损失函数对去云效果的评价

        深层网络的损失函数对其性能影响很大。在本研究中，我们提出了一种面向云的损失函数来指导网络的训练。该损失函数包括修正的平均绝对误差(MAE)损失、感知损失和注意力损失，所有这些都是为云去除量身定做的。为了评估面向云的损失函数的有效性，我们比较了不同损失函数训练的DDPM-CR网络的预测结果，即仅修正的MAE损失、带有感知损失的修正MAE、带有注意力损失的修正MAE和面向云的损失。在训练之前，我们确定每个比较损失函数中修正的MAE损失的权重，以获得最佳精度，并以SSIM和PSNR作为评估指标，如图6所示。

图6.比较损失函数的权重选择(A)给出了不同权重下MMAE+感知损失的SSIM和PSNR指标的波动；(B)展示了权重对MMAE+注意力损失的SSIM和PSNR指标变化趋势的影响。

        上图说明了不同权重配置的损失函数对DDPM-CR的SSIM和PSNR指标的影响。很明显，不同的权值导致了结果的显著差异，随着权值从(A)增加到(B)，SSIM和PSNR都呈现出上升和下降的趋势。峰值表示局部最优精度，这意味着可以选择其他权值。在(A)中，描述了MMAE+感知损失函数，并且峰值SSIM和PSNR值分别出现在权值0.3和0.4处。然而，权重值0.3会导致云去除结果中的伪影更多，因此选择0.4作为MMAE的权重，并将感知损失的权重设置为0.6。在(B)中，示出了MMAE+注意力损失函数，并且SSIM和PSNR的峰值对应于权重值0.2。因此，MMAE的权重被设置为0.2，注意力丢失的权重被设置为0.8。DDPM-CR网络使用两个损失函数的选择权重进行训练，图7显示了云去除结果的可视比较。

        图7.采用各种损耗函数对DDPM-CR网络性能的影响(A1-E1)自然场景和人造物体的云输入图像，包括湿地、森林、农田和城市地区。(a6-e6)无云目标图像。(A2-e2)仅使用MMAE损失函数训练的DDPM-CR网络所取得的云去除结果。(A3-E3)基于MMAE+感知损失函数的DDPM-CR网络得到的结果。(a4-e4)MMAE+注意力丢失函数对DDPM-CR网络性能的影响。(a5-e5)使用面向云的损失函数训练的DDPM-CR网络的去云结果。颜色组成基于自然颜色(R：Band4、G：Band3和B：Band2)。       

        图7中的子图(A1)-(E1)显示了厚厚的云层覆盖的图像补丁，这允许评估损失函数对网络性能的影响。子图(A2)-(E2)描述了仅使用MMAE Lost训练的DDPM-CR网络的结果，该网络考虑了无云和有云区域的图像表示。虽然在所有图像场景中都恢复了缺失的信息，但结果缺乏细节，并且一些伪像像素可见，特别是在具有规则纹理的区域，如城市区域(D2)。

        对于组合损失函数，经过MMAE+感知损失训练的DDPM-CR网络的子图(A3)-(E3)具有更好的视觉效果，具有更精细的空间信息。这是由于感知损失函数，它借助于从其他辅助网络提取的特征极大地改善了重建结果中的高频信息，如(D3)的结果所示。然而，在一些同质地区，如耕地，存在过度现象。子图(A4)-(E4)显示了MMAE+注意力丧失的结果，其表现优于单独MMAE丢失的结果，与mMAE+知觉损失的结果相似。注意力丢失应用注意块中的特征来构建注意掩模，并与云掩模一起在良好的指导下训练过程，从而很好地恢复了丢失的云覆盖和无云区域信息。与MMAE丢失功能机制不同，注意力丢失促使网络更多地关注云覆盖区域的信息检索。与其他两种损失函数相比，重建结果具有更好的自然视觉表现，反映了MMAE和注意力损失的互补性。

        子图(A5)-(E5)显示了面向云的损失函数的结果，该函数综合了其他三种损失函数的优点，既考虑了云覆盖区域的光谱信息，也考虑了无云区域的光谱信息及其详细信息。它的结果与子图(A6)-(E6)中的目标无云图像斑块更加一致。下面的表3还说明了面向云的损失函数与其他损失函数相比的优越性。

        表3.损失函数对DDPM-CR网络性能的定量评估以下指标是通过SEN12MS-CR的测试数据集的平均值实现的。第一行列出了仅用MMAE损失函数训练的DDPM-CR网络的结果。第二行列出了具有MMAE+感知损失函数的准确度指标。第三行列出了MMAE+注意力丧失功能的结果。第四行列出了面向云的损失函数的结果。

        如上表所示，由于使用的是SEN12MS-CR的相同测试数据集，所以云中损耗的度量值与表2中的相同，具体而言，MMAE损耗函数的结果最差，而云中损耗函数的MAE结果最好。对于RMSE来说，MMAE+注意力损失达到了最好的值，面向云的损失次之，说明注意力损失对于去云任务来说是一个稳定的提升。PSNR和SSIM提供了重建图像的定性评估，而面向云的损失显著优于其他损失函数。这些结果表明，面向云的损失函数有效地整合了其他损失函数的优势，并产生了更全面的结果。结合3.1和3.2节中的分析，除了精心设计的网络和辅助数据(如合成孔径雷达图像)外，选择适当的损失函数对于提高DDPM-CR网络的验证精度至关重要。最后，将完整的DDPM-CR网络与一些基线模型进行了比较。

3.3.与基线模型的对比实验

        上述分析对于使用SEN12MS-CR数据集评估DDPM-CR网络的有效性至关重要。然而，为了确保该网络的实际适用性，有必要评估其在其他研究领域的表现。在这项研究中，我们选择了武汉和洱海两个地区，如图8所示，对DDPM-CR网络进行进一步的评估

图8.两个研究领域的展示。(A)展示了武汉研究区的预览以及部分城市区域的图像，以评估除云方法的性能。(B)具有自然和人工景观的洱海研究区预览。上述研究区图像的颜色组成基于自然颜色(R：波段4、G：波段3和B：波段2)。

        洱海位于云南省大理白族自治州中国。它是云南第二大淡水湖[46]。洱海又长又窄，岸边陡峭。洱海年水温在12-21◦C之间。由于其独特的地理特征，洱海经常被云层覆盖，严重影响了与作物监测相关的任务。武汉地处长江中下游，是交通枢纽、工业中心、科教中心的中心城市。城市的快速扩张需要高质量的遥感图像来辅助监管。然而，长江和丰富的降雨导致这一地区经常被高比例的云层覆盖。对于图像数据，应在相邻日期采集SAR、多云和无云图像，以确保目标无云图像可用。洱海地区的合成孔径雷达图像和多云图像是在2020年8月13日获取的，晴空图像是在2020年8月27日获取的，武汉的图像是在2022年8月7日和2022年8月17日获取的。将两个研究区的图像分割成128×128大小的薄云区和厚云区斑块，形成一个数据集，用于比较方法的评价。

        为了评估DDPM-CR网络的有效性，我们将其与传统方法RSdehaze[47]以及其他四个深度学习网络：DSen2-CR[24]、Pix2Pix[48]、GLF-CR[23]和SPA-CycleGAN[30]进行了比较。利用RSdehaze方法突出了辅助SAR图像在云去除中的重要性。GLF-CR使用与DDPM-CR不同的双流网络，而其他深度学习方法在许多方面与DDPM-CR相似。SPA-CycleGAN还包括一种注意力机制和相应的注意力损失。为了确保公平的比较，所有的深度学习方法都使用SAR图像作为补充数据，并使用SEN12MS-CR数据集进行训练。图9-12显示了两个研究区对比方法的除云结果。

图9.武汉研究区云层稀薄的对比除云效果。第一行和第二行分别是被云污染的薄片和对应的无云图像斑块。其他行显示了每种方法的云去除结果。图像的颜色组成基于自然颜色(R：带4、G：带3和B：带2)。(a-f)对武汉研究区各试验区进行比较，验证各方法的性能。

图10.武汉研究区的厚云去除效果。前两排是被云污染的厚厚的云层，目标是无云的图像斑块。(a-f)不存在第一排和第二排的各种厚云覆盖区域的云去除结果。图像的颜色组成基于自然颜色(R：带4、G：带3和B：带2)。

图11.洱海研究区不同方法的薄云去除效果比较前两行显示的是薄薄的云层和无云的图像斑块。(a-f)在第三行，图像集演示了各种方法的云去除效果。图像的颜色组成基于自然颜色(R：带4、G：带3和B：带2)。

        光谱信号可以在一定程度上穿透云层，使其能够被卫星传感器捕获。这种现象类似于雾，可以通过遥感前处理中的辐射校正进行部分校正。在图9中，武汉研究区使用的比对方法取得了良好的效果，薄云被完全消除。但是，云层和云层阴影一般对RSdehaze算法影响较大，导致云层覆盖区域的重建失败。这凸显了合成孔径雷达图像在云去除任务中的重要性。Pix2Pix网络在合成多种信息类型以生成目标无云图像方面也面临困难，这可能是其性能较低的原因。相比之下，DSen2-CR网络获得了比GLF-CR网络更好的视觉效果，显示了更详细的建筑纹理。在图9a中，SPA-CycleGAN执行得很好，生成的结果比DDPM-CR更符合目标映像，而DDPM-CR在其他区域获得了更好的结果。

图12.洱海研究区不同方法对比的厚云去除效果。第一行和第二行显示了厚厚的云层和目标的图像斑块。在第三行，列(a-f)展示了每种方法的云去除效果。图像的颜色组成基于自然颜色(R：带4、G：带3和B：带2

        图10的前两行显示，武汉研究区的厚云完全阻碍了光谱信号的传输，与薄云条件相比，造成了更密集的云层和阴影。RSdehaze方法显示结果严重恶化，颜色错误，未能恢复详细的施工信息，甚至无法恢复云状伪影，特别是在(B)区。基于深度学习的方法也会产生退化的结果，在厚云区域内恢复的图像信息外观模糊。具体地说，Dsen2-CR和Pix2Pix在视觉效果较差的情况下取得了类似的结果，而GLF-CR在区域(B)和(C)中的性能优于其他比较方法，由于其双流架构，具有更精细的颜色和详细的信息。SPA-CycleGAN网络在(D)和(F)区域表现出良好的效果，这是因为该体系结构中采用的注意机制在云定位和缺失信息重建中发挥了重要作用。然而，总体而言，DDPM-CR网络的性能优于其他方法，因为它可以在厚云和云层阴影下提取大部分光谱信息，并且在云去除结果中产生的模糊性最小。在洱海研究区的图11中，地物的多样性对比较法提出了比武汉更大的挑战，因为既有自然物体，也有人造物体。此外，积云在该地区分布广泛，与武汉相比，进一步阻碍了光谱信息的传输。洱海云层越密，在使用RSdehaze方法时，云的去除效果就越失真，与目标无云图像的颜色也不一致。基于深度学习的方法在辅助合成孔径雷达图像的辅助下，可以从多云区域恢复缺失数据，在无云区域有较好的重建效果。然而，更密集的云和多种多样的地物增加了云去除任务的复杂性，所有基于深度学习的方法在准确重建云污染区域方面都存在局限性。Pix2Pix网络的泛化能力较差，在云污染区域会出现马赛克伪影。与DSen2-CR相比，GLF-CR在云区域上检索的图像信息更多，特别是在(A)区域，而DSen2-CR在这一研究领域的性能有限。SPA-CycleGAN和DDPM-CR网络具有相似的原则，取得了类似的结果，而DDPM-CR在区域(A)和(C)产生了更精细的细节。图12展示了洱海研究区通过对比方法取得的厚云去除效果。在图的第一行，图像表示很难区分，厚厚的云层占据了场景的大部分。RSdehaze方法不能产生合理的结果，即使不能识别厚厚的云，DSen2-CR网络也显示出模糊的表示。通过Pix2Pix网络获得的结果显示了许多外观模糊的马赛克伪像。GLF-CR在(D)和(E)中生成马赛克样伪影。尽管SPA-CycleGAN恢复了厚云覆盖造成的一些遗漏信息，但结果仍然模糊，与GLF-CR网络的结果相似。相比之下，提出的DDPM-CR网络在云去除效果方面优于其他方法，具有更好的视觉外观，如(D)所示结果。其他方法无法重建场景中城镇区域的详细信息，而DDPM-CR网络以较小的失真恢复了该信息。在不同云层厚度的比较结果中，基于深度学习的方法在两个方面优于传统的RShaze方法。首先，RSdehaze方法是专门为雾和薄云去除应用而设计的，其在厚云下的性能严重下降。其次，它只使用光学波段，这使得厚云下的信息恢复效果不佳。每个网络都有自己的专业领域，上述结果表明，如果不进行修改，Pix2Pix网络不能直接用于云网络具有最佳的RMSE度量值。在洱海研究区，所有方法的度量值都有所下降，SPA-CycleGAN网络获得了最佳的MAE和RMSE度量值，而DDPM-CR网络的PSNR和SSIM度量值表现最好。对于厚云条件下的结果，所有比较方法的性能都会大幅下降，几乎所有的精度指标都会受到影响。值得注意的是，DDPMCR网络实现了最佳的精度指标，表明其在具有不同云条件的各种研究区域上具有卓越的性能。这可以归功于DDPM架构的多层次深度功能，这些功能为云移除头提供了关键信息，并进一步提高了网络性能。

表4.武汉、洱海地区DDPM-CR评价及比较方法通过在薄云和厚云条件下的评估结果，分别验证了这些除云方法的性能。

4.讨论

        在本研究中，我们通过网格搜索和视觉比较相结合的方法选择了MMAE、知觉和注意力损失函数的权重参数。表5列出了PSNR的前五组参数选择。在面向云的损失函数中，我们还提出了一种MMAE损失函数来辅助网络的训练，该函数结合了权值λm的动态调整策略，以平衡在有云区域中缺失信息的恢复和到无云区域的像素映射。这种损失函数比注意力损失更灵活。可以使用两种方法调整λm。第一种方法使用初始λm=0.8后历元数的线性平差。在前50个历元中，DDPM-CR网络利用注意力丢失函数学习训练数据集的全局信息，以稳定网络训练。随后，λm以每个历元0.002的衰减率减小，直到训练完成。该程序允许网络逐步提高云覆盖区域的信息恢复比例。第二种方法基于验证SSIM度量来调整λm。在前50个历元期间，λm也被初始化为0.8。对于接下来的150个历元，如果最佳验证SSIM低于0.7时，则λm保持不变以继续学习整个数据集的全局表示。如果验证SSIM高于0.7但低于0.85时，将λm设置为0.6，以区分云覆盖区域中的信息恢复的优先级。当验证SSIM大于0.85时，最后将λm设置为0.5，以细化云覆盖区域的图像信息。这两种策略之间的不同之处在于，λm或者基于纪元数或者基于SSIM度量的验证而减小。我们在图13中描绘了验证PSNR和SSIM的训练曲线，以评估每种策略的性能。

表5.通过网格搜索方法对MMAE、感知和注意力损失函数使用PSNR度量进行的前五组参数选择。

 

根据上表中的结果，显然，在面向云的损失中，与其他两个子损失函数相比，代表分配给MAE损失函数的权重的λa仍然占主导地位。这突出了MAE损失函数在云去除任务中的基本重要性。λb和λc在获得更好的重建结果方面起着从属作用。值得注意的是，由于λc在定位显著区域方面的作用，因此其权重相对较高，尤其是在表的最后一行。

图13.不同λm调整策略中精度指标与纪元数的关系。(A)描述了峰值信噪比的变化。(B)显示了SSIM的趋势。红色曲线显示了λm随历元数增加而减少的策略。蓝色曲线表示λm根据验证SSIM度量减小。

        在上述实验中，将实际训练历元数设置为200，并使用另外800个历元来确定λm的最佳调整策略。如子图(A)和(B)所示，网络在历元200附近收敛，但在随后的历元中出现曲线振动，特别是对于经历剧烈波动的红线。然而，上述曲线也表明，使用验证SSIM调整λm的效果优于基于纪元数的策略；在大多数训练纪元中，对于SSIM和PSNR度量，蓝线都在红线之上。这可以通过这样的事实来解释，即随着历元数线性地减小λm可能由于频繁改变λm权重而导致不足，从而损害训练有效性。相比之下，基于验证SSIM的λm调整策略确保了更好的网络收敛和更稳定的训练过程，并且λm的改变严格遵守DDPM-CR网络精度度量，从而产生更好的精度度量。此外，λm根据MMAE损失函数定义控制无云区域和有云区域的信息检索。为了直观地评估两种λm调整策略的有效性，我们对SEN12MS-CR数据集中包含无云和云覆盖区域的同一图像补丁进行了比较，如图14所示。

        在所提供的图中，选择了云覆盖区域和无云区域混合的图像补丁来评估两种λm调整策略的效果。选择了三个典型的区域进行近距离观察，最左边的区域完全被云覆盖，中间区域一半被云覆盖，最右边的区域是无云的。(D)和(E)中分别给出了λm随验证SSIM和历元数而减小的云去除结果。对于完全被云覆盖的区域，(D)比(E)提取了更丰富的图像细节，在半被云覆盖的区域也出现了同样的结果。在无云区域，(D)也优于(E)，不仅提取的地物更完整，而且图像细节也更精细。这些观察结果表明，λm ad

        这些观察表明，验证SSIM的λm调整策略更合理，并且验证SSIM为MMAE损失函数的调整提供了重要的参考。第一节中的大多数工作都使用了固定损耗函数，如MSE[20，21，26]、MAE[23，24]和GaN基[22，27-33]损耗函数及其变体，以获得满意的结果。然而，这些损失函数在复杂图像场景下的泛化性能可能有限。相比之下，提出的面向云的损失集成了各种损失函数，以更好地适应云去除任务。通过将λm调整策略与MMAE中的验证SSIM相结合，该方法获得了最优的云去除结果，展示了云定向损失在各种云覆盖条件下的有效性，如图14所示。传统的方法，如RShaze，受到图像传感器和辐射传输的限制，使得它们在各种条件下都无效。基于深度学习的方法需要精心设计的体系结构才能获得高质量的结果，尤其是在基于GaN的网络中，SPA-CycleGAN的性能优于Pix2Pix。与Dsen2-CR和GLF-CR架构相比，DDPM-CR架构具有丰富的DDPM特征和建议的云移除头部，可以利用更具代表性的信息来执行云移除任务。此外，面向云的损失功能对网络训练具有积极作用，使网络能够适应复杂的云条件。这些因素促成了DDPM-CR在云去除方面优于其他方法的性能。

5.结论

        光学遥感图像常被云层遮挡，造成资源浪费。这项研究提出了一种新的云去除任务网络，在SEN12MS-CR数据集上进行训练，具有几个优点。首先，它利用了辅助的合成孔径雷达数据和来自DDPM架构的多层特征，为云的去除提供了丰富的信息和精细的检索细节，并具有令人满意的验证精度。其次，具有注意力机制的去云头在不同尺度下都能很好地恢复丢失的信息。该算法平衡了云覆盖区域和无云区域的信息恢复性能，对不同损失函数的训练结果表明了该方法的有效性(MAE=0.0301，均方根误差=0.0327，峰值信噪比=29.7334，SSIM=0.8943)。为了验证DDPM-CR的泛化能力，以以人造地物为主的武汉研究区和地物分布复杂的洱海研究区为例进行了验证。几种方法在研究区进行了薄云和厚云条件下的试验。结果表明，该方法在定量和定性上均优于传统的基于深度学习的比较方法和其他三种基于深度学习的比较方法，它以较少的伪影和失真(MAE=0.0229，均方根误差=0.0268，峰值信噪比=31.7712，SSIM=0.9033)学习哨兵二号光学图像和哨兵一号合成孔径雷达图像之间的复数映射。在各种云条件下，DDPM-CR网络对常规图像模式，例如农田和森林，以及复杂图像模式，如城市地区，都具有良好的性能。然而，我们也发现在厚云覆盖区域的结果是模糊的，所以DDPM-CR网络仍然有改进的空间。因此，未来的研究将集中在优化DDPM-CR网络和增加辅助SAR图像的超分辨率结构以提高其精度。补充材料：以下支持信息可从以下网址下载：https：//githeb.com/chingrun/DDPM-CR，(2023年3月3日可访问)。作者投稿：概念化，W.Z.；Funding Acquisition，W.Z.；方法，F.D.，F.L.和M.Z.；软件，R.J.；验证，R.J.；写作--原始草稿，R.J.和F.D.；写作--审阅和编辑，F.D.和R.J.。所有作者都已阅读并同意手稿的出版版本。

        基金：本研究得到中国国家自然科学基金资助，批准号为42071422；中国国家重点研究发展计划资助项目，批准号为2018YFC0706004；大学生创新创业培养计划资助项目，批准号为Yz2022018。数据可用性声明：来自https://patricktum.github.io/cloud_Removal/，的SEN12MS-CR数据集(2022年10月24日访问)。利益冲突：作者声明没有利益冲突。