[CR]厚云填补_DDPM-CR

IAz-

已于 2024-08-22 16:36:01 修改

阅读量835

点赞数 10

分类专栏：厚云填补文章标签：深度学习人工智能

于 2024-08-21 21:25:43 首次发布

本文链接：https://blog.csdn.net/iazzz/article/details/141403302

版权

厚云填补专栏收录该内容

15 篇文章 0 订阅

订阅专栏

Denoising Diffusion Probabilistic Feature-Based Network for Cloud Removal in Sentinel-2 Imagery

Abstract

在本文中，我们提出了一种新的去噪扩散概率模型-云去除(DDPM-CR)，它可以有效地去除光学图像场景中的薄云和厚云。我们的网络利用去噪扩散概率模型(DDPM)架构整合云光学和辅助SAR图像作为输入提取DDPM特征，为缺失信息检索提供重要信息。此外，我们还提出了一种采用DDPM特征和多尺度注意机制的去云头。为了获得更好的网络性能，我们提出了一种面向云的损失算法，该算法在训练过程中考虑了高低频图像信息以及云区域。我们的实验和对比表明，DDPM-CR网络在各种云条件下都优于其他方法，获得了更好的视觉效果和精度指标(MAE = 0.0229, RMSE = 0.0268, PSNR = 31.7712, SSIM = 0.9033)。这些结果表明，DDPM-CR网络是一种很有前途的解决方案，用于检索薄或厚云覆盖区域的缺失信息，特别是当使用辅助信息(如SAR数据)时。

1 Introduction

光学遥感图像具有高空间分辨率和易于解释的表征，是植被监测、土地利用制图、生态变化检测等领域的重要数据源。然而，云层和云影覆盖了55%的地球表面，影响了图像质量，阻碍了地物光谱信息的记录。光学遥感图像中缺失光谱信息的检索是保持数据完整性和确保后续应用成功的关键。

近几十年来，人们提出了几种光学图像中的云去除方法，可分为基于空间的、多光谱的和多时间的方法。基于空间的方法利用图像数据的其他部分来恢复缺失的光谱信息，假设云覆盖区域和无云区域具有相同的统计分布。已经开发了插值方法、传播扩散方法、基于变化的方法和基于示例的方法来去除光学图像中的云。基于空间的方法不依赖于附加信息，而是依赖于同一图像的无云部分。虽然小比例的图像被云污染可以获得更好的结果，但大比例的厚云覆盖可能会阻碍这种方法。因此，辅助数据，如SAR图像，被用来解决这个问题。多光谱方法利用高云层穿透率的图像波段作为补充，利用多项式拟合模型和物理模型去除云层。这些方法可以检索受雾霾和薄云影响的光谱信息；然而，在厚云条件下恢复丢失的光谱信息仍然具有挑战性。多时相方法使用其他时期的无云图像来检索缺失的光谱信息，通常使用替换方法、滤波方法和基于学习的方法。然而，多时相方法增加了对图像采集的要求，假设无云图像在不同阶段之间没有明显变化。

深度学习技术的最新进展，特别是在图像绘制方面，导致了端到端网络的发展，有助于消除云和云阴影。这些网络可以使用单独/时间光学图像和补充SAR图像作为输入数据。此外，可以应用类似于自然图像绘画的云去除工作流程，通过云检测算法提取云掩码，用于帮助训练DNN模型。各种类型的深度神经网络模型已被用于云的去除。Meraner等利用SAR融合过程和多光谱图像数据，提出了一种基于残差神经网络的去云架构。Ji等人基于全卷积网络设计了一种级联架构，在提取污染表面信息的同时检测云和云阴影。为了恢复完整的归一化植被指数(Normalized Difference Vegetation Index，NDVI)序列数据，Jing等将注意力机制与具有SAR数据和GLCM特征的递归神经网络(RNN)结合起来，从时间和像素相邻图像域中检索缺失信息。此外，条件生成对抗网络(cGAN)和循环GAN已被用于去除具有不同分布和厚度的云。然而，由于GAN具有良好的生成能力，一些研究试图寻找解决方案来构建直接的SAR到光学图像转换。尽管如此，成像原理上的巨大差距仍然是一个主要挑战，SAR -多光谱图像融合仍然是输入数据的最佳选择。虽然基于GAN的网络可以取得很好的去云效果，但它们很难训练，并且模型崩溃的风险是一个棘手的问题。除了GAN结构外，扩散概率模型最近也引起了人们的广泛关注。与基于GAN的模型不同，扩散模型服从马尔科夫过程，马尔科夫过程训练效率高，并已用于许多计算机视觉应用，如超分辨率、图像去模糊和图像恢复。这些工作对于构建有效的云移除架构具有指导意义。基于上述研究，本文提出了一种DDPM-CR网络，该网络利用去噪扩散概率模型(DDPM)作为特征提取器来完成云去除任务。DDPM的深层特性为网络提供了关键信息，增强了网络的表示能力。此外，通过将注意力机制与提出的面向云的损失函数相结合，我们的网络可以有效地恢复由于云覆盖而丢失的光谱和细节信息。

本文贡献如下：

提出的DDPM-CR网络基于多层深度特征有效地检索缺失信息，允许云污染图像的重用。
面向云的损失函数融合了各种损失函数的优点，提高了网络训练的性能和效率。

2 去云模型DDPM-CR框架

2.1 DDPM在去云任务上的特性

DDPM-CR方法学由两个主要部分组成：

DDPM网络--DDPM网络用于提取多个层次的深层特征，然后将其作为输入馈送到云清除头。
提议的云移除头--利用丰富的DDPM特征，云去除头能够检索云覆盖图像中的缺失信息。

DDPM与GAN和VAE模型类似，是一种生成模型，经过良好训练的模型可以生成真实的遥感图像。鉴于DDPM在各种计算机视觉应用中的成功，如引言所示，它具有有效应用于云移除任务的潜力。DDPM网络包括两个过程，即正向过程和反向过程，如图1所示。

图1 DDPM图。上排为正向扩散过程；下一行表示反向推理过程过程。在反向推理过程中，绿色条表示输入/输出层，蓝色条表示ResNet块，粉色条表示注意层。

DDPM前向过程涉及一个马尔可夫过程，该过程将高斯噪声添加到遥感图像中。在去云任务中，被云污染的映像作为 $x_{0}$ ，提供初始映像分布。为了确保从云污染图像中提取足够的特征以检索信息，DDPM网络采用了五个输入波段，包括三个多光谱波段(红、绿、蓝)和两个SAR波段(VV和VH)。使用图1中①所示的重参数化技术，基于给定的超参数，可以得到任意时刻 $t\in (0,T)$ 的加噪 $x_{t}$ 。其中 $\beta _{t}$ 控制噪声方差和 $\bar{\beta } _{t}=\prod_{i=1}^{T}\beta _{i}$ ，它们分布在0-1区间上。如图②所示，经过T次迭代后，生成服从各向同性高斯分布的加噪结果。

图2 去噪模型 $f_{\theta }$ 的体系结构。基于U-Net架构对模型进行了改进，将原有的conv块替换为ResNet块和注意层，增强了推理图像的详细信息。

反向推理过程也是一个马尔可夫链，其目的是通过T次迭代后的加噪结果重建原始图像，如上图③和④所示。这种去噪过程需要一个深度网络来对反向推理过程中的参数进行建模。③中的参数 $\mu _{\theta }(x_{t},t)$ 和 $\sigma ^{2}_{\theta }(x_{t},t)$ 是通过网络训练得到的均值和方差。为此，对基于U-Net的网络进行了修改，以便进行反向推理，如图2所示。

反向推理的主要架构是基于广泛使用的U-Net网络，如2图所示。为了满足图像从噪声中恢复的要求，并为后续的去云过程提供精确的深度特征，主要修改的部分是ResNet块。噪声仿射层的目的是将噪声线性地添加到图像特征中。此外，还使用了swish层，因为它已被证明在更深的体系结构中优于ReLU层。为了将网络集中在不同维度的深层特征以及不同的显著图像区域，在不增加明显计算成本的情况下，引入了空间和通道关注机制的高效率和鲁棒性。为了避免影响推理性能，将注意力层设置在体系结构的bottleneck。最后，对原拼接图像进行重构，并根据以下作者提出的工作以简化形式定义其目标函数：

其中 $f_{\theta }$ 为上述去噪模型； $\tilde{x}$ 为前向处理后的加噪声图。

2.2 去云头

在本文中，我们没有使用DDPM反向推理工作流来直接去除云，因为检索遥感图像的缺失光谱信息需要更复杂的架构。因此，我们利用训练良好的DDPM网络，提取了丰富的深层特征，提供了丰富的信息，使我们能够通过后续的去云头获得更好的去云效果。提取的DDPM特征如图3所示。

图3 演示提取的DDPM特征与不同形状的不同附加噪声水平。上述特征表示采用jet彩色图显示，中间值用黄色和绿色表示，最高值和低值用红色和蓝色表示。DDPM在不同的中间加噪情况下，根据不同的激活值对地物的不同部位进行聚焦，有利于后续的去云任务。

上图为从预训练的DDPM网络中提取的深度特征。该图分为3行5列，每一行代表输入图像加入不同的噪声水平，每一列代表不同尺度下的深度特征。这些噪声水平是通过反复试验选择的，以增强网络对不同成像条件的鲁棒性。提取的(h, w)、(h/2, w/2)、(h/4, w/4)、(h/8, w/8)和(h/16, w/16)等不同尺度的特征代表了图像的不同特征，从浅边缘和纹理到全局抽象表示。大尺度和小尺度特征都可以很好地描述。结合这些特征生成的多尺度特征表示能更好地捕捉遥感图像中的模式。基于这些深层特征，我们提出了一个去云头来执行去云任务，如图4所示。

图4 提议的去云架构。去云头采用DDPM去噪模型 $f_{\theta }$ 中不同上采样快提取的深度特征。T 表示不同程度的附加中间噪声。s表示模型块的阶段。

上图为去云推理过程，将不同噪声水平的DDPM网络中提取的深层特征作为输入，提供不同尺度地物描述的有效信息。该网络由若干块组成，块的数量对应于提取的DDPM特征的数量。每个块由卷积层、ReLU层、注意层(与DDPM网络相同)和上采样层组成，上采样层用于逐步恢复输出图像的原始大小。在网络的顶部，tanh层将输出值压缩为(-1,1)，以匹配归一化输入图像的范围。此外，在每个步骤中，网络将所有DDPM特征与处理后的特征集成在一起，以保留精细的图像细节，然后将其传递给关注层，专注于恢复云污染区域的缺失信息。

2.3 面向云的损失计算

用于训练DDPM网络的损失函数如式(1)所示。云去除头是负责去除云的主要组件，它的功能类似于图像恢复。一般来说，平均绝对误差(MAE)损失通常用于图像恢复网络。然而，遥感图像中被云污染的像元具有高动态范围和显著偏差。因此，单一的MAE损失函数不足以解决这个问题。为了克服这一挑战，本文提出了一种面向云的损失，该损失包含以下三个子损失函数：

面向云的损失用 $L_{COL}$ 表示，它是修正MAE损失( $L_{mMAE}$ )、感知损失( $L_{percep}$ )和注意损失( $L_{attention}$ )三个子损失函数的组合，分别用 $\lambda _{a}$ 、 $\lambda _{b}$ 和 $\lambda _{c}$ 加权。修正后的MAE损失考虑了云和云阴影，其定义取决于所使用的验证精度指标，如下式所示:

式中，G和P分别为目标无云图像patch和去云头得到的去云结果。L1损失，又称MAE损失，用 $\left \| \ast \right \|_{1}$ 表示，Hadamard积用 $\bigodot$ 表示。云和云影掩模M是由Zhai等人提出的云检测方法得到的。无云区域和受云污染区域的权重用 $\lambda _{M}$ 表示，它们在训练过程中根据验证精度度量而变化。当精度较低时，将 $\lambda _{M}$ 设为较高值，使网络能够学习到遥感图像的整体特征。随着网络训练的进行和准确率的提高， $\lambda _{M}$ 逐渐减小，使网络专注于恢复缺失信息。

改进的MAE损失函数旨在重建图像patch的颜色和纹理信息，而在训练过程中可能会丢失高频信息，导致结果过于平滑。为了解决这个问题，面向云的损失包括一个感知损失术语( $L_{percep}$ )。该术语利用预训练的CNN网络来测量生成的图像patch与其对应的无云patch之间的差异，增强了去云结果的细节。此外，注意力损失也被纳入云导向损失，定义如下公式：

注意损失函数在面向云的损失中起着至关重要的作用，它将图4中每个注意层获得的特征进行整合，生成一个空间注意矩阵，该矩阵将云和云掩模在不同尺度下的图像区域增强为高显著值，从而提高了去云任务的整体性能。 $\left \| \ast \right \|^{2}_{2}$ 为L2损失函数，用于控制网络专注于除云任务。经过大量实验，选择 $\lambda _{a}$ 、 $\lambda _{b}$ 、 $\lambda _{c}$ 分别为0.8、0.15、0.05，以平衡不同的遥感影像表征。

2.4 实验数据和训练细节

为了训练DDPM-CR网络，需要大量的图像补丁，特别是对于复杂的遥感图像表示。在本研究中，由于Sentinel-1和Sentinel-2图像的时空分辨率和可访问性，我们使用它们进行云去除任务。Sentinel-2多光谱数据采集了443 ~ 2190 nm的13个波段不同空间分辨率的光谱信号。可见光和近红外波段的空间分辨率为10 m，其他波段的空间分辨率为20 m和60 m。另一方面，Sentinel-1号卫星可以通过几种成像模式获取所有天气条件下的地面信息。最广泛使用的模式是干涉宽条(IW)，它捕获单偏振VV和双偏振VH图像数据。为了在各种云条件下有效训练DDPM-CR网络，我们引入了一个名为SEN12MS-CR的开源数据集，该数据集包含2018年全年4个季节的175个全球分布区域。该数据集包含122218个图像三元组(SAR、云和目标无云图像)，大小为256 $\times$ 256。在本文中，我们将厚云区域定义为60%以上的光谱信号完全被云遮挡的图像区域，反之亦然。我们使用表1中的分区标准进行网络训练、验证和测试。

表1 SEN12MS-CR数据集的训练、验证和测试样本数量。分区比例为6:2:2。

本文对Sentinel-2多光谱图像和Sentinel-1 SAR图像的多模态数据源进行了预处理，以解决其值范围的显著差异，并消除异常像元和背景像元对结果的影响。采用异常值滤波和最小-最大归一化对数据进行预处理。异常值滤波过程消除了异常像素值对归一化的影响。通过遍历整个数据集，计算出多光谱和SAR图像的最小值和最大值。预处理后，将各图像数据项的值范围变换为，以避免不同值维度的影响。此外，在网络训练中采用随机图像裁剪，将原始图像patch随机裁剪成更小的子集。每次迭代在不同位置生成图像补丁，增加了网络的鲁棒性。此外，较小尺寸的图像补丁导致较少的DDPM特征参数，减少了GPU内存的负担。

DDPM和去云头网络的训练程序是一个两步的过程。为了确保均匀性，所有训练图像补丁的行和列大小被随机裁剪为128。对于DDPM网络，使用学习率为 $1\times 10^{-4}$ 和带余弦预热退火策略的Adam 优化器。权重初始化采用Kaiming分布，以保持权重参数的异质性和稳定性。而去云头网络则采用 $\mu =0$ 和 $\delta 2=0.02$ 的正态分布来初始化权值。同样，我们也使用Adam优化器， $\beta 1=0.5$ ， $\beta 2=0.999$ ，前50次的初始学习率为 $2\times 10^{-4}$ ，然后采用多步衰减方法，衰减率为0.92，收敛性更好。由于GPU内存的限制，这两个网络的训练过程总共运行200个epoch，批处理大小为1。

为了定量评估云移除结果的性能，我们使用MAE、RMSE、PSNR和SSIM四个指标进行分析，其定义如下：

(1) 平均绝对误差Mean absolute error (MAE)

其中MAE定义为推断结果与目标图像的偏差。H和W分别表示高度和宽度。(i, j)表示图像patch的像素位置，P(i, j)和G (i, j)分别是推断图像和目标图像中的像素值。

(2) 均方根误差Root-mean-square error (RMSE)

其中RMSE也是一种广泛使用的像素级度量，用于计算推断图像与目标图像之间的相似度，并具有均方残差的平方根。

(3) 峰值信噪比Peak signal-to-noise ratio (PSNR)

PSNR是图像评价的客观评价指标，反映了图像重建的质量。在方程定义中，MSE定义为推断图像与目标图像之间的均方误差。一般情况下，小于20的PSNR表示重构质量较差，大于30的PSNR表示重构性能优异。PSNR通常与SSIM度量一起使用。

(4) 结构相似性指数Structural similarity (SSIM)

SSIM度量是用于度量推断图像和目标图像的相似性的常用度量。它适用强度(s)、亮度(l)和对比度(c)，定义如下：

其中， $\mu _{P}$ 、 $\mu _{G}$ 、 $\sigma _{P}$ 、 $\sigma _{G}$ 、 $\sigma _{PG}$ 分别为推断图像和目标图像的均值、标准差和协方差。C1、C2和C3为常量，以避免INF结果， $C_{1}=(K_{1}\ast L)^{2}$ ， $C_{2}=(K_{2}\ast L)^{2}$ ， $C_{3}=C_{2}/2$ 其中 $K_{1}$ =0.01, $K_{2}$ =0.03。根据16位Sentinel图像的灰度确定，L = 65,535。为了提高执行效率，使用高斯函数来计算平均值、标准差和协方差。因此，最终的SSIM定义如下所示：

其中， $\alpha ,\beta ,\gamma$ 分别是定义 l , c , s 重要性的权重，且 $\alpha =\beta =\gamma =1$ 。

3 实验与结果

3.1 SAR-多光谱多模态输入数据的消融实验

图5 在有无辅助SAR影像的情况下，DDPM-CR的去云效果。被云污染的图像补丁来自SEN12MS-CR数据集的测试部分。(a,b)城市和农田的云图；(d,f)对应的无云图像补丁；(c,e) VV波段Sentinel-1图像补丁；(g,i)采用SAR图像作为辅助数据的DDPM-CR去云结果；(h,j)不采用SAR图像的DDPM-CR网络去云结果。颜色构成以自然色为基础(R: band4,G: band3, B: band2)。(k,l)是对有无SAR数据的不同训练策略的评价指标。

大多数云去除方法仅使用光学图像作为数据源。然而，在这种情况下，穿透云层需要一些光谱信息，这给云层的去除带来了挑战。厚厚的云层阻碍了卫星图像传感器记录的地物光谱信息，这些方法仅依赖于云的邻近图像表示来恢复缺失的信息。通过合并SAR图像作为补充数据，更有可能恢复厚云覆盖区域的缺失信息。为了验证多模态输入数据对云去除的影响，我们训练了一个没有SAR图像的相同DDPM-CR网络。结果如图5所示。

表2 有或没有SAR数据补充的DDPM-CR网络的定量结果。下面的指标是通过SEN12MS-CR测试数据集的平均值实现的。表中，第一行为以SAR数据为补训练的DDPM-CR网络，第二行为不进行SAR补训练的网络。

上图显示了SAR数据的有效性，其中包括城市地区和农田的示例。城市区域具有复杂的纹理，使得缺失信息难以检索，而农田在图像表征上更为均匀，但受植物季节性方面的影响。这两个区域都被厚厚的云层和云层阴影覆盖，除了左上角之外，大多数图像部分的信息都缺失了。使用辅助SAR数据的DDPM-CR网络在这两个方面都优于不使用SAR数据训练的网络。在城市区域，(g)表明云覆盖区域的缺失信息被很好地恢复，而没有辅助信息，缺失信息不能很好地重建，重建部分有云的痕迹，如(h)所示。对于农田，没有辅助数据的网络只能利用相邻像素推断缺失信息，导致云覆盖区域和无云区域都无法检索，如(j)所示。云去除结果的评估指标显示在(k)和(l)中。为了减少测量单位的差异，MAE、RMSE和SSIM指标共享一个共同的轴，而PSNR使用一个单独的轴。此外，MAE和RMSE的值都很小，柱状图也比SSIM短得多。从两个子图来看，SAR数据的性能更好，每个精度指标都高于非SAR数据网络。特定区域的MAE和RMSE指标比较接近，耕地区域的PSNR和SSIM指标有明显改善，其中没有SAR数据补充的较差的去云结果扩大了与SAR数据的差距。为了进一步评估SAR数据的有效性，使用SEN12MS-CR测试数据集生成评估表，如表2所示。

表2表明，使用和不使用SAR数据训练的DDPM-CR网络产生不同的结果。图5还显示，使用SAR数据训练的DDPM-CR网络优于不使用SAR数据的网络，精度指标的提高证明了这一点。将SAR数据作为辅助数据，MAE和RMSE指标分别降低了30.9%和32.1%，而PSNR和SSIM指标分别提高了12.8%和21.9%。SAR数据在提供额外信息以协助网络检索缺失信息方面至关重要。DDPM-CR网络在没有基础的情况下无法产生去云结果，云层和云影的类型太多，无法学习它们在实际地物上的图像映射，这可能导致去云结果的崩溃，如图5中的农田结果。通过充分利用不受云和云影影响的SAR图像空间信息，网络可以利用更多的辅助信息来检索缺失信息。DDPM架构有效地集成了SAR和多光谱图像的优点，并且云去除头以级联方式将这些深度特征在不同噪声水平下组装起来，以获得精细的云去除结果。

3.2 去云过程中损失函数的评估

图6 比较损失函数的权值选择。(a)给出了不同权重下mMAE +感知损失的SSIM和PSNR指标的波动；(b)为权重对mMAE +注意力损失的SSIM和PSNR指标变化趋势的影响。

深度网络的性能受其损失函数的影响很大。在本研究中，我们提出了一个面向云的损失函数来指导网络的训练。该损失函数由修正的平均绝对误差(MAE)损失、感知损失和注意力损失组成，所有这些都是为云移除量身定制的。为了评估面向云的损失函数的有效性，我们比较了使用不同损失函数训练的DDPM-CR网络的预测结果，即仅修改MAE损失、修改MAE带感知损失、修改MAE带注意损失和面向云的损失。在训练之前，我们在每个比较损失函数中确定修正后的MAE损失的权重，以达到最优的准确率，并以SSIM和PSNR作为评价指标，如图6所示。

上图6说明了损失函数的不同权重配置对DDPM-CR的SSIM和PSNR指标的影响。从(a)到(b)，随着权重的增加，SSIM和PSNR都呈现出上升和下降的趋势。峰值表示局部最优精度，这意味着可以选择替代的权重值。在(a)中，描绘了mMAE+感知损失函数，SSIM和PSNR的峰值分别出现在0.3和0.4的权重值处。然而，0.3的权重值导致云去除结果中27个伪影中有13个伪影，因此，选择0.4作为mMAE的权重，并将感知损失的权重设置为0.6。(b)为mMAE +注意损失函数，SSIM和PSNR的峰值对应的权重值为0.2。因此，mMAE的权重设为0.2，注意损失的权重设为0.8。使用选择的两个损失函数的权值对DDPM-CR网络进行训练，图7给出了云去除结果的可视化比较。

图7 采用各种损失函数对DDPM-CR网络性能的影响。(a1-e1)湿地、森林、农田、城市等自然场景和人造物体的云天输入图像。(a6-e6)无云目标图像。(a2-e2)仅使用mMAE损失函数训练的DDPM-CR网络的去云效果。(a3-e3)基于mMAE +感知损失函数的DDPM-CR网络得到的结果.(a4-e4) mMAE +注意损失函数对DDPM-CR网络性能的影响。(a5-e5)使用面向云的损失函数训练的DDPM-CR网络去云结果。颜色构成以自然色为基础(R: band4, G: band3, B: band2)。

图7中的子图(a1) - (e1)显示了厚厚的云层覆盖的图像补丁，可以评估损失函数对网络性能的影响。子图(a2) - (e2)描述了仅使用mMAE损失训练的DDPM-CR网络的结果，其中考虑了无云和云污染区域的图像表示。虽然在所有图像场景中都恢复了缺失的信息，但结果缺乏细节，并且一些伪像像素是可见的，特别是在具有规则纹理的区域，例如城市区域(d2)。

对于组合损失函数，使用mMAE +感知损失训练的DDPM-CR网络的子图(a3) - (e3)的视觉效果更好，空间信息更精细。这是由于感知损失函数，借助于从其他辅助网络中提取的特征，极大地提高了重建结果中的高频信息，如(d3)的结果所示。但在一些同质区域，如农田，则存在过量现象。子图(a4) - (e4)显示了mMAE+注意力丧失的结果，其表现优于mMAE单独丧失的结果，与mMAE+感知丧失的结果不同。注意损失应用注意块的特征来构建注意掩模，并与云掩模一起，训练过程在良好的指导下，导致丢失的云覆盖和无云区域信息的良好恢复。与mMAE损失函数机制不同的是，注意力损失促使网络更加关注云覆盖区域的信息检索。与其他两种损失函数相比，重建结果具有更好的自然视觉表征，反映了mMAE和注意力损失的互补性。

子图(a5) - (e5)显示了面向云的损失函数的结果，该函数综合了其他三种损失函数的优点，同时考虑了云区和无云区的光谱信息及其详细信息。其结果与子图(a6) - (e6)中的目标无云图像斑块更为一致。下表3也说明了面向云的损失函数相对于其他损失函数的优越性。

表3 损失函数对DDPM-CR网络性能的定量评价。下面的指标是通过SEN12MS-CR测试数据集的平均值实现的。第一行列出了仅使用mMAE损失函数训练的DDPM-CR网络的结果。第二行列出了使用mMAE +感知损失函数的精度度量。第三行列出了mMAE +注意力丧失函数的结果。第四行列出了面向云的损失函数的结果。

如上表所示，由于使用的是SEN12MS-CR的同一测试数据集，所以面向云损失的度量值与表2相同。具体来说，在损失函数中，单独使用mMAE的损失效果最差，而面向云的损失效果最好。对于RMSE而言，mMAE +注意力损失达到了最佳值，面向云的损失位居第二，说明注意力损失是对云移除任务的稳定改进。PSNR和SSIM提供了重建图像的定性评估，面向云的损失显著优于其他损失函数。这些结果表明，面向云的损失有效地集成了其他损失函数的优点，得到了更全面的结果。结合3.1节和3.2节的分析，除了精心设计网络和辅助数据(如SAR图像)外，选择合适的损失函数对于提高DDPM-CR网络的验证精度至关重要。最后，将完整的DDPM-CR网络与一些基线模型进行了比较。