Cloud Removal in Remote Sensing Using Sequential-BasedDiffusion Models论文翻译

MDPI 2023

论文名称:基于序列扩散模型的遥感云去除

摘要：

通过太空光学卫星收集的光学观测数据大多受到云层或雾霾的干扰，这限制了地球观测的进一步应用；因此，探索一种理想的去云方法至关重要。在本文中，我们提出了一种新颖的概率生成模型，称为基于序列的扩散模型（SeqDMs），用于遥感领域的去云任务。所提出的方法包括多模态扩散模型（MmDMs）和基于序列的训练和推理策略（SeqTIS）。特别是，MmDMs是一种新颖的扩散模型，它重构了去噪扩散概率模型（DDPMs）的逆过程，以整合来自辅助模态（例如，对云层破坏具有鲁棒性的合成孔径雷达）的额外信息，以帮助主要模态（即光学卫星图像）的分布学习。为了考虑跨时间的信息，SeqTIS被设计用来整合任意长度的主模态和辅助模态输入序列的时间信息，而无需重新训练模型。在MmDMs和SeqTIS的帮助下，SeqDMs能够灵活地处理任意长度的输入序列，仅通过一个或两个额外的输入样本就能产生显著的改进，并大大降低了模型重新训练的时间成本。我们在公共现实世界数据集SEN12MS-CR-TS上评估了我们的方法，以进行多模态和多时相的去云任务。我们广泛的实验和消融研究表明，与多种最先进的去云方法相比，该方法在重构样本的质量和处理任意长度序列的灵活性方面具有优越性。

关键词：去云；扩散模型；多模态；多时相；合成孔径雷达（SAR）-光学

1引言

近几十年来，地球观测卫星收集了大量遥感数据，这些数据在各种任务中开始发挥重要作用，包括环境监测[1]、经济发展制图[2]、土地覆盖分类[3]和农业监测[4,5]。然而，遥感图像往往被雾或云遮挡[6]，这阻碍了目标监测任务的数据处理和分析。因此，探索重建被云遮挡数据的方法以进行后续的数据分析和应用是非常有价值且关键的。

        一般来说，去云可以被视为一种特殊的修复任务，即使用新的和合适的内容填充被云遮挡的遥感数据的缺失区域。根据用于重建的信息来源，先前的去云方法可以分为两大类：多模态方法和多时相方法[7]。为了扩展信息来源，已经开发了多模态方法[8–14]，通过从合成孔径雷达（SAR）数据或其他对云遮挡更具鲁棒性的模态数据中转换信息来重建被云覆盖的像素[15]。传统的多模态方法[8,9]利用SAR的数字数作为指标来查找修复像素。Eckardt等人[9]引入了最接近特征向量（CFV）的概念，将最接近光谱拟合（CSF）算法[16]与多光谱卫星图像和多频SAR数据的协同应用相结合。随着深度学习的广泛应用和生成模型的快速发展，Gao等人[14]首先通过专门设计的卷积神经网络（CNN）以对象到对象的方式将SAR图像转换为模拟的光学图像，然后通过生成对抗网络（GAN）将模拟的光学图像与SAR图像和云污染的光学图像融合，以重建受损区域。与使用单个时间点观测值的方法不同，多时相方法[17–22]试图通过时间序列的推理进行云污染观测的时间重建，利用其他无云时间点的信息作为参考，基于特定区域云层覆盖范围随时间和季节变化的事实[6]。传统的多时相方法[18–20]使用手工制作的滤波器，如均值和中值滤波器，利用特定区域的大量图像来生成云覆盖部分。例如，Ramoino等人[20]使用在三个月内每隔6-7天拍摄的Sentinel-2图像进行去云处理。在利用深度学习技术的方法中，Sarukkai等人[17]提出了一种新的时空生成器网络（STGAN），以更好地捕获区域内多幅图像之间的相关性，利用多光谱信息（即Sentinel-2的RGB和IR波段）来生成无云图像。然而，这些图像重建方法没有利用多模态信息，并且需要大量在不变景观上拍摄的大多无云的图像，这大大限制了它们的可用性和应用。

        同时，去云方面的许多早期工作使用了包含模拟云污染观测的数据集，将一张图像中的云污染像素值复制到另一张清晰的图像中[23]，但这无法精确再现包含自然云发生的卫星图像的统计特征[12]。最近，Ebel等人[7]整理了一个新的现实世界数据集，称为SEN12MS-CR-TS，其中包含了全球分布的多时相和多模态卫星观测数据。他们还提出了一种基于3D CNN的序列到点去云方法（我们称之为Seq2point），以跨时间和不同模态整合信息。然而，该方法缺乏概率解释，并且无法灵活处理任意长度的输入序列。它仅使用基于ResNet[24]的分支和3D CNN结构作为生成器来组合时间跨度内的特征图，并且当输入序列的长度发生变化时，需要大量的时间进行重新训练。

        总的来说，现有方法至少存在以下三个主要不足之一：（1）它们没有使用全球分布的现实世界数据集，导致方法的泛化能力下降。（2）它们没有被设计为充分利用多模态和多时相信息来重建受损区域。（3）它们缺乏概率解释以及处理任意长度输入序列的灵活性。

        在本文中，我们提出了一种新方法——基于序列的扩散模型（SeqDMs），用于遥感领域的云移除任务，该方法通过跨时间和不同模态整合信息。由于生成对抗网络（GANs）的训练过程存在不稳定性的问题[25]，我们选择具有更好概率解释和更强数据分布捕获能力的去噪扩散概率模型（DDPMs）[26]作为我们的基础模型。特别是，我们提出了一种新颖的多模态扩散模型（MmDMs），该模型重建DDPMs的反向过程，以整合来自辅助模态（例如，对云层遮挡具有鲁棒性的合成孔径雷达（SAR）或其他模态）的额外信息，从而帮助主要模态（即星载光学卫星数据）的分布学习。由于标准的DDPMs训练和推理策略仅处理单个时间点的样本，我们引入了一种改进的训练和推理策略，称为基于序列的训练和推理策略（SeqTIS），以从主要模态和辅助模态的输入序列中跨时间整合信息。值得注意的是，SeqDMs具有处理任意长度输入序列的灵活性，而无需重新训练模型，这显著降低了训练时间成本。我们在全球分布的SEN12MS-CR-TS数据集[7]上进行了充分的实验和消融研究，以评估我们的方法并证明其设计的合理性。我们还与其他最先进的云移除方法进行了比较，以展示所提方法的优越性。

2预备知识：去噪扩散概率模型

        我们提出的云移除方法基于去噪扩散概率模型（DDPMs）[26]。首先，我们介绍这种生成模型的定义和特性。DDPMs定义了一个由方差计划{βt ∈ (0, 1)}t=1^T控制的扩散过程的马尔可夫链，该过程在T个扩散时间步内将输入样本x0转换为白高斯噪声xT ∼ N(0,I)。在这里，符号t代表DDPMs扩散过程中的“扩散时间步”。稍后我们将使用符号l来表示序列数据中的样本索引。为了区分模型扩散过程中的“时间步”和序列数据中的“时间步”，我们分别将其描述为“扩散时间步”和“序列时间步”。扩散过程中的每一步由以下方式给出：

        在扩散时间步t，样本xt是通过在前一个样本xt-1上按照方差计划以p 1 - βt的比例进行缩放，并缓慢地添加方差为βt的独立同分布高斯随机噪声来获得的。扩散过程的一个显著特性是，它允许以闭合形式从输入x0中在任意扩散时间步t处对xt进行采样，具体形式为：

其中αt := 1 - βt，且¯αt := ∏s=1t αs。

        推理过程（即生成方向）是通过采样一个随机噪声向量xT，然后逐渐对其进行去噪，直到得到一个高质量的输出样本x0。为了实现推理过程，DDPMs被训练以逆转方程（1）中的过程。反向过程由一个神经网络建模，该网络预测高斯分布的参数µθ(xt, t)和Σθ(xt, t)：

方程（3）中模型的学习目标是通过考虑变分下界推导出来的，

这个目标函数可以进一步分解为:

值得注意的是，项Lt-1训练了方程（3）中的网络以执行一个反向扩散步骤。此外，当以x0为条件时，后验q(xt-1|xt)是可处理的，并且由于q(xt-1|xt, x0)也是一个高斯分布，因此允许目标函数有一个闭合形式的表达式：

与其直接预测e^µt，一个更好的方法是通过对模型进行参数化来预测累积噪声ε，该噪声被添加到当前的中间样本xt上：

然后，从方程（5）中的项Lt-1推导出以下简化的训练目标：

正如Nichol和Dhariwal[27]所介绍的，在方程（3）的反向过程中学习方差Σθ(xt, t)有助于提高对数似然度并减少采样步骤的数量。由于Lsimple不依赖于Σθ(xt, t)，他们定义了一个新的混合目标：

此外，他们通过一系列消融实验找到了一种更好的架构，从而使DDPMs的样本质量优于当前的最新生成模型。因此，我们提出的方法以DDPMs为基础。

3. 材料与方法

在本节中，我们将详细介绍提出的基于序列的扩散模型（SeqDMs）用于遥感中的云移除，该模型由两个组件组成。在3.1节中，我们首先介绍了一种新颖的多模态扩散模型（MmDMs），该模型利用一系列辅助模态数据作为额外信息来学习主要模态的分布。在3.2节中，我们介绍了一种改进的训练和推理策略，称为基于序列的训练和推理策略（SeqTIS），用于云移除，以整合来自主要模态（即光学卫星数据）和辅助模态（例如，SAR或其他对云腐蚀更鲁棒的模态）输入序列的时间信息。

3.1. 多模态扩散模型

与先前的扩散模型[26-28]不同，多模态扩散模型（MmDMs）利用辅助模态数据作为额外输入来学习主要模态的分布，这将在推理过程（云移除过程）中补充主要模态的部分缺失信息。MmDMs的图形模型如图1所示。

我们将多模态输入数据序列表示为{X, A1, ..., An, ..., AN}，其中包括一个主要模态X和N个辅助模态A。由于光学卫星数据容易受到雾或云的影响，而SAR或其他模态对这些影响更为鲁棒[6,15]，因此本文中将光学卫星数据视为主要模态X，将SAR或其他模态视为辅助模态A。MmDMs最重要的特点是能够强大地捕获X的分布，以及在推理过程中利用A来补充X的缺失信息，从而在遥感云移除中取得更好的性能。

图1. 多模态扩散模型（MmDMs）的图形模型，该模型由一个主要模态X和N个辅助模态A组成。为了逆转X的扩散过程，它学习了一个神经网络pθ(Xt-1|Xt, A1:Nt)来近似难以处理的后验分布q(Xt-1|Xt)。MmDMs的扩散过程与DDPMs类似；它涉及根据相同的方差计划{βt ∈ (0, 1)}T_{t=1}在T个扩散时间步骤中，将每个模态输入样本分别转换为白高斯噪声。主要模态样本X0的每个扩散步骤由以下公式给出：

q(xt​∣xt−1​)=N(xt​;1−βt​​xt−1​,βt​I)

        其中，xt​ 是在时间步t的扩散样本，xt−1​ 是前一个时间步的样本，βt​ 是预定义的方差参数，I 是单位矩阵，N(⋅;μ,σ2) 表示均值为μ、方差为σ2的高斯分布。

        在MmDMs中，主要模态X的扩散过程受到辅助模态A的影响，尽管在图1中这种直接影响并未明确显示。实际上，辅助模态A的信息是通过神经网络pθ(Xt−1∣Xt,A1:Nt)在训练过程中隐式地整合进来的，以学习如何根据当前扩散样本xt​和所有辅助模态在时间t的观测值A1:Nt来预测前一个样本xt−1​。这种机制使得MmDMs能够在云移除等任务中利用来自不同模态的互补信息，提高模型的性能和鲁棒性。

以及第n个辅助模态样本的扩散步骤由

可操作的后验分布，而不是直接学习神经网络pθ (Xt−1|Xt)来近似添加辅助模态作为反向过程的条件:

然后，式(15)中模型的训练目标由负对数似然的变分下界推导得到:

它可以进一步重写为:

根据方程(6)-(10)和扩散过程的性质，我们可以从方程(17)中的术语Lt - 1推导出简化训练目标的新版本:

其中εx是添加到主模态样本X0和ε的累积噪声1:Na为单独添加到N个辅助模态样本A中的噪声

3.2 基于序列的训练和推理策略

        为了更好地重建被云层或雾气破坏的缺失信息，我们引入了基于序列的训练和推理策略（SeqTIS），以整合来自主要模态和辅助模态的跨时间信息。SeqTIS 包含一种时间训练策略和一种条件推理策略，两者都使用了一个称为序列数据融合模块的可重用模块。为了便于描述，我们将先前部分中的多模态输入数据 {X, A₁, ..., Aₙ, ..., Aᴺ} 扩展为多模态和多时间版本 {Xᴸ, A₁_ᴸ, ..., Aₙ_ᴸ, ..., Aᴺ_ᴸ}，其中 Xᴸ = {x₁, ..., xᵢ, ..., xᴸ} 和 Aₙ_ᴸ = {aₙ_₁, ..., aₙ_ᵢ, ..., aₙ_ᴸ} 是长度为 L 的时间序列。与多模态和多时间输入数据相对应，我们还有一个真实标签序列 {bX, bA₁, ..., bAₙ, ..., bAᴺ}，其中包含无云的主要模态 bX。下面将描述 SeqTIS 中的所有模块和过程。

3.2.1 序列数据融合模块

                如图 2 所示，序列数据融合模块用于在每个模态中整合跨时间的信息，并且分别为主模态和辅助模态设计了不同的模块。

由于辅助模态 A₁:ᴺ 不受云层或雾气的影响，因此辅助模态的序列数据融合模块被简单地设计为将每个顺序时间步 l 中的数据扩散到某个扩散时间步 t，并计算该扩散时间步的平均加权值，以整合跨时间的信息。第 n 个辅助模态序列 Aₙ_ᴸ 通过辅助模态的序列数据融合模块处理如下：

其中 ε_{n_l}a ∼ N(0,I) 是添加到当前中间样本 a_{n_l}^t 的累积噪声。在将每个顺序时间步 l 中的数据扩散之后，我们按以下方式计算扩散时间步 t 的平均加权值：

        这整合了序列 A_{n_L} 跨时间的信息。由于主要模态 X_L = {x_1, ..., x_l, ..., x_L} 容易因云层或雾气而缺失信息，为主模态设计的序列数据融合模块旨在尽可能保留每个顺序时间步 l 中已知区域（无云像素）的信息，这与辅助模态的设计截然不同。为了模拟云层在空间和时间上的范围，我们利用 s2cloudless [29] 的云检测器为 X_L 中的每个主要模态数据实时计算二进制云掩码 M_L = {m_1, ..., m_l, ..., m_L}。在 m_l 中，像素值 1 表示无云像素，值 0 表示有云像素。主要模态序列 X_L 通过为主要模态设计的序列数据融合模块处理到扩散时间步 t-1，过程如下：

其中 ε_l^x 是添加到中间样本 x_l^{t-1} 的噪声。然后，我们通过以下方式保留 x_l^{t-1} 中已知区域的信息：

其中 ⨀ 表示逐像素乘法。最后，我们根据在整个时间步 L 中掩码 M_L 中值 1 出现的频率，为扩散时间步 t-1 中的每个像素计算已知区域的加权值：

其中s是一个小的偏移量(设置为10−19)，以防止未知区域的像素除以0

图2。序列训练与推理中的条件推理策略综述战略(SeqTIS)。符号∗表示像素乘法。

3.2.2 条件推理策略

在描述训练策略之前，我们首先详细介绍 SeqTIS 的条件推理策略，其概述如图 2 所示。

        去云的目标是使用来自已知区域（无云像素）或其他模态的信息作为条件，来重建光学卫星数据中因云层或雾气而损坏的像素。为了在去云过程中获得尽可能多的已知区域，我们在推理过程（去云过程）中将多模态和多时间序列 {X_L, A_1_L, ..., A_n_L, ..., A_N_L} 作为模型的输入。由于从 X_t 到 X_{t-1} 的每个反向步骤在方程（15）中都依赖于主要模态 X_t 和辅助模态 A_{1:N}^t，我们需要首先整合每个模态序列的时间信息，然后修改已知区域，只要能够保持相应分布的正确属性即可。

        为了整合主要模态 X_L 在扩散时间步 t-1 的信息，我们使用由方程（21）–（23）表示的主要模态的序列数据融合模块来获得已知区域的信息 X_t^{known-1}。然后，我们使用由方程（19）和（20）表示的辅助模态的序列数据融合模块来获得整合后的信息值 e_{A_{1:N}}^t。之后，我们可以使用 X_t 和 e_{A_{1:N}}^t 作为输入来获得 t-1 时刻的未知区域（被云层或雾气损坏）的信息：

        为了尽可能充分地利用来自已知区域的信息，我们定义了a
区域掩码e M用于改变已知区域，如下所示:

        其中 Θ 是一个逐像素的指示符，意味着如果对应位置的像素值不为 0，则输出值为 1；否则，输出值为 0。最后，我们可以保留已知区域的信息，并获得下一个反向步骤的中间结果 X_{t-1} 如下：

        条件推理策略允许我们整合时间信息
任意长度的输入序列而无需重新训练模型，这明显降低了训练成本，增加了推理的灵活性。算法1展示了上述条件推断策略的完整过程。

3.2.3 时间训练策略

        与仅使用基于 RGB 数据集的预训练无条件 DDPM 作为先验的 RePaint [30] 不同，我们有必要从一开始就基于多光谱卫星数据训练 MmDMs。因此，我们提出了一种特定的训练策略，即时间训练策略，以准确捕获无云主要模态 q(bX) 的真实分布，并迫使模型充分利用辅助模态的信息来处理主要模态的极端缺失。

为了捕获 q(bX) 的分布作为去云先验，我们利用 MmDMs 强大的分布捕获能力，将训练分割中的无云样本 {bX, bA_{1:N}} 作为输入，并优化神经网络中的参数 θ，如下所示：

其中 ε_bx ∼ N(0,I) 是添加到输入样本 bX_0 的噪声。

由于每个云输入序列 X_L 的样本很可能被云层严重损坏，我们必须通过训练带有云层的序列来迫使模型充分利用来自辅助模态的信息。在训练分割中，我们需要通过序列数据融合模块处理 X_L 和 A^{(1:N)}L，以在扩散时间步 t 获得已知区域的信息 X_t^{known} 和 e{A_{1:N}}^t。然后，我们使用高斯随机噪声 N(0,I) 来填充未知区域，并优化参数 θ 如下：

O_θ[||ε_bx − ε_θ(X_t, e_{A_{1:N}}t, t)||2]

算法2详细展示了时序训练策略的完整过程

4结果

为了验证我们的方法在遥感领域去云任务中的可行性，我们在一个公开的真实世界数据集上进行了充分的实验。

4.1 数据集描述

        这个名为 SEN12MS-CR-TS [7] 的真实世界数据集是一个用于遥感领域多模态和多时间云移除的全局分布式数据集。它包含了几乎不受云层影响的星载雷达测量以及云层覆盖和无云的多光谱光学卫星观测的配对和共同注册序列。作为雷达模态抗云信息的补充，历史卫星数据分别通过欧洲航天局哥白尼任务的 Sentinel-1 和 Sentinel-2 卫星收集。Sentinel 卫星提供公开访问的数据，并且是地球观测领域最突出的卫星之一。

从统计角度看，它包含了覆盖全球 53 个感兴趣区域（ROI）的观测数据，并在每个 ROI 中注册了 2018 年全年时间上对齐的 30 个 SAR Sentinel-1 以及光学多光谱 Sentinel-2 图像。每个观测的每个波段都被上采样到 10 米分辨率（即 Sentinel-2 的第 2、3、4 和 8 波段的原始分辨率），然后，来自所有 ROI 的全场景图像被切割成 15,578 个尺寸为 256 × 256 像素² 的非重叠块，每个 S1 和 S2 测量有 30 个时间样本。所有数据的近似云层覆盖率约为 50%，从清晰的图像（例如，用作真实数据），到半透明薄雾或小云，再到密集且广泛的云层覆盖。

4.2 评估指标

        我们根据归一化均方根误差（NRMSE）、峰值信噪比（PSNR）、结构相似性（SSIM）[31] 和光谱角制图（SAM）[32] 来评估定量性能，定义如下：

        通过比较各自像素值 xc,h,w, yc,h,w ∈ [0, 1] 的图像 x 和 y，其维度为 C = 13, H = W = 256，即 µx, µy（均值）；标准差 σx, σy；协方差 σxy；以及常数 e1, e2（用于稳定计算）。NRMSE 属于逐像素度量类，用于量化目标值与预测值之间的平均差异。PSNR 在整个图像上进行评估，量化预测值作为目标图像重建的信号噪声比。SSIM 是另一种图像级度量，基于 PSNR 并捕捉预测值与目标值在感知变化、对比度和亮度方面的结构相似性 [31]。SAM 度量是第三个图像级度量，提供两个多光谱图像波段之间的光谱角 [32]。为进一步分析，NRMSE 逐像素度量以三种方式评估：（1）针对目标图像的所有像素（按惯例），（2）仅针对云层覆盖的像素（在任何输入光学样本中均不可见），以测量噪声信息的重建，以及（3）仅针对无云像素（在至少一个输入光学样本中可见），量化信息的保留。逐像素掩码是根据 s2cloudless [29] 的云检测器提供的云掩码执行的。

4.3 基线方法

我们将所提出的方法与以下基线方法进行比较：（1）最少云层法：我们仅取输入光学观测中云层最少的图像，并将其直接转发以与无云目标图像进行比较。这提供了关于云移除任务难度的一个基准，该难度与数据中云层的覆盖范围有关。（2）马赛克拼接法：我们执行马赛克拼接方法，该方法跨无云时间点对像素值进行平均，从而在时间上整合信息。即，对于任何像素，如果有一个清晰的视点，则复制其值；如果有多个无云样本，则形成平均值；如果没有无云时间点，则取 0.5 作为代理值。马赛克拼接技术提供了一个基准，说明仅从多光谱光学观测中可以在时间上整合多少信息。（3）STGAN [17]：时空生成器网络（STGAN）被提出用于从给定的云层图像序列中生成无云图像，该网络仅利用光学观测的 RGB 和 IR 波段。（4）Seq2point [7]：Seq2point 表示基于 STGAN 生成器的序列到点云移除方法，用时间域中的特征堆叠替换了 STGAN 中的二维特征图成对连接，随后进行 3D 卷积神经网络处理。

4.4 实现细节

为了进行公平比较，我们使用 Adamw [33] 优化器对所有版本的 SeqDMs 进行训练，学习率为 0.0001，并利用半精度（即 FP16）训练技术 [34] 以获得显著的计算加速和内存消耗减少。MmDMs 中使用的神经网络架构是通过修改适合多模态信息的输入通道获得的，基于 [28] 中的架构，该架构是一个 U-Net [35] 模型，使用残差层和下采样卷积的堆叠，随后是上采样卷积的残差层堆叠，具有连接相同空间大小层的跳跃连接。此外，我们在 32 × 32、16 × 16 和 8 × 8 分辨率处使用全局注意力层，具有 4 个注意力头、128 个基础通道、每个分辨率 2 个残差块、BigGAN 上下采样和自适应组归一化。为了与上述比较方法进行一致比较，将模态 S1 和 S2 的值分别裁剪到区间 [-25,0] 和 [0,10,000]，然后归一化到范围 [-1,1]，以便稳定训练。我们在时间训练策略的训练分割中将序列长度 L 设置为 3，并在 RTX3090 GPU 上以批量大小 1 训练模型 10 个周期，大约需要五天时间。所有其他比较方法也根据 [7] 的训练协议在 SEN12MS-CR-TS 上进行训练。

4.5 实验结果

        为了评估所提出方法的性能和泛化能力，我们在SEN12MS-CR-TS数据集的所有大陆上的整个测试集上进行了实验，该数据集包含了从0%到100%完整范围的云覆盖情况的Sentinel-2观测数据。表1将我们提出的方法与第4.3节中详细描述的基线方法进行了比较，这些方法完全使用长度为L=3的输入序列进行训练和推断。

        由于镶嵌（Mosaicing）方法直接对每个像素的无云时间点值进行平均，以跨时间整合信息，它在图像结构（如感知变化、对比度和亮度）以及多光谱结构方面的表现不佳，尽管其峰值信噪比（PSNR）最高，噪声最少，表明可以整合最大量的信息。

        实验结果还表明，在大多数逐像素指标上，所提出的方法SeqDMs优于基线方法，并且在图像级指标PSNR上大大超过了Seq2point[7]，但在SSIM和SAM（其中Seq2point[7]略胜一筹）上除外。这证明了SeqDMs由于其强大的分布捕获能力，可以获得具有更高图像质量的重建样本，并且通常能够优于多模态多时相云去除问题的简单解决方案。图3展示了在测试集中四个不同样本上，所考虑基线方法的重建结果示例。所考虑的案例包括无云、部分多云、除一个时间点外完全被云覆盖且无法见、以及在任何时间点都无法见的完全被云覆盖的情况。这些图示表明，SeqDMs可以完美地保留输入序列中的任何无云像素，并利用已知区域的分布来生成多云像素。

表1。将所提方法SeqDMs与基线方法进行定量评估
标准化均方根误差(NRMSE)，峰值信噪比(PSNR)，结构相似度
(SSIM)[31]和光谱角映射器(SAM)[32]指标。所有方法都是用长度为L = 3的输入序列进行训练和推断的。

图3。一些示例性的输入序列、重建结果和无云的目标图像表1报告了四个考虑的病例的基线。列:四个不同的样本测试分裂。考虑的四种情况是无云、部分多云、被云覆盖而看不到除了一个时间点，以及在任何时间点都没有能见度的云层。行:三输入序列样本，拼接重建结果，Seq2point[7]和SeqDMs, as以及无云目标图像。

        然而，在输入序列较短的情况下，SeqDMs在捕获图像结构或多光谱结构方面存在不足，这在SSIM和SAM指标上有所体现。输入序列较短，意味着输入样本是在相对集中的时间段内收集的。这给使用具有强大分布捕获能力的SeqDMs进行云移除带来了三大挑战：（1）云覆盖率可能很高，导致严重的信息丢失。（2）输入样本与无云目标图像之间的时间偏移可能很大，导致感知变化、对比度或亮度存在显著差异。（3）由于设备故障导致的异常数据鲁棒性可能较弱，可能误导模型向与无云目标图像完全不同的错误推断方向进行。

                为了克服上述挑战，我们考虑使用第3.2.2节中详述的条件推断策略，在更长的输入序列上进行推断过程（即云移除过程），以跨时间整合更多信息，而无需重新训练SeqDMs。表2报告了我们提出的方法SeqDMs和Seq2point[7]在输入序列长度分别为L=3、4、5时的性能。值得注意的是，SeqDMs仅需使用长度为L=3的序列训练一次，而Seq2point[7]则需要分别使用长度为L=3、4、5的序列进行训练。结果表明，使用更长的输入序列进行推断可以显著提高SeqDMs在重建质量、图像结构和多光谱结构方面的性能，并且除了SAM外，在大多数指标上都可以轻松超越基线方法，且训练成本更低。

为了进一步了解条件推断策略的优势，表3报告了SeqDMs在不同云覆盖率下的性能，这些性能是使用长度为L=3、4、5的输入序列推断得出的。云覆盖率是通过计算长度为L=3的序列中每张图像的云范围平均值来计算的。结果表明，更长的输入序列可以显著提高性能，特别是在极端云覆盖率的情况下。图4显示了SeqDMs在PSNR、SSIM、NRMSE(cloudy)和SAM方面的性能直方图；它可视化了通过增加输入序列长度L在极端云覆盖率情况下的显著改善。此外，云移除性能高度依赖于云覆盖率的百分比。虽然性能下降并不严格随着云覆盖率的增加而单调递减，但仍然存在强烈的关联性。

        长度为L = 3的序列中的每个图像。结果表明，较长的输入序列可以显著提高性能，特别是在极端情况下云覆盖。图4显示了SeqDMs在PSNR方面的性能直方图，SSIM、NRMSE(cloudy)和SAM;它将显著的改进可视化到极致，通过增加输入序列长度l的云覆盖情况。此外，cloud删除性能高度依赖于云覆盖的百分比。而随着云覆盖率a的增加，性能的下降并不是严格单调的强烈的联想仍然存在。

图4。使用长度为L = 3,4,5的输入序列推断的SeqDMs的性能直方图PSNR、SSIM、NRMSE(cloudy)和SAM。

表3。所提出方法的性能SeqDM作为云覆盖率的函数，通过推断输入长度为L = 3,4,5的序列。云的覆盖范围是通过平均的范围来计算的长度为L = 3的序列中每个图像的云。

最后，我们进行了一项消融实验，以评估使用SeqTIS的时间训练策略的好处。表4将我们提出的方法SeqDMs与不使用时间训练策略的消融版本（即仅使用等式（27）进行训练）的结果进行了比较。比较结果表明，使用SeqTIS时间训练策略的完整版本可以提高云移除任务的质量。

表4. 提出了使用SeqTIS时间训练策略的SeqDMs方法（L=3）与不使用时间训练策略的消融版本（即仅使用等式（27）进行训练）在NRMSE、PSNR、SSIM[31]和SAM[32]指标上的比较。

5. 讨论

        本文的主要贡献在于开发了基于序列的扩散模型（SeqDMs），这是一种针对光学卫星影像云移除任务的新型概率生成模型。它包含两个部分：多模态扩散模型（MmDMs）和基于序列的训练与推断策略（SeqTIS）。MmDMs是一种新颖的扩散模型，它通过重建DDPMs（去噪扩散概率模型）的反向过程来整合来自辅助模态（如SAR或其他对云层或雾的损坏具有鲁棒性的模态）的额外信息，从而帮助主要模态（即光学卫星影像）的分布学习。尽管主要模态通常容易受到云层或雾的影响，但MmDMs能够在训练和推断过程中通过辅助模态对缺失信息进行条件化处理，从而捕获主要模态的分布。SeqTIS是专为MmDMs设计的一种改进的训练和推断策略，它允许我们在不重新训练模型的情况下，整合任意长度的主模态和辅助模态输入序列中的时间信息。在MmDMs和SeqTIS的帮助下，我们提出的方法SeqDMs在多个其他最先进的多模态多时相云移除方法中脱颖而出，并且能够灵活地处理任意长度的输入序列，仅通过一到两个额外的输入样本就能实现显著改进，并大大降低了模型训练的时间成本，如表1和表2所示。这项工作通过将跨时间和数据模态的信息整合起来，为实现更好的可解释性、模型灵活性和泛化能力提供了重要的基石。然而，由于MmDMs强大的分布捕获能力和SeqTIS对已知区域和未知区域的直接信息组合，了解如何更有效地增强序列中异常数据的鲁棒性，以及如何根据云层的透明度更有效地提取有用信息，对于从根本上提高所提出方法的性能至关重要，而不仅仅是通过推断更长的输入序列来实现。

6. 结论

        本文提出了SeqDMs，一种用于遥感云移除任务的新型概率生成模型。与其他流行的生成模型不同，我们的方法通过重建DDPMs的反向过程来引入了一种新颖的扩散模型，以整合来自辅助模态的额外信息，并利用一种专门的训练和推断策略来处理任意长度的序列，而无需重新训练模型。我们的大量实验表明，我们的方法在云移除方面优于几种最先进的方法，并具有出色的可解释性和灵活性。在未来，我们将研究多光谱光学卫星影像每个波段的特性，以提取更多有用的信息，进一步缩小重建图像与目标图像之间的语义差距。

作者贡献：概念化，X.Z.；调查，X.Z.和K.J.；方法学，X.Z.和K.J.；监督，K.J.；验证，X.Z.；可视化，X.Z.；撰写初稿，X.Z.；撰写评审和编辑，X.Z.和K.J.。所有作者都已阅读并同意手稿的已发布版本。

资金：本研究未获得任何资助。

数据可用性声明：遥感数据集SEN12MS-CR-TS可从以下网址下载：SEN12MS-CR-TS Dataset（访问日期：2022年11月6日）。

利益冲突：作者声明无利益冲突。