[CR]厚云填补_GLF-CR

IAz-

已于 2024-05-13 11:22:50 修改

阅读量756

点赞数 21

分类专栏：厚云填补文章标签：人工智能深度学习

于 2024-05-07 09:58:29 首次发布

本文链接：https://blog.csdn.net/iazzz/article/details/138521189

版权

厚云填补专栏收录该内容

3 篇文章 0 订阅

订阅专栏

GLF-CR: SAR-enhanced cloud removal with global–local fusion

Abstract

借助能够穿透云层的合成孔径雷达SAR图像，可以缓解去云任务的挑战。光学图像和SAR图像之间存在较大的域间隙以及SAR图像存在严重的散斑噪声，会对基于SAR的去云产生较大的干扰，导致性能下降。在本文中，提出了一种新的基于"全局-局部"融合的去云算法(Global-Local Fusion based CLoud Removal)GLF-CR，利用嵌入在SAR图像中的互补信息。

利用SAR信息促进去云任务有两个方面：

全局融合，引导所有局部光学窗口之间的关系，保持恢复区域的结构与剩余无云区域的结构一致。
局部融合，传递嵌入在SAR图像中与浑浊区域对应的互补信息，生成缺失区域的可靠纹理细节，并使用动态滤波来缓解散斑噪声带来的性能下降。

1 Introduction

全球总体云量约为67%，陆地上的云约55%。

合成孔径雷达SAR具有穿透性强的优点，不受云层影响，后向散射可以从根本上缓解去云的挑战。然而借助SAR图像恢复高质量的无云图像仍然具有以下问题：

领域差距：SAR图像与光学图像由于成像机制不同，所显示的被观测对象特征不同，两者之间存在较大的域间隙。从SAR图像中传输互补信息来补偿多云区域的缺失信息是一个重要问题。
散斑噪声：SAR图像表现出明亮和黑暗的像素，即斑点噪声，即使在均匀区域也是不均匀的。此外，散斑噪声通常与目标表面信息存在于同一波前。这种不良影响导致重建性能下降。

一些基于SAR的去云方法，学习多模态图像拼接转移到无云图像，但是没有考虑到像素到像素转换到无云区域的长期变化的上下文信息，导致纹理和结构的差异。此外这种拼接方法只能部分探索光学和SAR数据之间的相互作用或相关性，其中不能有效地传递互补信息。简单地叠加多模态图像容易受到散斑噪声的影响。

为了解决上述问题和局限性，通过挖掘SAR图像的全部潜力，提出了一种新的基于全局-局部融合的去云算法GLF-CR。SAR图像通过补偿多云区域中缺失的信息来帮助恢复纹理细节。此外由于SAR图像不被云遮档，包含可靠的全局背景信息，可以为捕获背景之间的全局相互作用提供有价值的指导，以保持与剩余无云区域的全局一致性。

GLF-CR包含两个用于光学和SAR图像表示学习的并行主干，其中SAR特征以分层的方式使用，以补偿信息损失。受到Transformer架构可以捕获上下文之间的全局交互的启发，提出一个SAR引导的全局上下文交互模块(SAR-Guided Global Context Interaction，SGCI)，其中使用SAR特征来指导全局光学特征的交互。在此基础上，提出了一种基于SAR的局部特征补偿模块(SAR-Based Local Feature Compensation，SLFC) ，将SAR特征中相应区域的互补信息传递给光学特征，在光学特征中采用动态滤波处理散斑噪声。因此该算法可以生成具有全面信息的知识特征，从而产生高质量的无云图像。

提出一种新的基于SAR的去云算法GLF-CR，结合SAR对恢复可靠的纹理细节和保持全局一致性的贡献，从而使被遮挡的区域能够有效重建。
提出SAR引导的全局上下文交互模块SGCI，使用SAR特征来指导上下文之间的全局交互，确保恢复的无云区域的结构与剩余的无云区域一致。
提出SAR引导的局部特征补偿模块SLFC，增强嵌入在SAR图像中的互补信息的传递，同时避免散斑噪声的影响，从而产生更可靠的纹理细节。

2 Relate Work

Cloud Removal

去云的目的为重建光学卫星图像中由于云层遮挡造成的信息缺失。早期尝试通过假设损坏区域和剩余区域具有相同的统计和几何结构来解决这个问题，将去云视为一项修复工作，并使用损坏区域周围的信息来预测丢失的数据。

最近的许多研究通过受益于生成对抗网络(Generative Adversarial Networks，GANs)的卓越生成能力来学习云和无云图像之间的映射。当损坏区域占据图像很大一部分，这些方法无法作出准确的推断。缓解这一问题，利用多光谱数据来恢复丢失信息，例如用额外的近红外(NIR)图像，通过云层处理更高的穿透性，以提高能见度。然而随着云层厚度的增加，所有陆地信号在光学波段被阻挡。因此，已经提出了基于多时相的方法来使用其他时间段的数据恢复缺失信息。然而在遇到连续阴天时，邻近时期的无云参考数据在很大程度上不可用。

合成孔径雷达SAR可以穿透云层，提供光学图像丢失的信息。由于SAR缺乏光谱分辨测量，因此存在无法补偿的特定域的特性。有一些实验验证了SAR和光学数据融合的有效性，但是由于拼接方法利用SAR图像互补信息的能力有限，为了提高额外的SAR信息互补带来的增益，提出了一种新的去云算法，GLF-CR结合了SAR对恢复可靠纹理细节和保持全局一致性的贡献，以补偿多云区域的信息损失。

Image Restoration

全局上下文在局部像素级恢复中起到了重要作用。在局部处理原则下，卷积对于远程依赖建模并不有效。为了保证恢复结果在视觉上的一致性，对全局依赖信息获取的注意机制进行了一系列的研究。而本文所研究的增强SAR去云任务需要将退化图像本身的信息与辅助SAR图像的信息相结合，这一任务更具挑战。

大多数现有的去云方法通过扩展流行的CNN架构的输入通道来实现。这些架构通常为超分辨率和运动去模糊等任务设计的，在这些任务中，来自原始低质量图像的局部信息只会部分丢失。对于去云任务中，厚云覆盖部分完全破坏反射信号，局部信息完全丢失。因此这些架构扩展而来的去云方法在充分利用多云区域和邻近无云区域之间的空间一致性方面能力有限。相比之下，本文提出的架构旨在SAR图像的指导下整合全局上下文信息。

Multi-Modal Data Fusion

常用的多模态融合策略包括元素的乘法、加法或不同类型特征之间的连接，这种多模态数据融合产生的性能增益有限。

3 Problem Statement

给定一张云图 $I$ ，定义在 $X\overset{\Delta }{= }C+O$ 上，其中 $C$ 和 $O$ 分别代表云覆盖区域和无云区域，去云任务的目的是恢复图像的云覆盖区域，即 $I_{C}$ 。在光学卫星观测中，由于云层造成的信息缺失，该任务通常存在严重的不适定性。

Inpainting

基本策略是从无云部分 $I_{O}$ 中推断出云覆盖区域 $I_{C}$ ，因此可以将其视为图像填补任务，即

其中 $F_{INP}$ 是一个由整个图像的潜在结构限定的绘制算子，即 $S(I)$ 。具体而言， $S(I)$ 表示图像的先验，例如平滑度、非局部相似性或从数据中嵌入的学习特征，使用这些先验可以处理去云任务。但是，当厚云情况下时， $S(I)$ 的潜在结构通常不是整体的，甚至在去云任务中是不可用的，如果只使用云图 $I$ ，则会导致重建失败。

Translation

SAR图像是无云的，可以提供一个有价值的信息来源，弥补多云区域的信息缺失。现有的基于SAR的去云方法主要是将SAR图像转化成光学图像，逐像素去云：

其中 $F_{TRF}$ 是SAR图像 $B$ 与光学图像 $I$ 之间的固有关系，即 $R(B,I)$ 所决定的传递算子。具体来说， $R(B,I)$ 表示跨模态迁移，通常使用生成对抗网络(GAN)通过提供多模态数据通道堆栈从数据集中学习。然而逐像素平移没有考虑到多云区域和相邻无云区域之间的空间一致性。因此，导致无法保持全局一致性。此外，其叠加的SAR和光学图像通道的方法有些直接，但仅部分探索多模态数据之间的相互作用或相关性。因此，尽管有SAR图像的帮助，但导致有限的性能改进。同时还受到SAR图像中散斑噪声的影响，导致重建误差。

提高去云性能主要障碍：

该网络应有效地将SAR图像 $B_{C}$ 中的互补信息传递到光学图像中，同时客服其散斑噪声的影响，生成可靠的纹理信息。
应考虑来自无云区域 $I_{O}$ 的地表信息，以保持恢复的无云区域的结构与其余无云区域的结构一致。

Global-Local Fusion

SAR增强去云的任务是开发一个算子 $F_{fusion}$ ，该算子受SAR与光学图像之间的固有关系和整个图像的潜在结构的约束，即

其中 $S(I/B)$ 为在SAR图像指导下学习到的云图的非局部上下文信息。由于SAR图像不受云覆盖的影响，因此可以为捕获上下文之间的全局交互提供有价值的指导，从而保持恢复的无云区域的结构与其余无云区域的结构一致。 $F_{fusion}$ 中的 $R(B,I)$ 与 $F_{TRF}$ 中的 $R(B,I)$ 不同， $F_{TRF}$ 是通过将SAR图像的通道叠加到光学图像中来整合SAR图像的信息。提出一种更有效地融合策略，将SAR图像中相应区域的互补信息进行传递，从而生成更可靠的纹理细节。

4 Method

4.1 Overview

所提出的GLF-CR算法总体框架如图2所示。是一种双流网络，其中SAR特征分层融合到光学特征中，以补偿多云区域的信息损失。利用SAR信息来促进去云需要两个方面：

基于SAR引导的全局上下文交互块(SAR-Guided Global Context Interaction，SGCI)的全局融合，以指导所有局部光学窗口之间的关系。
局部融合，基于SAR的局部特征补偿块(SAR-Based Local Feature Compensation，SLFC)转移多云区域对应的SAR特征。

具体而言，首先将多云图像 $I$ 及其对应的SAR图像 $B$ 送入不同的分支，通过浅层特征提取块(Shallow Feature Extraction，SFE)提取模态特定特征：

式中 $H_{SFE_{opt}}(\cdot )$ 和 $H_{SFE_{sar}}(\cdot )$ 分别为提取云图和SAR图像浅层特征的函数。然后将 $\hat{F}^{0}_{opt}$ 和 $\hat{F}^{0}_{sar}$ 馈入到SGCI和SLFC块合成的 $D$ 函数中，得到综合的知识特征：

式中 $H_{SGCI}(\cdot )$ 和 $H_{SLFC}(\cdot )$ 分别为SGCI块和SLFC块的功能。SGCI块的目的是局部特征提取和跨窗口特征交互，其中SAR特征用于指导所有局部光学窗口之间的关系。每个SGCI块之后是一个SLFC块，SLFC块的目的是将SAR图像中相应区域的互补信息融合到多云区域的光学特征中。最后将所有中间光学特征聚合，重建高质量无云图像 $I_{C}$ 。

其中 $H_{IR}$ 为无云图像重建函数， $[\hat{F}^{1}_{opt},\hat{F}^{2}_{opt},...,\hat{F}^{D}_{opt}]$ 为中间光学特征的拼接。

4.2 SAR引导的全局上下文交互(SAR-Guided Global Context Interaction，SGCI)

SAR引导的全局上下文交互模块(SGCI)，具有两个并行流，用于输入光学和SAR特征。每个流采用与残差密集块(Residual Dense Block，RDB)类似的方法进行密集连接，通过密集连接的卷积层提取丰富的局部特征。SAR图像显然有助于补偿关于多云区域的缺失信息，但不能补偿光学图像的特定属性。然而无云区域有利于特定的性质。全局纹理信息的使用对于去云任务是必要的。受到Transformer在整个图像上有效传播信息以累积远程变化上下文信息的能力的启发，在每个局部卷积层之后添加了Swin Transformer层(STL)，用于跨窗口特征交互。

STL层首先将输入特征划分为不重叠的[M×M]窗口，然后分别计算每个窗口的标准自注意力。具体地说，将一个局部光学/SAR特征是线性转换为查询(Query)，关键值(Key)，价值(Value)，其中d是维度。权重矩阵计算公式：

其中，B变量为可学习的相对位置编码。这个注意力矩阵的本质就是从其他区域吸收信息的特定区域的权重。

对于多云区域，由于信息的丢失，很难估计其与无云区域的相互作用。对于SAR图像中的同一区域，可以很容易地估计其与其他区域的相互作用，这为光学图像中无云区域和多云区域之间的相互作用提供了有价值的指导。通过转移SAR图像的注意力图来细化光学图像的注意图，即使用 $M_{sar}$ 来改进 $M_{opt}$ 。首先通过上方公式得到光学 $M_{opt}$ 和SAR特征 $M_{sar}$ 的注意力图，然后计算 $M_{opt}$ 和 $M_{sar}$ 的差值来得到 $M_{res}$ 。最后，我们应用门控函数自适应细化 $M_{opt}$ ：

其中 $G(\cdot )$ 为残差项 $M_{res}$ 馈入的门控函数， $\bigodot$ 为逐元素乘法运算。光学和SAR输出计算如下：

该模块在SAR特征的指导下考虑各个局部窗口光学特征之间的关系，本文称之为全局融合。

4.3 基于SAR的局部特征补偿(SAR-Based Local Feature Compensation，SLFC)

SLFC模块的详细结构如图4所示。由于SAR图像受到严重的散斑噪声的破坏，我们在信息传递之前对SAR特征进行了动态滤波。标准卷积滤波器在图像中的所有像素上共享，而动态滤波器则因像素而异。因此，动态滤波器可以处理空间方差问题，从而有助于抑制空间不均匀散斑噪声。

具体来说，使用动态滤波器生成模块(Dynamic Filter Generation，DFG)为SAR特征中的每个位置动态生成一个滤波器。DFG模块需要光学和SAR特征连接作为输入。生成的滤波器 $F^{i}$ 的维度是 $H\times W\times Ck^{2}$ ，reshape为一个五维的滤波器。然后，为每一个(h,w,c)局部位置的局部特征，特定的局部过滤器应用于该局部，围绕该局部得到：

其中 $\ast$ 代表卷积运算。

在利用动态滤波器对提取的SAR特征值 $F^{i}_{sar}$ 进行变换以提高对散斑噪声的容忍度后，传播来自SAR特征的互补信息来细化光学特征，与细化注意图的方法相同。计算光学特征和SAR特征之间的差值，得到残差信息，并利用门控函数传递互补信息，

为了更好地利用光学和SAR特征元素之间的相互作用以进一步提高性能，采用了双重信息传播机制，即同时更新SAR特征。计算SAR特征与更新后的光学特征之间的差值，并通过使用门控函数传播信息。

然后将增强的光学和SAR特征引入下一个SAR引导的全局上下文交互模块SGCI中进行进一步的表示学习。该模块考虑了局部特征之间的信息传递，称之为局部融合。

5 Experiments

5.1 Experimental Settings

Dataset and Metrics

实验是在SEN12MS-CR大型数据集上进行的，该数据集包含来自169个非重叠感兴趣区域(ROI)的122218个样本。每个样本由正矫正、地理参考的Sentinel-1双极化SAR图像、Sentinel-2无云多光谱图像和Sentinel-2有云多光谱图像组成，其中无云图像和有云图像的观测时间接近。每个图像大小为[256x256]。将SAR图像的VV和VH极化裁剪为[-25,0]和[-32.5,0]，并重新缩放为[0,1]。将光学图像的所有波段裁剪为[0,10000]，并重新缩放为[0,1]范围。将169个ROI分成149个ROI用于训练，10个ROI作为验证，10个ROI用于测试。为了避免整体性能对特定云覆盖水平的偏差，将云覆盖为0%至20%、20%至40%、40%至60%、60%至80%和80%至100%的样本中随机选择800个样本作为测试集。其中，训练集、验证集和测试集分别由101615个、8623个和4000个样本组成。基于峰值信噪比(PSNR)、结构相似指数测量(SSIM)、光谱角映射器(SAM)和平均绝对误差(MAE)对归一化数据进行去云效果评价。

Implementation Details

所提出的GLF-CR网络使用Pytorch框架实现，端到端方式进行训练。通过使用卷积层和Softmax层来实现门控函数，动态滤波器生成模块(DFG)由卷积层和两个残差快组成。在训练过程中，将样本随机裁剪成[128x128]小块。依靠经验batch size设置为12，将训练迭代的最大epoch设置为30。使用Adam优化器，学习率从 $10^{-4}$ 开始，每五个epoch衰减50%。通过权衡模型的性能和复杂性，SGCI和SLFC模块的数量D设置为6。将SGCI块的每个流中的密集连接数设置为5。设置STL层的窗口大小为8，注意力头为8个。动态滤波器k的大小设置为5。

5.2 Comparisons with State-of-the-Art Methods

可以观察到所提出的GLF-CR网络在很大程度上优于其他方法。它可以恢复细节更多、伪影更少的图像。这些显著的改进表明，该方法可以更好地利用SAR图像中嵌入的互补信息。

5.3 Analysis on Different Cloud Cover Levels

进一步比较了GLF-CR网络与最先进去云方法在不同云层覆盖水平下的性能。在云量为0%~20%、20%~40%、40%~60%、60%~80%和80%~100%的图像上评估了去云的性能。结果表明与最先进的方法相比，所提出的GLF-CR方法在所有云覆盖水平上表现良好。

5.4 Ablation Study

本文提出的GLF-CR网络通过全局融合来引导所有局部光学窗口与SAR特征之间的关系，以及局部融合来传递多云区域对应的SAR特征来补偿缺失信息，从而提高了基于SAR的去云性能。通过比较使用和不使用SAR图像、串联融合Concat、STL层、全局融合GF和动态滤波器DF的几个变体来分析每个组件的有效性。

Importance of SAR Image(w/o SAR)

通过训练没有SAR图像的GFL-CR网络来验证SAR图像的重要性，表示为w/o SAR。由于输入是单源信号，即浑浊光学图像本身，因此采用单流网络，不使用融合策略。当云覆盖水平较低时，其性能与使用SAR图像的网络相当。当云层覆盖水平越高，有SAR图像和没有SAR图像的网络之间性能差距越大。 w/o SAR对于云覆盖区域容易产生过平滑效果，而带有SAR图像的网络可以恢复纹理细节。表明SAR图像中编码丰富的互补信息可以有效提高去云性能。

Limitation of Concatenation Fusion(Concat)

与无SAR相比，Concat只增加了两个通道的输入来利用SAR图像。利用级联融合的增益为0.17 dB，而所提出的GLF-CR网络的增益为0.71 dB。当无云区域比例越高时，Concat与GLF-CR之间的性能差距越大，因为与串联融合相比，所提出的GLF-CR网络可以更好地利用SAR信息的力量。GLF-CR网络可以恢复更完整的纹理结构，获得更好的视觉效果。

Effectiveness of Global Interactions(w/o STL)

捕获上下文之间的全局交互在维护全局一致结构中起到至关重要的作用。通过去除SGCI块中的STL层来训练GLF-CR网络，表示为w/o STL。结果表明。该方法捕获了上下文之间的全局交互，有效提高了去云性能。

Effectiveness of SAR-Guided Global Interactions(w/o GF)

进一步验证了引导光学特征与SAR特征之间全局相互作用的有效性。通过保留STL层而不使用SAR特征来指导全局可见光相互作用，来训练GLF-CR网络。表现为w/o GF。与w/o STL相比，可以观察到w/o GF在SAM方面只有轻微的性能改进，尽管使用了额外的STL层来保持空间一致性，因为从浑浊光学图像本身估计相互作用会引入一些误差。无GF会产生伪影。由于SAR图像不受到云覆盖的影响，可以为捕获上下文之间的全局交互提供有价值的指导。引导光学特征与SAR特征的全局相互作用，可以有效提高去云性能，使预测的无云图像结构更符合地面真实情况。

Effectiveness of the Dynamic Filter(w/o DF)

本文提出的GLF-CR网络采用动态滤波方法处理SAR图像的散斑噪声。为了验证动态滤波器的有效性，通过去除SLFC块中的动态滤波器来训练GLF-CR网络，表示为w/o DF。相对于量化光谱的结构相似性的SSIM和SAM，衡量重建图像质量的PSNR和MAE的w/o DF性能下降更为严重。可以看出，w/o DF和GLF-CR关于云量水平的变化趋势相似。

6 Discussion

6.1 Performance on Challenging Conditions

当要处理的图像完全多云时候，去云任务是十分有挑战性的。为了了解所提出的方法在具有挑战性的条件下的表现，上图表示了地面信息几乎被云遮挡的图像的结果。结果表明，该方法可以在纹理细节较差的情况下恢复地物的近似信息。由于图像完全是多云的，因此无法访问无云部分，只能使用SAR信息来重建无云图像。重建的无云图像的质量完全取决于SAR图像中嵌入的信息。

6.2 Speckle Noise in SAR Data

SEN12MS-CR数据集的SAR数据来自一级地距影像GRD产品，该产品经过多重观测以减少散斑。尽管如此，多重观测数据仍然表现出高度的散斑噪声，因为散斑噪声本质上是乘性的，很难与原始信号区分来。而且散斑不仅是噪声，在某种意义上具有信息内容。此时，不考虑显式的去斑预处理步骤，而是通过嵌入在网络中的动态滤波器隐式地处理空间变化的散斑分布。将SAR数据馈送到网络之前，也可以用去斑技术对其进行预处理。

因此，通过去除SLFC块中的动态滤波器来训练GLF-CR网络，同时用中值滤波器提供去斑点的SAR数据。上表可以看出，采用去斑技术对SAR数据进行预处理可以降低散斑噪声对去云的影响。该方法在动态滤波的基础上，隐式地减轻了散斑噪声的影响，获得了更好的性能。

6.3 Geometric Distortion in SAR Data

当地形起伏时，由于传感器的侧面视图，SAR数据存在固有的几何畸变。这将导致SAR数据中的信息与地物的实际状态不一致，对去云性能产生不利影响。本文的实验是在SEN12MS-CR数据集上进行的，其中的SAR数据由Sentinel-1卫星提供。其分辨率为10m，因此不会出现过度失真。此外，根据数据集的规模，所提出的强大模型可以在一定程度上解决这方面的问题。

6.4 Registration Error between the Optical and SAR Data

光学图像与其对应的SAR图像之间的配准误差预计会影响学习过程。ESA给出的数据说明Sentinel-1 SAR L1产品和Sentinel-2光学L1C产品的共配准精度在2像素以内。将SLFC模块中的动态滤波器大小设置为5，以获得更大的感受野，这使得所提出的模型可以在SAR和光学图像之间存在微小偏差的情况下工作。

6.5 Nuisances between Cloudy Reference Image and Cloud-Free Target Image

在SEN12MS-CR数据集上，通过与多云图像被摄时间相近的无云图像进行比较，评估了本文模型的去云性能。由于光照条件、采集几何形状、湿度、污染、景观变化等因素的影响，存在一些不可避免的干扰，而SEN12MS-CR数据集旨在最大限度地减少此类情况。对于一个相对大规模的测试分割来说，不可避免的干扰是可以忽略不计的，这个测试分割是全球和季节性采样的，没有任何对特定光照条件的偏见。这意味着偏向于特定条件的模型在测试分割中不会有任何优势。总的来说，影响可以平均化，不影响在数据集上对所提议的模型进行基准测试的公平性。

此外对无云图像和多云图像之间间隔不同的图像进行了测试。输入的云图像为2018年7月17日，我们使用与云图间隔最接近的SAR图像作为辅助数据，其日期为2018年7月18日。评估使用的无云图像日期分别为2018年7月30日、2018年8月11日和2018年9月28日。所提出的方法总体上优于最佳基线DSen2-CR，这与SEN12MS-CR数据集的结果一致。结果表明，利用无云图像评价系统性能的可行性。当用于计算指标值的参考无云图像与有云图像之间的时间间隔较大时，该方法在指标方面的性能较差。说明该方法能够恢复输入云图的表面信息，因此输入云图间隔较大的无云图像参考价值较小。

严格的地面真值对应只能通过生成叠加在无云观测上的合成云覆盖来保证。然而，常用的模拟云技术在逼近真实数据方面存在严重限制。在合成数据上的出色性能不一定转化为在真实数据上的同等性能。