IEEE 2022
论文名称 MSDA-CR 基于多尺度失真感知网络的光学遥感图像去云
目录
摘要
云层污染是光学遥感（RS）图像中常见的问题。近年来，基于深度学习的遥感图像云去除引起了越来越多的关注。然而，它仍然具有挑战性，利用有用的多尺度云感知表示从云图像由于缺乏有效的建模云失真的影响和网络的功能表示能力弱。为了规避这些挑战，我们提出了一个多尺度失真感知云去除（MSDA—CR）网络组成的多个云失真感知表示学习（CDARL）模块结合在一个多尺度网格架构。具体而言，云失真控制功能（CDCF）的定义和纳入CDARL模块自适应建模的云干扰在成像过程中引起的失真效果，与可学习的参数利用失真恢复表示。这些表示在MSDA—CR网络中的不同尺度上进一步提取，并基于注意力机制进行集成，以恢复无云图像，同时保留地面物体的空间结构。在可见光和多光谱遥感数据集上进行的大量实验证实了所提出的MSDA—CR网络的有效性。索引术语—云失真，云去除，深度学习，图像恢复，遥感（RS）。
1介绍
随着对地观测技术的发展，遥感图像信息在土地覆盖制图、自然资源监测、灾害响应等方面得到了广泛的应用。然而，这种光学遥感图像的质量可能会受到大气和照明条件的强烈影响。特别是，被观测的陆地表面可能部分甚至完全被云遮蔽，这会严重影响后续应用。因此，迫切需要发展有效的信号处理技术，从被云层污染的遥感图像中准确地恢复真实的地表信息。
在文献中，有两类通用的RS图像云去除方法：基于图像增强的方法和基于深度学习的方法。在以前的研究中，基于图像增强的方法已被广泛用于去除云，因为它们易于解释和实施。这类方法主要是通过对云覆盖图像进行空间频率处理来实现去云。暗通道先验（DCP）可以被集成到图像的低频分量中，以基于非云区域中的像素应在至少一个颜色通道中表现出低强度的原则来估计用于云去除的云传输图[1]。Zhang et al. [2]提出了一种基于主成分分析的粗到细框架，具有组稀疏约束，以从低秩分量中恢复背景信息。然而，这些方法强烈依赖于手工制作的RS图像的特征和低秩假设。因此，他们的结果表明，对于被不同形式的云遮蔽的RS图像，鲁棒性较低[3]。
基于深度学习的遥感图像去云方法因其较强的遥感图像代表性特征挖掘能力而受到广泛关注。具体而言，从污染图像中去除云可以被视为通过深度表示学习将像素从云退化域映射到无云域的任务。例如，Zi等人[3]在U-Net架构中采用卷积神经网络（CNN）来估计每个光谱带的厚度系数，并为多云图像生成云厚度图。此外，基于CNN的模型已嵌入对抗学习框架中，以实现增强的特征表示能力[4]，从而允许基于生成对抗网络（GAN）的图像到图像转换模型应用于云去除。例如，循环GAN [5]和条件GAN [6]模型，其中生成器旨在将云覆盖的图像转换为无云图像，并且训练器学习从恢复的图像中区分地面实况图像，已经采用了不同的训练策略。此外，Zheng等人[7]在对抗学习框架下结合了U-Net，一个生成器和一个搜索器，以去除薄云，同时恢复不规则的云覆盖区域。这种生成模型可以从污染图像中学习高级云感知特征表示，并从其编码表示中重建这些图像的无云内容。然而，他们 无法通过深度表示学习网络对受污染图像的多尺度云失真效果进行建模。尽管[8]利用GAN模型使用云失真的物理模型从污染图像中分解云失真层，但其用于云提取的U-Net架构无法充分利用有用的多尺度云失真感知表示来处理具有不同厚度的云。
在这封信中，我们提出了一个多尺度失真感知云去除（MSDA-CR）网络，使用云失真感知表示学习（CDARL）模块作为基本编码块来恢复云层覆盖下的地表。CDARL模块通过自定义云失真控制函数（CDCF）学习自适应地对云反射、云透射和全球大气亮度的影响进行建模，以便从多云图像生成云失真恢复的表示图。MSDA-CR模型采用网格架构，逐步提取不同尺度的无云表示，并基于注意力机制自适应地整合这些多尺度表示。此外，一种新的混合损失函数，包括平滑L1损失，感知损失，和对抗性损失被用来训练MSDA-CR模型。
2方法
a.云变形的物理模型
卫星传感器接收到的信号可能由于云的畸变而严重衰减。基于成像过程中太阳辐射的传播，Li等人[8]提出了云畸变的物理模型。对于云失真图像x中的每个像素z，即，传感器接收到的信号，云畸变的物理模型定义如下[8]：
其中I表示太阳辐照度，而r（z）、t（z）和s（z）分别指定云反射率、双向云透射率和地表反射率。第一项，即，I · r（z）表示从云反射的辐射，而第二项，即，I · t（z）s（z），代表透过云层从陆地表面传输的退化反射。因此，可以通过对成像过程中的云反射、云透射和太阳辐照度进行建模来获得来自陆地表面的无云信号，表示为I · s（z），以恢复陆地表面信息。
b.CDARL模块
Fig. 1.提出的MSDA—CR网络的框架和CDARL模块的结构。
如图1所示，CDARL模块被设计为对CDCF进行建模，以用于失真感知表示的学习。首先，原始图像被馈送到特征提取主干中以提取深度特征。在此基础上，设计了三个具有可学习参数的CDCF，以捕获深度表示学习中的云失真效应。最后，通过结合CDCF来利用无云表示来生成失真恢复的图。
构建特征提取主干，以使用由密集连接的卷积层组成的两个并行分支从原始输入中提取特征。然后利用所提取的特征X来对CDCF的参数进行建模。云的失真影响，即，云干扰引起的信号衰减，对遥感成像有不利影响。基于云变形的物理模型，我们使用三个设计的CDCF与学习参数的云变形效果建模。
为了有效地捕捉云量的空间变化特征，同时保持陆地表面的局部空间结构，云反射和云透射的CDCF基于具有可学习尺度和偏差的空间自适应仿射变换设计，如下所示:
其中Ri（z）和Ti（z）分别表示云反射和云透射对第i个通道中的第z个像素的影响。γ R、βR、γT和βT ∈ RC×H×W是可学习的仿射参数。μ（·）和σ（·）分别是通道平均值和标准偏差函数。
对于跨越光学波段的图像，陆地表面场景的照明可以被认为是由太阳辐照度提供的，即，全球大气亮度，具有通道特性[9]。因此，全局大气亮度B使用自适应逐通道仿射变换来编码，其中跨每个特征通道的空间维度独立地计算可学习参数，如下所示：
其中γ B和βB ∈ RC×1×1是函数的可学习仿射参数。挤压函数Fs使用跨空间维度的全局平均池化将每个2-D特征通道转换成真实的数。
最后，通过对CDCF进行建模来生成失真恢复的表示图，以恢复无云失真的表示。根据（1）中给出的云恢复公式，期望的地面信息Y（z），即，在成像过程中捕获的来自陆地表面的无云信号I·s（z），可以通过对由R（z）、T（z）和B引起的信号衰减建模从原始图像中提取，如下所示：
c.MSDA—CR网络
MSDA-CR网络使用CDARL模块作为通过密集连接连接的基本编码块来建立，目的是在不同尺度上提取无云表示。如图1所示，MSDA-CR网络中的每行对应于不同的尺度，具有用于代表性特征挖掘的多个CDARL模块，而列利用上采样/下采样块作为不同尺度之间的桥梁以促进信息交换。得到的多尺度失真恢复地图融合通过一个灵活的表示聚合的注意机制，然后送入下一个连接的模块表示蒸馏。为了提高网络的特征表示能力，MSDA-CR网络被嵌入到对抗学习框架中，引入了一个识别器来区分生成的无云图像和地面实况图像。
针对第j个CDARL模块在第l层产生的失真恢复映射Yl，j ∈ RC × H × W，提出了一种基于带sigmoid激活函数的选通函数的通道注意机制，以强调信息表示而抑制无关信息
其中Al，j（Y）∈ RC×1×1是CDARL输出的注意力权重，δ是整流线性单元（ReLU）激活函数。此外，W1 ∈ R（C/r）×C和W2 ∈ R（C/r）×C是线性投影矩阵，其中r是降维比。在此基础上，多尺度表示可以通过失真恢复的地图和相应的注意力权重之间的元素级乘法自适应融合。因此，在上采样或下采样之后，可以经由相同级别的一个模块的输出和下一个较低或较高级别的一个模块的输出的融合来生成到CDARL模块的输入。
d.损失函数
一种新的混合损失函数，包括平滑L1loss L1，感知损失Lper，和对抗损失Ladv被引入到训练MSDA—CR模型。该混合损失函数定义如下：
其中λL1、λper和λadv是三个损耗分量的可调权重。
1)平滑L1损失：平滑L1损失测量MSDA-CR网络的输出图像与其对应的地面实况图像之间的像素差异。这种损失的定义如下：
其中，N表示图像中的像素总数，Z表示光谱带的数量，α（·）表示平滑L1函数，Gi（z）和G i（z）分别表示地面实况图像和去云图像中第i个通道中像素z的强度。
2)感知损失：感知损失测量来自MSDA-CR网络的预测的特征表示与其对应的地面实况图像之间的一致性，如通过预训练的网络（例如，VGG 19在ImageNet数据集上预训练）。感知损失定义如下：
其中φk是从网络的第k层提取的特征图，Ck、Hk和Wk分别表示特征图的通道数、高度和宽度。
3)对抗性损失：采用Wasserstein损失度量与梯度惩罚，
其中Pr是真实的数据x上的分布，Pg是合成数据x上的分布。在这里，前两项用于最小化Pg和Pr之间的Wasserstein距离，而最后一项强制执行Lipschitz约束以使对抗训练更稳定，其中λp是梯度惩罚系数。
3.实验结果
A.数据描述
两个RS数据集，即RICE [10]和WHUS 2-CR [11]，被用来验证所提出的方法的有效性。RICE数据集包含来自Google Earth的500个薄云覆盖图像对和736个Landsat-8（RGB波段）厚云覆盖图像对，大小为512 × 512像素。在这些图像对中，选择875对作为训练数据，剩余的361对作为测试数据。此外，WHUS 2-CR数据集包含2000对大小为512 × 512像素的多云和无云Sentinel-2图像。可见光和近红外（NIR）波段，即，在这些实验中使用了空间分辨率为10米的Sentinel-2图像的波段2/3/4/8，以测试多光谱图像中的云去除性能。在WHUS 2-CR数据集中，获得了1500对作为训练样本，而剩余的500对用于评估。
B.实验装置
提出的MSDA-CR方法与其他最先进的云去除方法进行了比较，即，基于U-Net的云去除（UCR）[7]，以及两种基于GAN的方法，即CloudGAN [5]和CR-GAN-PM [8]。我们选择了批量大小为36的ADAM优化器来训练MSDA-CR网络，其中参数β1和β2被设置为默认值，即，0.9和0.999。学习率最初设定为0.0001，每20个纪元后下降一半。λper和λadv分别设置为0.04和0.05，以控制模型的训练稳定性，而λL1和λp分别设置为经验值1.2和10。为了公平比较，对所有其他方法实施最佳参数设置。为了定量评价各种方法的去云效果，采用峰值信噪比（PSNR）和结构相似性指数测度（SSIM）定量评价预测图像与地面实况图像的一致性。
C.结果和分析
图2.RICE数据集的定性比较：（a）云图，（B）地面实况，（c）UCR，（d）CloudGAN，（e）CR-GAN-PM，（f）MSDA-CR。
图三.WHUS 2-CR数据集的定性比较：（a）云图像，（B）地面实况，（c）UCR，（d）CloudGAN，（e）CR-GAN-PM和（f）MSDA-CR。第一、第三和第五行是真彩色合成图像的结果，而第二、第四和第六行是相应NIR波段的结果。
图2显示了RICE数据集上所有方法的薄云和厚云去除结果的六个实例。可以看出，UCR生成的结果在多云区域中遭受细节损失和图像模糊。因此，它不能成功地恢复陆面信息在云覆盖的地区。在CloudGAN的结果中，由于对云厚度的估计不准确，在几个斑块中可以观察到大量的云残留。虽然CR-GAN-PM保留了背景的大部分纹理信息，但在厚云恢复区域中仍然存在颜色失真的噪声区域，并且生成的图像的空间连续性受到干扰。相比之下，所提出的MSDA-CR实现了更精细的空间信息的背景和更好的光谱一致性与地面真相。图3显示了在WHUS 2-CR数据集上获得的真彩色合成图像和NIR波段的定性结果。对于多光谱图像中的厚云去除，UCR、CloudGAN和CR-GAN-PM都不能很好地恢复厚云覆盖的地物，真彩色合成图像中存在严重的云残留。由于近红外波段受云层的影响比可见光波段小，因此生成的近红外图像对云层失真不太敏感。如图3（f）所示，MSDA-CR网络生成的无云图像在可行和NIR波段中都显示出更多的恢复背景细节。
MSDA-CR方法和考虑用于比较的其他方法的定量结果总结见表I。所提出的MSDA-CR方法在PSNR和SSIM方面明显优于其他方法，证明了MSDA-CR网络用于云去除的有效性。值得注意的是，UCR在WUHS 2-CR数据集上实现了比CloudGAN更高的SSIM值，但PSNR值更低。这一观察结果表明，CloudGAN在亮度和结构方面产生的均方误差较小，但代价是与地面实况的一致性较低。表I显示了四种方法的每秒帧数（FPS）。MSDA-CR实现了比CloudGAN更高的推理速度，因为CloudGAN网络中采用了残差块和卷积运算。
表I不同云去除方法的定量比较，其中↑表示越高越好
D.消融研究
我们通过测试MSDA-CR模型的几种变体进行了消融研究。为了验证CDCF的有效性和MSDA-CR方法中使用的对抗性损失Ladv，我们通过将CDARL模块替换为密集连接的卷积层并消除对抗性损失来进行比较。如表II所示，由于MSDA-CR模型的表示能力降低，Ladv的消除仅导致性能略微变差，而没有CDCF的模型的性能显著恶化。这是因为CDCF可以在表示学习中有效地对云失真效果进行建模，从而更好地利用失真恢复表示。此外，没有CDCF和Ladv的实验结果显示出较差的PSNR和SSIM性能。这些结果表明，将建议的CDCF和对抗性损失显着的效果。
表II CDCFS的消融研究和不良损失
4.结论
提出了一种新的MSDA-CR光学遥感图像去云模型。具体来说，CDCF的定义和纳入每个CDARL块模拟云反射，云传输和全球大气亮度的影响，同时促进开发失真恢复表示。在不同尺度的无云表示逐步蒸馏和自适应集成，利用基于注意力的多尺度网格网络。在高分辨率可见光遥感图像和多光谱数据集上进行的实验表明，与现有方法相比，所提出的MSDA-CR模型在薄云和厚云去除方面可以实现令人印象深刻的性能。具体来说，MSDA-CR模型可以恢复光谱一致的土地表面信息，同时保持图像的局部空间结构。
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
