论文对比实验

目录

1Denoising Diffusion Probabilistic Feature-Based Network for Cloud Removal in Sentinel-2 Imagery

2Cloud Removal in Remote Sensing Using Sequential-Based Diffusion Models

3Diffusion Enhancement for Cloud Removal in  Ultra-Resolution Remote Sensing Imagery

4Cloud Removal in Optical Remote Sensing Imagery Using Multiscale Distortion-Aware Networks

5IDF-CR:Iterative Diffusion Process for Divide-and-Conquer Cloud Removal in Remote-sensing Images

Denoising Diffusion Probabilistic Feature-Based Network for Cloud Removal in Sentinel-2 Imagery

Sentinel-2图像去云的去噪扩散概率特征网络
MDPI2023

论文地址 https://www.mdpi.com/2072-4292/15/9/2217

摘要介绍了一种新的云去除网络模型，名为 Denoising Diffusion Probabilistic Model-Cloud Removal (DDPM-CR)。该模型旨在解决遥感领域中普遍存在的光学卫星图像中云污染的问题。作者指出，随着深度学习技术的快速发展，对云污染的处理有望得到改善。因此，他们提出了一种全新的云去除网络，能够有效地去除光学图像场景中的细云和厚云。

DDPM-CR网络采用了去噪扩散概率模型（DDPM）架构，利用光学图像和辅助SAR图像作为输入来提取DDPM特征。这些特征提供了重要的信息，可用于缺失信息的检索。此外，作者还提出了一种采用了多尺度注意力机制的云去除头部，以利用DDPM特征去除云层。为了进一步提高网络性能，他们还提出了一种以云为导向的损失函数，该函数在训练过程中考虑了高低频图像信息以及云区域。

通过消融实验和与其他方法的对比，作者证明了DDPM-CR网络在各种云条件下都表现优异。该网络不仅在视觉效果上有所提升，而且在准确度指标方面也取得了更好的成绩（例如平均绝对误差、均方根误差、峰值信噪比和结构相似性指数）。这些结果表明，DDPM-CR网络是一种有前景的解决方案，可以用于检索细云或厚云覆盖区域中的缺失信息，特别是在利用辅助信息（如SAR数据）时。

表3。损失函数对DDPM-CR网络性能的定量评估。以下指标是通过SEN12MS-CR的测试数据集的平均值实现的。第一行列出了仅使用mMAE损失函数训练的DDPM-CR网络的结果。第二行列出了mMAE +感知损失函数的精度指标。第三行列出了mMAE +注意力损失函数的结果。第四行列出了面向云的损失函数的结果。

表4。武汉和洱海地区DDPM-CR评价及比较方法。分别在薄云和厚云条件下进行实验，验证了这些去云方法的性能。

对比方法 
RSdehaze  DSen2-CR  Pix2pixGLF-CR  SPA-CycleGAN  DDPM-CR

Cloud Removal in Remote Sensing Using Sequential-Based Diffusion Models

基于序列扩散模型的遥感云去除
MDPI2023
论文地址:https://mdpi.longhoe.net/2072-4292/15/11/2861
这篇摘要讨论了由于云层或雾霾的干扰，导致太空光学卫星收集的大部分光学观测数据受到污染，限制了进一步的地球观测应用。为解决这一问题，在遥感领域提出了一种名为顺序扩散模型（SeqDMs）的新型概率生成模型，用于云去除任务。该方法包括多模态扩散模型（MmDMs）和基于顺序的训练和推断策略（SeqTIS）。MmDMs是一种新颖的扩散模型，用于重建去噪扩散概率模型（DDPMs）的逆过程，以整合来自辅助模态（例如，对云层干扰具有鲁棒性的合成孔径雷达）的附加信息，帮助学习主模态（即光学卫星图像）的分布。为了考虑时间跨度信息，SeqTIS被设计用于在不需重新训练模型的情况下，跨主模态和辅助模态输入序列的任意长度整合时间信息。通过利用MmDMs和SeqTIS，SeqDMs能够处理各种输入序列长度，仅需少量额外输入样本即可实现显著改进，并大大减少模型重新训练所需的时间成本。在一个公开的真实世界数据集SEN12MS-CR-TS上评估了我们的方法，用于进行多模态和多时相的云去除任务。通过广泛的实验和消融研究，证明了所提方法在重建样本质量和处理任意长度序列灵活性方面的优越性，相比现有先进的云去除方法取得了显著改进。

表1。在归一化均方根误差(NRMSE)、峰值信噪比(PSNR)、结构相似度(SSIM)[31]和光谱角映射器(SAM)[32]指标方面，将所提方法与基线方法进行定量评估。所有方法都是用长度为L = 3的输入序列进行训练和推断的。

​

least cloudy  mosaicing  STGAN  Seq2point SeqDMs(proposed)

​

图4。使用长度为L = 3,4,5的输入序列推断的SeqDMs在PSNR、SSIM、NRMSE(cloudy)和SAM方面的性能直方图。

Diffusion Enhancement for Cloud Removal in  Ultra-Resolution Remote Sensing Imagery

基于扩散增强的超分辨率遥感影像云去除
IVP2024
论文地址 https://arxiv.longhoe.net/abs/2401.15105

摘要:云层的存在严重影响了光学遥感图像的质量和效果。然而，现有的基于深度学习（DL）的去云（CR）技术在准确重建图像的原始视觉真实性和详细语义内容方面遇到了困难。为了应对这一挑战，这项工作建议在数据和方法学方面进行改进。在数据方面，建立了一个0.5米空间分辨率的超分辨率基准CUHK去云（CUHK-CR）。该基准包含丰富的细节纹理和多样化的云覆盖，为设计和评估CR模型奠定了坚实的基础。从方法论的角度来看，提出了一种新的基于扩散的纹理细节恢复框架，称为扩散增强（DE），用于执行渐进纹理细节恢复，这在提高推理精度的同时减轻了训练难度。此外，开发了一个权重分配（WA）网络来动态调整特征融合的权重，从而进一步提高性能，特别是在超分辨率图像生成的背景下。此外，应用由粗到细的训练策略来有效地加快训练收敛，同时降低处理超分辨率图像所需的计算复杂度。在新建立的CUHK-CR和现有数据集（如RICE）上的大量实验证实，所提出的DE框架在感知质量和信号保真度方面都优于现有的基于DL的方法。

现有cr数据集与cuhk-cr的比较

         采集数据集，              时间间隔，       图像大小， 数量，    分辨率(m)，    光谱             源       

​

 在rice1和rice2数据集上进行了定量实验。↑、↓分别代表更高更好、更低更好。​

SpA-GAN  AMGAN-CR  CVAE   MemoryNet   MSDA-CR  DE-MemoryNet  DE-MSDA

在cuhk-cr1和cuhk-cr2数据集上的定量实验结果。↑、↓分别代表更高更好、更低更好。

​

Cloud Removal in Optical Remote Sensing Imagery Using Multiscale Distortion-Aware Networks

基于多尺度失真感知网络的光学遥感图像去云
IEEE2022
摘要:云层污染是光学遥感图像中常见的问题。近年来，基于深度学习的遥感影像去云技术受到越来越多的关注。然而，由于缺乏对云失真效应的有效建模以及网络的弱特征表示能力，从云影像中开发有用的多尺度云感知表示仍然具有挑战性。为了应对这些挑战，我们提出了一种多尺度失真感知云去除(MSDA-CR)网络，该网络由多个云失真感知表示学习(CDARL)模块组成，这些模块组合在一个多尺度网格架构中。具体而言，云失真控制函数(CDCFs)被定义并合并到CDARL模块中，以自适应地对成像过程中由云干扰引起的失真效应进行建模，具有用于利用失真恢复表示的可学习参数。这些表示在MSDA-CR网络中的不同尺度上被进一步提取，并基于注意机制被集成，以恢复无云图像，同时保留地面物体的空间结构。可见光和多光谱遥感数据集上的大量实验证实了所提出的MSDA-CR网络的有效性。

对不同去云方法进行定量比较，↑表示越高越好

​

UCR CloudGAN CR-GAN-PM MSDA-CR

IDF-CR:Iterative Diffusion Process for Divide-and-Conquer Cloud Removal in Remote-sensing Images

IDF-CR:基于迭代扩散的遥感图像分治去云算法
TGRS2024 扩散模型 薄云去除
深度学习技术已经证明了其在光学遥感图像去云方面的有效性。卷积神经网络(cnn)在去云任务中发挥主导作用。然而，受卷积操作固有局限性的限制，cnn只能解决有限的一部分云层遮挡。近年来，扩散模型由于其强大的生成能力，在图像生成和重建方面取得了最先进的水平。受扩散模型快速发展的启发，本文首先提出了一种迭代扩散去云过程(IDF-CR)，表现出强大的生成能力，以实现组件分而治之的去云。IDF-CR由像素空间去云模块(pixel - cr)和隐空间迭代噪声扩散网络(IND)组成。具体而言，IDF-CR分为像素空间和隐空间两阶段模型。两阶段模型促进了从初步的云减少到细致的细节细化的战略过渡。在像素空间阶段，pixel - cr启动对云图的处理，在为扩散模型提供先验去云知识之前产生次优的去云结果。在潜空间阶段，扩散模型将低质量的去云转化为高质量的清洁输出。通过实现控制网改进稳定扩散。此外，在扩散模型中引入无监督迭代噪声细化(INR)模块，以优化预测噪声的分布，从而增强高级细节恢复。该模型在光学遥感数据集上与其他SOTA方法(包括图像重建和光学遥感去云)相比表现最佳。

图5所示。在RICE2数据集上对不同云量的去云结果进行像素空间定性比较。

在rice数据集上训练的各种方法的定量无参考指标比较

C2PNet  RIDCP  SGID-PFF  Spa-GAN  SwinIR  DiffBIR  Pixel-CR  Ours