Cloud removal using SAR and optical images via attention mechanism-based GAN论文翻译

PRL2023

论文名称 基于注意机制的GAN用于SAR和光学图像去云

论文地址 https://www.sciencedirect.com/science/article/abs/pii/S0167865523002623

代码地址 https://github.com/Shuaizhang7/AttentionGAN-for-Cloud-removal

摘要

        云经常出现在遥感图像，这严重影响了遥感图像的应用。因此，去云是遥感图像应用中一个重要的预处理过程。本文提出了一种基于生成对抗网络的云去除方法光学遥感合成孔径雷达(SAR)图像辅助下的图像。我们的模型是一个端到端的模型，由翻译模块、注意模块、生成器和鉴别器。我们引入注意机制来精确定位云区域。利用获得的注意力图作为先验信息，该方法可以在去除云的同时保留无云区域。此外，我们在损失函数中加入了结构相似性指数(SSIM)和注意力惩罚来提高该方法的性能。数值实验表明，与现有方法相比，该模型具有更好的去云性能。

介绍

        遥感技术在地球观测任务中发挥了重要作用[1]。然而，光学遥感图像中云的存在严重阻碍了图像的进一步应用和分析。因此，去云方法被认为是满足无云遥感图像要求的重要课题。

        在过去的几十年中，已经开发了许多去云算法，这些算法主要可以分为四类，即基于空间的方法、基于光谱的方法、基于多时相的方法和混合方法[2]。通过假设图像中缺失的区域与其他区域具有相同的统计和几何结构，基于空间的方法使用来自无云区域的信息来恢复缺失的数据，这对于填充图像中的小间隙是有效的[3]。然而，很难恢复被大云破坏的图像[4]。基于光谱的方法利用多光谱数据来恢复丢失的数据，可以获得令人满意的视觉性能，并可以处理薄云[5]，但当多个或所有光谱带被污染时，它们会产生次优结果[6]。基于多时相的方法利用类似时期获得的数据提供的辅助信息来恢复云污染区域[7]。然而，当数据收集过程中土地覆盖发生显著变化时，基于多时相的方法可能不适用[8]。

        随着深度学习的快速发展，基于深度神经网络的光学遥感图像去云算法研究取得了很大进展。由于生成对抗网络(GAN) [9]可以很好地学习数据的分布，因此受到了研究者的广泛关注，并被广泛应用于去云任务中。Enomoto等人[10]扩展了条件GAN (cGAN) [11]，并提出了多光谱cGAN(MC GAN)，通过融合云污染的光学图像和红外图像来消除云。然而，利用红外图像作为辅助信息的局限性在于红外辐射不能穿透厚厚的云层。赵等[12]将多模态图像翻译应用于遥感图像处理领域，提出了一种具有对抗性一致性损失的多模态GAN去云方法。

        与传统的被动成像传感器(如红外和光学传感器)相比，合成孔径雷达(SAR)成像可以全天候提供土地覆盖信息，不受云层影响。因此，SAR图像已被用作光学遥感图像去云任务的有效辅助信息[13]。Grohnfeldt等人[14]提出了SAR-opt-GAN模型，融合SAR和光学多光谱图像，生成无云光学图像。高等[15]提出了一种模拟融合GAN模型，融合SAR图像和光学图像去云。Darbaghshahi等人[16]提出将GAN和SAR-光学图像转换用于去云，其中两个GAN分别用于SAR-光学图像转换和去云。Xu等人[17]提出了一种新的基于全局-局部融合的去云算法，以利用SAR图像中嵌入的互补信息，从而产生高质量的图像。

        受人类视觉注意力[18]的启发，注意力机制已被引入计算机视觉任务[19]，通过为图像中的不同分量分配不同的权重，它能够在一定程度上提供直观的解释。Chen等人[20]在用于野生图像中的物体变形的GANs中引入了注意机制，这表明与cycle-GAN [21]相比，加入注意模块可以提高生成图像的质量。Xu等人[22]提出了一种基于注意机制的GAN方法用于Landsat数据集的去云，取得了很好的去云效果。

        现有的大多数方法直接将连接的SAR图像和光学图像输入网络。生成器需要融合SAR图像和光学图像的信息，恢复多云区域的信息，同时保持无云区域不受影响。因此，在去云过程中，生成器可能会遇到两个问题。一方面，生成器可能会破坏图像的无云区域，同时恢复多云区域。另一方面，生成器可以有效地保存无云区域，但是不能很好地恢复多云区域。为了解决这个问题，我们利用一个注意力模块来区分图像中的多云和无云区域，目的是恢复多云区域，同时最大程度地保留无云区域。该模块提示生成器更多地关注多云区域，从而增强其恢复这些区域的能力。

        许多现有的云去除方法需要检测云作为初步步骤。例如，Meraner等人[13]提出了一种利用云遮蔽的损失函数，从而需要一种额外的云检测方法来提取云。类似地，徐等人[22]利用注意损失来提取注意图，这也需要使用额外的方法来提取云掩膜。然而，使用额外的方法来探测云会带来两个问题。首先，它会使整个云去除过程更加复杂和耗时，因为它需要在云去除之前获得云掩膜。其次，需要验证所采用的云检测方法的有效性。由于云去除过程依赖于云检测的结果，并且无效的云检测会对后续的云去除过程产生负面影响。

        本文利用SAR数据作为辅助信息，设计了一种基于注意机制的GAN，用于光学遥感图像去云。与现有的去云网络相比，该模型是一个集成了多个模块的端到端网络，可以对每个子任务进行协同训练。本文的贡献可以概括如下:

        (1)我们提出了一个端到端的云去除网络，其中我们将云去除任务分成三个子任务:SAR图像到光学图像的转换、云检测和云区域恢复。我们使用四个模块来协同处理这些子任务，以完成云移除。

        (2)将注意力机制引入云注意力GAN中，自动定位云区域，使生成器更加关注云区域的重建。我们的模型不需要额外的云检测方法来提取云掩膜。在整个模型架构和注意力丢失的共同作用下，注意力模块能够生成精确识别多云区域的注意力地图。随后，该模型基于注意力图融合了来自多云图像和SAR图像的信息，从而有效地保持了多云图像中的无云区域，并提高了多云区域中恢复的地面物体的质量。

        (3)在提出的云注意GAN的损失函数中，我们引入了结构相似性指数(SSIM) [23]和注意机制约束，以提高生成的无云图像的质量。数值实验表明，与目前最先进的方法相比，所提出的模型能够获得更好的去云性能。

章节片段

建议云关注GAN

        生成对抗网络通过在生成器和鉴别器之间建立对抗博弈来学习生成图像。条件生成对抗网络在这个过程中引入辅助信息来指导图像的生成。我们提出的云注意力GAN是基于cGAN的结构。如图1所示，整个网络由四个模块组成，即翻译模块、注意模块、生成器和鉴别器。我们雇佣了

实验设置

        为了验证所提出的模型，我们进行了真实数据和模拟数据的去云实验。在真实数据实验中，我们使用了SZ subcing ms-CR[28]数据集，该数据集包含122，218个对应Sentinel-1双pol SAR数据、Sentinel-2多光谱图像和云层覆盖的Sentinel-2多光谱图像的补丁三元组。Sentinel-2多光谱图像包括13个波段，其中我们使用了三个波段，包括R、G和b。如图2所示，由于无云

结论

        提出了一种端到端的云-注意力GAN模型，利用SAR图像作为辅助信息去除光学遥感图像中的云。与大多数依赖于其他云检测算法的云去除方法不同，我们利用注意力模块来生成与云的厚度相关的云注意力图。通过基于云注意力图分别处理多云区域和无云区域，网络可以有效地恢复

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，这可能会影响本文中报告的工作。