Thin cloud removal in optical remote sensing images based on generative adversarial networks 论文翻译

2020

论文名称：基于生成对抗网络和云变形物理模型的光学遥感图像薄云去除

论文地址：https://www.sciencedirect.com/science/article/abs/pii/S0924271620301787

摘要

云层污染是一个不可避免的问题光学遥感图像。与厚云不同，薄云不会完全遮挡背景，这使得恢复背景信息成为可能。本文提出了一种基于生成对抗网络(GANs)和云变形物理模型(CR-GAN-PM)的半监督去薄云方法。本文还定义了一个考虑云吸收的云畸变物理模型。值得注意的是，许多基于深度学习的最先进方法需要来自同一区域的成对云和无云图像，而收集这些图像通常是不可用的或耗时的。CR-GAN-PM有两个主要步骤:首先，基于GANs和图像分解原理，从输入的有云图像中分解出无云背景和云失真层；然后，通过将这些层放入重新定义的云变形的物理模型中来重建输入的云图像。分解过程确保分解的背景层是无云的，重建过程确保生成的背景层与输入的有云图像相关。在哨兵-2A图像上进行了实验，以验证所提出的CR-GAN-PM。对所有测试图像进行平均，CR-GAN-PM的SSIMs值(结构相似性指数测量)在可见光和NIR波段分别为0.72、0.77、0.81和0.83。这些结果类似于基于端到端深度学习的方法，并且优于传统方法。输入波段数和超参数值对CR-GAN-PM的性能影响不大。实验结果表明，CR-GAN-PM对不同波段的薄云去除都是有效和鲁棒的。

介绍

        随着遥感技术的发展，越来越多的高时间、空间和光谱分辨率的卫星图像不断被获取。遥感图像的应用发展迅速，如环境监测(Mueller et al .，2016，Novo-Fernández et al .，2018)，目标检测(Deng et al .，2018)，土地覆盖分类(Zhang et al .，2019)。这些应用中有许多是基于光学遥感数据的。然而，云层总是在视觉上和数量上影响数据。

        厚厚的云层可能会阻挡来自地表的所有电磁信号，这使得很难恢复背景信号(李等人，2019c)。多种厚云去除方法中经常用到多时相影像(李等，2014，Poggio等，2012，朱，，2014，陈等，2017)。当无云多时相图像可用时，通过时间插值将云像素替换为无云像素是去除厚云的一种可能性(Melgani，2006年，Benabdelkader和Melgani，2008年)。例如，在Cheng等人(2014)中，提出了时空马尔可夫随机场(MRF)模型来寻找最合适的相似像素来替换云像素。一些方法不是逐个像素地重建图像，而是假设土地覆盖在短时间内不会发生显著变化。陈等，2011，朱等，2012开发了一种邻域相似像素插值器(NSPI)来填充Landsat图像中的空白/云。林等(2013)将无云斑块克隆到相应的云污染斑块。在Zeng等人(2013年)中，提出了一种非参考正则化算法来恢复具有多时相数据的丢失像素。陈等(2019)将污染图像分解为低秩干净图像和稀疏云，利用多时相图像恢复地表信息。李等人(2019c)提出的方法基于结合空间和时间信息的非负矩阵分解和误差校正(S-NMF-EC)。

        与厚云不同，陆地表面的信号可以穿过薄云到达传感器，这使得从接收的信号中恢复背景信息成为可能。许多方法将薄云视为频域中的低频分量(胡等，2015，李等，2014b)。例如，在Liu和Hunt (1984)中，提出了通过低通滤波器提取薄云以抑制多云图像中的薄云信息的同态滤波(HF)方法。Shen等人(2014)对高频进行了进一步的改进，检测了薄云区域，并在频域中分别处理了无云和多云像素。使用小波变换将多云图像分解成不同的空间层，并分析低频信息以检测和去除薄云(Du等人，2002年)。徐等(2019)发现雾天图像比无云图像的信噪比高，用图像中无云像素的平均值代替有云像素。

        基于光谱的薄云去除方法也很多(Mitchell等，1997，高等，1998，梁等，2001，孟等，2009)。在haze optimized transformation(HOT)(张等，2002)中分析了无云天空和有霾条件下的土地覆盖在红、蓝波段的光谱响应特征。由于其稳健性和简单性，HOT方法已在许多其他应用中使用(Olthof等人，2005年，he等人，2010年，Zhang等人，2014年)。为了抑制IHOT中的土地覆盖信息，在HOT与成对的多云和无云图像之间进行迭代回归程序(Chen等人，2016)。Xu等人(2014年)使用Landsat-8卷云波段和可见光或红外波段之间的均匀土地覆盖区域的线性回归关系来去除薄云。Lv等人(2016年)提出的方法基于经验和辐射传输模型，该模型假设在晴空条件下，任何两个可见波段内地面目标的TOA反射率值呈线性相关。

        在上面提到的许多去云方法中，云检测是必要的预处理步骤。虽然已有多种云检测方法(朱、，2014；Sun et al .，2017，Parmes et al .，2017，Sun et al .，2018，Chen et al .，2018，Zhai et al .，2018，Li et al .，2019b)，有些方法是针对给定的卫星传感器的，在处理其他卫星图像时精度不稳定，或者其他方法不能很好地处理薄云。

        最近，卷积神经网络(CNN)已成功应用于遥感图像处理(朱等，2017a，朱等，2017b)的分类任务，如土地覆盖与土地利用(LCLU)分类(陆等，2015，赵等，2017，黄等，2018，张等，2019)，目标检测(Vakalopoulou等，2015，程等，2016，唐等，2017，邓等CNN还被用于其他应用，例如超分辨率(Haut等人，2018，Lanaras等人，2018；)、去噪(魏等，2016，Ball and Wei，2018)和去雾(蔡等，2016，秦等，2018，李等，2014)。

        近年来，许多基于细胞神经网络的端到端遥感图像去云方法被提出。Qin等人(2018)提出的方法使用CNN框架去除多光谱图像中的云。Li等人(2019a)设计了一种残差对称级联网络(RSC-Net)，以端到端的方式去除薄云。这些方法充分利用了多光谱信息来恢复云污染图像的背景信息，效果很好。

        虽然细胞神经网络已成功用于遥感图像中薄云的去除，但端到端细胞神经网络的训练通常需要成对的有云和无云图像。我们将成对的多云和无云图像定义为来自完全相同位置的图像，前者有云，后者完全无云。由于数据采集中的时间延迟，来自同一地区的成对的云和无云图像通常是不可用的，并且差异很大。因此，不需要成对图像的无监督方法是非常有吸引力的。

        生成对抗网络作为一种深度学习模型，是近年来最有前途的复杂分布无监督学习方法之一。该模型通过一个双人极大极小游戏产生虚假样本，该游戏在框架中至少包括两个模块:生成模型(G)和判别模型(D) (Goodfellow et al .，2014)。在Isola等人(2017年)的研究中，pix2pix GAN框架设计用于成对图像的图像到图像翻译。在Zhu等人，2017a，Zhu等人，2017b中提出了一种用于具有不成对图像的图像到图像翻译的方法，使用循环一致性损失来训练G和D彼此一致。视觉注意首先被注入到生成网络和判别网络中，以去除单幅图像中的雨滴(钱等，2017)。在Wu等人(2019)中，提出了一种用于高分辨率光学图像中的云检测的自注意生成对抗网络(SAGAN)。SAGAN可以使用图像级标签(云/非云)进行训练，并且不需要成对的图像。SAGAN的去云结果在小云中比在大云中好。Enomoto等人(2017)提出的方法采用条件生成对抗网络(McGANs)在近红外(NIR)波段的帮助下去除可见光波段的云。虽然McGANs在合成云图上表现很好，但在真实云图上表现不佳。已采用半监督方法Cycle-GAN将有雾图像转化为具有不成对图像的无云图像(Engin等人，2018，Singh和Komodakis，2018)。基于Cycle-GAN的方法的结果在视觉上看起来很好，但是它们包含一些用于将去雾图像转换回模糊图像的噪声。

        最近，GANs已经被用于图像恢复，这是一个常见的计算机视觉任务。受玻璃反射影响的图像可以分解为不相关的反射层和透射层，透射层和背景地面真实应具有相同的特征(张等，2018)。Lempitsky等人(2018)提出的方法基于深度图像先验(DIP)，该方法假设在从噪声生成退化图像的过程中，首先经过数百次迭代生成目标图像，然后从目标图像生成退化图像。基于上述理论，Gandelsman等人(2019)提出了包括耦合倾角(d DIP)的“双倾角”，以将模糊图像分解为不相关的无云背景和空气光层。

        本文提出了一种基于生成对抗网络和云变形物理模型的半监督薄云去除方法(CR-GAN-PM)。CR-GAN-PM的训练只需要来自不同区域的不成对的多云和无云图像。不成对的有云和无云的图像比成对的有云和无云的图像更容易获得，因为它们一定不是来自同一地点，即使它们应该具有相似的土地覆盖类型。而且不同土地覆盖类型的无云影像非常容易获得，这也是CR-GAN-PM的优势。通过将未配对的有云和无云图像作为输入，CR-GAN-PM可以学习有云和无云图像之间的特征差异。在所提出的方法中有两个主要过程:分解和重构。一方面，GAN用于将云图像转化为背景图像，生成网络用于提取云失真层。另一方面，利用重新定义的云变形物理模型，由背景和云变形层重构输入的云图像。此外，提出了两个基本原则，以更好地分解背景和云失真层。分解和重构确保背景既没有云，又与被薄云污染的输入图像相关。模型经过良好的训练后，可以去除薄云，产生输入多云图像的背景和云失真层。提出的CR-GAN-PM的主要贡献可以总结如下:

• 1.

  提出了一种新的基于GANs的云去除方法CR-GAN-PM，该方法重新定义了云畸变的物理模型，定义了云污染多光谱遥感图像分解的原理。这些原理和模型被注入到我们的方法中，以更好地恢复背景信息，并包括云的透射、反射和吸收对每个波段的影响。

• 2.

  训练和测试数据是从不同季节获得的真实的哨兵2A图像。在训练阶段，CR-GAN-PM的输入是未配对的有云和无云图像，具有相应的图像级标签(有云图像为0，无云图像为1)。因此，很容易为所提出的方法标记训练数据，并将该方法应用于其他卫星图像。

• 3.

  将CR-GAN-PM与六种基线薄云去除方法进行比较。我们还通过实验分析了输入带数和超参数值对CR-GAN-PM的影响。实验结果从视觉和定量两方面显示了CR-GAN-PM去除薄云的巨大潜力。

本文的其余部分组织如下。第2节介绍了所提出的方法。第3节介绍了实验数据和研究领域。第4节给出了实验结果，比较了CR-GAN-PM与其他方法的性能，包括讨论。第5节是结论。

章节片段

云变形的物理模型

Mitchell等人(1997年)首先开发了云变形的物理模型。卫星传感器接收到的信号由作者给出如下:sx,y=aIrx,ytx,y+I1-tx,y≤I其中x和y是像素坐标，I是太阳辐照度，rx,y和tx,y分别是地面的反射率和云的透射率，a是太阳辐照度的衰减系数。的价值观rx,y和tx,y范围从0到1。第一学期aIrx,ytx,y表示反射率下降

研究区域和2A哨兵数据

为了测试CR-GAN-PM方法的性能，在实验中使用了哥白尼哨兵-2A图像。哨兵-2A数据的详细情况见表1。Sentinel-2A是一颗高分辨率多光谱成像卫星，携带用于陆地监测的多光谱成像仪，该成像仪以高空间分辨率(10米、20米和60米)覆盖光谱中可见光、近红外和短波红外部分的13个光谱带。我们的主要想法是提出一种用于薄云的方法

实验结果和讨论

为了比较CR-GAN-PM的性能，还使用包括三种基于DL的方法和三种传统方法在内的六种其他方法进行了去云。基于DL的方法包括U-Net (Ronneberger等人，2015年)、Cloud-GAN (Singh和Komodakis，2018年)和残差对称级联网络(RSC-Net)(李等人，2019年a，李等人，2019年b，李等人，2019年c)。Cloud-GAN是一种弱监督方法，不需要成对的无云图像。RSC-Net和U-Net都是端到端的

结论

针对多光谱图像薄云去除问题，提出了一种新的半监督方法CR-GAN-PM。CR-GAN-PM模型将云失真的新颖物理模型(其考虑了云的吸收)与指导背景和云失真层的分解的两个基本原理相结合，以便重建输入图像，即恢复背景

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，这可能会影响本文中报告的工作。

感谢

这项工作得到了中国国家重点R&D项目(批准号2017YFC0506200)，部分由国家自然科学基金(批准号41501369和41871227)和由芬兰科学院-旗舰项目:芬兰人工智能中心(FCAI，格兰特号320183).作者感谢哥白尼开放存取中心的Sentinel-2数据服务。本文的数值计算是在美国的超级计算机系统上完成的