云检测2020：用于高分辨率遥感图像中云检测的自注意力生成对抗网络Self-Attentive Generative Adversarial Network for Cloud Detection

0.摘要

云检测是遥感图像处理中的一个重要步骤。大多数基于卷积神经网络（CNN）的云检测方法都需要像素级的标签，这些标签耗时且注释成本高。为了克服这一挑战，本文提出了一种新的半监督云检测算法，通过训练自注意力生成对抗网络（SAGAN）来提取云图像和无云图像之间的特征差异。我们的主要想法是将视觉注意力引入到生成“真实”无云图像的过程中。SAGAN的训练基于三个指导原则：扩展云区域的注意力地图，用翻译后的无云图像替换；减少注意力地图，使其与云边界重合；优化自注意力网络，以处理极端情况。SAGAN训练的输入是图像和图像级标签，与现有的基于CNN的方法相比，它们更容易、更便宜、更节省时间。为了测试SAGAN的性能，对Sentinel-2A 1C级图像数据进行了实验。结果表明，该方法只需要训练样本的图像级标签，就可以获得很好的结果。

1.概述

随着卫星技术的快速发展，人们近实时、大批量地获取遥感图像。然而，全球年平均云量约为66%[1]。这会模糊地表特征，从而降低应用光学图像的可用性[2]。云的亮度范围从可见光到近红外波段，这导致许多明亮的地表，例如裸露的土地、裸露的岩石和混凝土表面，很容易与云混淆。薄云部分包含陆地表面的光谱特征，难以与清晰物体分离[3]
近年来，深度学习已被应用于分类、目标检测和图像分割。许多基于DL的遥感图像云检测方法已经被提出。Mateo等人[4]设计了一种基于卷积神经网络（CNN）的简单架构，用于检测Proba-V多光谱图像中的云。Le Goff等人[5] 提出了一种用于SPOT6中云检测的端到端卷积网络。詹等[6]设计了一个CNN网络来区分遥感图像中的云和雪。张等人[7]采用U-Net在小卫星上进行星载云检测。谢等人[8]提出了一种基于DL的多级云检测方法。李等人[9]针对不同传感器的中高分辨率遥感图像，提出了一种基于DL的云检测方法。
虽然以前基于DL的方法已成功用于遥感图像中的云检测，但CNN的训练通常需要人类注释的像素级标签，这既耗时又昂贵。因此，无监督特征提取更具吸引力。最近，一种生成对抗网络（GAN）被提出作为一种无监督DL模型。该模型通过生成模型（G）和判别模型（D）[10]之间的两人极小极大博弈生成假样本。GAN已用于图像生成[11]和翻译[12]、[13]。由于其有效性，GAN是复杂分布无监督学习最有前途的方法之一。
近年来，越来越多的研究者将注意力机制添加到动态学习中。视觉注意机制是人类视觉大脑信号处理的独特机制。通过快速扫描全局图像，人类视觉注意力将集中在目标区域，通常称为注意力焦点。为了获得更多的信息，人类视觉会更加关注目标的细节，而忽略其他无用的信息。
本文提出了一种新的基于GAN的自注意力云检测方法，其中GAN架构用于检测云区域。受朱等人13] 和钱等人[14]启发，我们提出了一种云检测方法，该方法使用具有相应图像级别标签的未配对遥感图像（0表示云图像，1表示无云图像）。主要贡献如下。
1） 我们提出了一种新的云检测方法-自注意力GAN（SAGAN），具有图像和图像级标签，其注释时间小于像素级标签的1%。据我们所知，这是该框架首次用于云检测。
2） 我们在方法中引入了注意力机制。我们方法中的注意力网络用于提取云的特征并生成云掩码。我们提出的方法中训练良好的注意力网络能够自动检测云区域。

2.方法

2.1.拟议方法的框架

GAN算法最初用于生成虚假数据。它由两个网络组成：生成网络（G）和判别网络（d），它们在极小极大博弈中相互竞争[10]。G尝试生成“真实”样本，D尝试区分真实和生成的样本。其公式如下：