RSE2020/云检测：基于弱监督深度学习的高分辨率遥感图像精确云检测

论文下载

0.摘要

云覆盖是一种常见且不可避免的现象，经常阻碍光学遥感图像数据的可用性，并进一步干扰基于遥感图像解释的连续制图。在文献中，现成的云检测方法要么需要各种手工制作的功能，要么利用深度网络的数据驱动功能。总的来说，深度网络比使用手工制作的功能的传统方法实现了更好的性能。然而，当前用于云检测的深度网络依赖于大量像素级注释标签，这需要大量的手动注释劳动。为了减少注释像素级标签所需的工作量，本文提出了一种基于弱监督深度学习的云检测方法，该方法使用块级标签，仅指示一个遥感图像块中是否存在云。在训练阶段，提出了一种新的全局卷积池（GCP）操作，以增强特征映射表示有用信息（例如空间方差）的能力。在测试阶段，通过局部池修剪（LPP）策略修改经过训练的深度网络以生成云激活图（CAM），该策略修剪在训练阶段训练的深度网络的局部池层，以提高CAM的质量（例如，空间分辨率）。通过滑动窗口将一幅较大的遥感图像裁剪成多个重叠块，然后通过修改的深度网络生成每个块的CAM。基于图像块和CAM之间的对应关系，收集多个对应的CAM来拼接大图像的CAM。通过使用统计阈值对晴空表面分割CAM，可以获得测试图像的像素级云掩码。为了验证我们提出的WDCD方法的有效性，我们收集了一个新的全局数据集，其中训练数据集包含来自世界各地622幅大型高分1号图像的200000多个具有块级标签的遥感图像块；验证数据集包含5幅带有像素级注释标签的大高分1号图像，测试数据集包含25幅带有像素级注释标签的大高分1号和紫苑3号图像。即使在极弱的监督下，我们提出的WDCD方法也可以实现出色的云检测性能，总体准确率（OA）高达96.66%。大量实验表明，我们提出的WDCD方法明显优于最先进的方法。

1.概述

随着遥感技术的快速发展，遥感图像在各种应用中得到了广泛的应用。与主动观测技术（如合成孔径雷达）相比，光学遥感图像具有显著的优势，包括价格低廉和清晰记录有关观测对象的详细信息。
然而，由于云层覆盖，光学遥感图像经常退化。根据MODIS云掩模，全球云分数约为67%（King等人，2013年）。通常，光学遥感图像中的云检测有两个主要应用要求，包括在线和离线模式。第一个在线需求来自车载通信处理器模块（Shan等人，2009；Tan等人，2016）。为了节省网络带宽和存储空间，车载处理器需要快速检测遥感图像中的云量，并根据云量覆盖率选择性地传输新的遥感图像。第二个离线需求来自地面系统（Schmitt等人，2019；Xu等人，2019；Zhang等人，2019）。作为生成无云宽范围遥感图像的预处理步骤，云检测和去除可以为连续制图和动态监测提供数据支持。在各种应用的驱动下，遥感图像中的云检测引起了广泛的研究兴趣。虽然已经提出了许多方法，但现成的云检测方法往往性能有限，通用性较弱。因此，遥感图像中的云检测仍然面临挑战，值得投入大量精力研究这一课题
到目前为止，许多云检测方法主要针对低分辨率遥感图像（如MODIS（Ishida等，2018））和中分辨率遥感图像（如Landsat（朱等，2015；柴等，2019；邱等，2017；邱等，2019））。图像通常由许多光谱带组成，这些光谱带有利于提高云检测精度（Huang等人，2010）。由于发射的高分辨率遥感卫星数量不断增加，具有四个光谱带的多光谱遥感图像变得越来越普遍。与低分辨率和中分辨率遥感图像相比，高分辨率遥感多光谱图像具有更高的空间分辨率，但谱带更少。如（Li等人，2017）所述，有限的光谱信息增加了云和下垫面之间的模糊性和混淆性，这使得在只有四个光谱带的高分辨率遥感图像中进行云检测更加困难。因此，开发高分辨率遥感图像的云检测技术变得非常迫切。
近年来，人们提出了各种基于手工特征或深度学习的云检测方法。
基于深度学习的云检测方法明显优于基于手工特征的方法（Francis等人，2019），但其卓越性能在很大程度上取决于大规模像素级云掩码。考虑到不同类型的卫星图像在频谱和空间分辨率方面往往存在较大差异，基于深度学习的云检测方法需要为每种卫星图像提供相应的像素级注释数据集，这需要大量的手动注释工作。从这个角度来看，探索先进的基于深度学习的云检测方法以节省注释劳动具有重要意义。
众所周知，场景级/块级标签比图像的像素级注释更容易收集。借助全局池操作，例如全局平均池（GAP），计算机视觉界的研究人员（Zhou等人，2014；Zhou等人，2016a；Zhou等人，2018）表明，仅使用场景级/块级标签训练的深度网络可以提供对象位置的信息，甚至可以用于语义分割。然而，由于使用局部池层和全局池操作的固有缺陷（Li等人，2018a），现有方法缺乏获取对象详细信息的能力，这对于云检测任务中准确检测云边界非常重要。一般来说，弱监督深度学习的潜力尚未完全用于云检测，值得进一步探索。
在本文中，我们仅利用块级监控来训练用于像素级云检测的深度网络。考虑到云的准确检测需要更多有用信息，我们在训练阶段提出了一种新的全局池操作，称为全局卷积池（GCP），该操作学习与信道无关的卷积权重，以增强特征图表示有用信息（例如空间方差）的能力。此外，我们提出了一种新的局部池剪枝（LPP）策略，用于生成云激活图（CAM）期间的测试阶段，该图用于生成最终的云掩码。通过修剪训练后的深度网络中的局部池层，提高了CAM的质量（例如空间分辨率），深度网络的分类性能保持稳定。然后&#x