Cloud-EGAN: Rethinking CycleGAN From aFeature Enhancement Perspective for Cloud Removal 论文翻译

IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING

论文名称 Cloud- egan:从特征增强的角度重新思考CycleGAN，通过结合CNN和Transformer来去除云

摘要——云层覆盖给遥感图像的地球科学研究带来了重大挑战，其中厚云层会完全阻挡信息，导致信息丢失，而薄云层则会模糊地面物体。近年来，基于卷积神经网络（CNN）的深度学习（DL）方法已被引入云移除任务。然而，它们在上下文信息提取和聚合方面的能力较弱，限制了其性能。不幸的是，这种能力在表征具有复杂地面物体的遥感图像时起着至关重要的作用。在本文中，我们从特征增强的角度对传统的循环一致生成对抗网络（CycleGAN）进行了改进。更具体地说，首先设计了一个显著性增强（SE）模块，以替换CycleGAN中的原始CNN模块，重新校准通道注意力权重，以捕获多级特征图的详细信息。此外，还开发了一个高级特征增强（HFE）模块，以生成无云的上下文特征，同时抑制云层成分。特别是，HFE由基于CNN和基于Transformer的模块组成。前者通过采用残差学习和多尺度策略来增强局部高级特征，而后者则利用Swin Transformer模块捕获长距离上下文依赖关系，以从全局角度利用高级信息。利用SE和HFE模块，我们提出了一种有效的云增强生成对抗网络（Cloud-EGAN），以完成薄云和厚云的移除任务。在RICE和WHUS2-CR数据集上进行的大量实验证实了Cloud-EGAN的出色性能。

索引词——云移除、循环一致生成对抗网络（CycleGAN）、特征增强、遥感图像、Transformer。

稿件接收日期：2023年4月4日；修订日期：2023年5月10日；接受日期：2023年5月23日。发布日期：2023年6月2日；当前版本日期：2023年6月8日。本工作部分得到中国国家重点研发计划（项目编号：2018YFB1800800）的支持，部分得到深圳-香港科技合作区贺涛基础研究项目（项目编号：HZQB-KCZYZ-2021067）和深圳市杰出人才培养基金（项目编号：202002）的支持，部分得到广东省研究项目（项目编号：2017ZT07X152和2019CX01X104）的支持，部分得到广东省未来网络智能重点实验室（项目编号：2022B1212010001）的支持，部分得到中国国家自然科学基金（项目编号：41801323）的支持，以及部分得到中国国家重点研发计划（项目编号：2020YFA0714003）的支持。（马先平和黄一鸣对本文的贡献同等重要。）（通讯作者：张晓康；陈本明。）

马先平和黄一鸣来自中国香港中文大学深圳校区科学与工程学院，中国深圳518172（电子邮件：xianpingma@link.cuhk.edu.cn；222012014@link.cuhk.edu.cn；simonpun@cuhk.edu.cn）。

张晓康来自武汉科技大学信息科学与工程学院，中国武汉430081（电子邮件：natezhangxk@gmail.com）。

黄波来自香港大学地理系，中国香港特别行政区999077（电子邮件：bohuang@cuhk.edu.hk）。

数字对象标识符：10.1109/JSTARS.2023.3280947

一、引言

        地球观测技术促进了遥感图像的获取。这些图像已成功用于许多关键应用中的地表信息提取，包括目标检测[1]、[2]、[3]、场景分类[4]、[5]、[6]和语义分割[7]、[8]、[9]、[10]。然而，这类光学卫星图像不可避免地会受到大气和光照条件的影响，从而导致图像质量下降。特别是，遥感图像常常受到云层污染的影响，这大大降低了卫星传感器获得的信号质量。具体来说，云层会严重降低图像的可见度和饱和度，从而阻碍后续的图像应用[11]。虽然薄云覆盖区域仍表现出有限的地面特征，但厚云下的上下文信息则完全丢失。与自然数字图像相比，遥感图像包含更复杂的空间结构和更丰富的光谱信息，用于地表物体表征，这使得云移除任务更具挑战性。因此，迫切需要开发高效的信号处理算法，以从受云层扭曲的遥感图像中准确恢复真实的地表信息。在文献中，现有的云移除方法可以分为两类，即基于手工特征的传统方法和基于深度学习（DL）的方法[12]、[13]、[14]、[15]、[16]、[17]、[18]。

        传统方法，如多时相字典学习（MDL）[19]、使用同态滤波的薄云移除（TCHF）[20]以及基于信号传输原理和光谱混合分析（ST-SMA）[21]的方法，需要手工特征来估计云分布。特别是，MDL在光谱域中分别学习云覆盖区域和无云区域的字典，而TCHF则在频域中使用经典的同态滤波器。此外，ST-SMA是基于信号传输和光谱混合分析开发的。尽管这些方法具有许多优点，但它们主要是为薄云移除而设计的，而忽略了厚云场景。此外，它们的可行性和性能通常受到不规则云分布和手工特征选择的限制。

        随着深度学习（DL）技术的快速发展，基于DL的云移除方法因其从遥感图像中挖掘代表性特征的优越性能而吸引了大量研究关注[22]。文献中大多数现有的基于DL的云移除方法都是利用遥感图像的抽象和概念表示建立在卷积神经网络（CNN）之上的。一般来说，用于云移除的基于DL的网络可以分为两类，即纯编码器-解码器方法[11]、[23]、[24]和基于生成对抗网络（GAN）的方法[12]、[25]、[26]、[27]、[28]、[29]、[30]。对于纯编码器-解码器网络，多尺度特征CNN[23]探索了多尺度高级特征，以同时检测薄云、厚云和无云像素，而残差学习和通道注意力机制[11]则将残差连接与通道注意力机制相结合，以捕获不同卷积层中的细节。此外，条件变分自编码器（CVAE）[24]应用了一个具有CVAE的概率图模型，根据图像退化过程恢复无云图像。上述编码器-解码器模型利用编码器从遥感图像中提取丰富的特征，而解码器则用于在恢复无云图像的详细信息之前解释抽象信息。然而，这些方法受到CNN特征表示能力较弱的限制。因此，需要额外的努力来增强CNN的特征表示能力，以生成高质量的无云图像。

        与编码器-解码器方法类似，基于GAN的模型也由两部分组成，即生成器和判别器[31]。由于其出色的建模输入和输出数据之间关系的能力，GAN在计算机视觉领域获得了巨大的人气。对于云移除任务，条件GAN（cGAN）[25]采用了基于UNet的简单结构作为生成器，而PatchGAN[32]则作为判别器。此外，还设计了一个使用结构相似性（SSIM）损失的混合损失函数[33]，以提高生成图像与真实图像之间的SSIM。最近，提出了空间注意力GAN（SpAGAN）[27]，通过在生成器中集成局部到全局的空间注意力来移除云层，而MSDA-CR[29]则提出了一种基于云畸变感知表示学习的网格网络，以模拟云反射和传输的影响。此外，AMGAN-CR[30]通过注意力递归网络生成注意力图，并利用注意力残差网络根据注意力图移除云层。这些方法通过增强编码器或损失函数设计ÿ