GRSL好论文|基于SAR-光学影像融合的高效卫星影像云去除网络

论文标题

Duan C, Belgiu M, Stein A. Efficient Cloud Removal Network for Satellite Images Using SAR-optical Image Fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2024.

遥感分析对于获取地球表面的洞察至关重要。特别是光学图像在城市规划与发展、农业和林业等多种应用中非常有效。然而，这些图像不可避免地会被云层遮挡。例如，根据对中等分辨率成像光谱仪（MODIS）观察的12年研究，全球约67%的表面被云层污染。云层覆盖给准确测量表面反射率带来了挑战，从而妨碍了后续的图像分析和处理。

最近，提出了更先进的方法，如基于物理模型和基于局部-全局上下文的深度学习网络，用于去除薄云。对于厚云，由于其不透明性，厚云去除方法需要辅助信息来恢复被云覆盖的区域。根据用于指导重建的辅助信息，这些方法可以分为四类：基于空间信息的方法、基于时间信息的方法、混合方法和基于合成孔径雷达（SAR）的方法。

基于空间信息的方法使用同一图像中清晰区域的信息来重建被云覆盖的信息。这些方法在处理大面积云覆盖时面临挑战，特别是在具有独特特征的区域，因为在这种情况下，清晰区域提供的有用纹理信息很少。基于时间信息的方法使用来自不同获取时间的辅助图像中的对应区域来恢复被云覆盖的区域。虽然这些方法可以产生足够的重建结果，但图像之间的显著时间差距可能导致由于土地覆盖变化而产生不太合适的结果。混合方法在空间-光谱-时间域中整合至少两种类型的信息，例如基于空间-时间信息的地统计方法、基于光谱-时间信息的低秩方法和基于空间-光谱-时间信息的深度学习方法。混合方法可以充分利用光学图像中来自多个来源的信息以增强结果。然而，由于无法获得足够和可靠的输入信息，它们无法产生有效的结果。例如，时间光学图像可能提供不必要的信息，因为它们是在与多云图像不同的获取时间获得的。此外，从光谱域获取信息可能会面临挑战，因为厚云通常会污染多云图像的所有波段。

FPNet的整体架构如图1所示。设计的端到端云去除网络由两个自下而上的路径组成，即图1中的第一列和第三列，以及一个带有水平连接的自上而下的路径，即图1中的第二列。两个自下而上的路径分别以多云光学图像和辅助SAR图像作为输入，以获得不同尺度的特征图。自上而下的路径生成更高分辨率的特征。同时，水平连接和融合块将这些特征与来自两个自下而上的路径的特征链接和合并。FPNet使用文献[15]中提出的损失函数，以最小化云覆盖区域中生成图像与原始多云图像之间的差异。

1. 自下而上的路径：设计的网络包含两个自下而上的路径，分别处理SAR和光学图像。自下而上的路径的主干是ResNet-18 [17]，用于高效和快速的处理能力。在此基础上，自下而上的路径选择2作为多尺度下采样的比例，并生成包含多个空间分辨率特征图的特征层次结构。具体而言，特征图的空间大小在图1中标示（即64、32、16和8）。特征图的底层具有更高的分辨率和低级语义，而特征图的上层则具有较低的分辨率和高级语义。

2. 自上而下的路径和水平连接：FPNet中的自上而下路径涉及通过插值低分辨率特征图生成更高分辨率的特征图。低分辨率特征通常包含比高分辨率特征更多的语义信息。通过从低分辨率特征生成细分辨率特征，并将其与高分辨率特征合并，自上而下的路径可以处理和合并不同层次的特征。在图2中，水平连接可以链接自上而下和自下而上的特征，而设计的融合块则融合来自两个路径和模态的特征。

3. 融合模块：图1中标示为F1、F2、F3和F4的融合块在网络内部合并信息。图2以F1为例，演示FPNet中融合块的工作原理。首先，从自下而上的路径生成的最低分辨率特征图被连接在一起，以协同方式处理来自SAR和光学图像的信息。其次，连接后的特征图被上采样至其分辨率的两倍，以准备进行下一个水平连接的处理。同时，来自金字塔层次结构较低层次的特征（由E3表示）也被连接在一起。连接后的E4随后与融合后的E3进行卷积和连接，以合并和共同处理特征。在此步骤中获得的特征随后被卷积两次，并连接到下一个水平连接。该块具有融合特征的能力，因为它处理来自自下而上的路径和金字塔层次结构不同层次的特征。FPNet以有云的光学图像和SAR图像作为输入，同时输出无云的光学图像。

交流合作

geeAI前沿哨是一群具有摄影测量与遥感和计算机等专业背景的高校博士生（含在读和已毕业）创办的用于分享科学前沿动态、专注智能计算和数据的平台。该平台主要结合Google Earth Engine（GEE）云平台和人工智能（AI）技术，实现对地理空间数据的高效处理和智能分析。截止目前，已经有几千人报名参加本平台的学习课程等，其中报名的会员人数已经超过400+，协助学员发表SCI一区/二区高级别论文20篇以上。

此外，geeAI前沿哨创建了多个学习交流群，交流群成员来自各地高校和研究所，涵盖本科、硕士、博士和老师群体，可以在交流群交流讨论、积极碰撞、找到共同研究兴趣的“科研搭子”以及下载各种学术论文等。

想加入交流群的同学可加小编微信让其邀请进群（扫描下方二维码咨询报名或菜单栏“联系我们”选项框都可以找到小编哟）。注意，咨询加群验证信息请备注为“学位-研究方向-学校-加群”格式，否则不予通过。例如，假如你是武汉大学土地利用分类方向的博士研究生，则可以备注“博士-LULC-武大-加群”；假如你是北京大学生态学方向的硕士研究生，则可以备注“硕士-生态学-北大-加群”。

如果有帮助，点赞或者关注一下呗