Fast Thick Cloud Removal for Multi-Temporal Remote Sensing Imagery via Representation Coefficien论文翻译

基于表征系数全变差的多时相遥感影像快速厚云去除

摘要： 尽管厚云去除是一项复杂的任务，但过去几十年见证了基于张量补全技术的显著发展。然而，这些技术通常需要大量的计算资源，并可能出现棋盘效应。本文提出了一种新颖的技术，通过使用表示系数全变差（RCTV），在分解数据上施加全变差正则化，以解决这一具有挑战性的任务。所提方法在高速度下增强了云去除性能，同时有效保留了纹理。实验结果证实了我们方法在恢复图像纹理方面的效率，显示出其优于最先进技术的表现。

关键词： 厚云去除；表示系数全变差；低秩模型

1. 引言

        厚云去除 [1] 是遥感图像中普遍面临的挑战，严重影响信息提取的质量和准确性 [2,3]。虽然薄云去除可以通过图像去雾 [4]、插值 [5] 或机器学习 [6] 算法来解决，但厚云则带来了更复杂的问题，使这些算法显得不足 [7]。在同一场景下，不同时刻拍摄的遥感图像可能提供互补信息，用于重建被厚云遮挡的像素。因此，从多时相遥感图像中有效去除厚云是遥感图像处理中的一个重要研究课题 [8–10]。

        从多时相遥感图像中去除厚云是一项艰巨的任务，近年来有多种方法应运而生。一种有前景的技术是将此问题框定为数据补全问题。在多时相厚云去除的背景下，给定 h × w 像素的 c 通道图像 Y ∈ R^(h×w×c×t)，该图像是在 t 个时间戳下捕获的，Y 被视为部分观察数据，其中被厚云遮挡的像素为缺失值。因此，索引集 Ω 收集了已观察到的像素的索引（即未被云覆盖的像素）。厚云去除的目标是通过填补因云造成的缺失值来估计潜在信号。

        一些早期方法（包括信息克隆 [11,12]、相似像素替换 [13] 和时空加权回归 [14]）已取得显著进展。关于缺口填充的研究，例如，多时相单极化技术、多频率和多极化技术以及重复观测干涉技术，也为云去除提供了有益的思路（更多详细信息请参考 [15]）。最近，一种流行的方法利用了遥感影像时间序列中固有的低秩结构，这可以通过张量补全技术有效利用。例如，Liu 等人 [16,17] 为一般张量补全问题引入了核范数和 (SNN) 的和，该方法随后在多时相图像的厚云去除中得到了广泛应用。SNN 涉及计算施加在通过沿每个模式展开原始张量获得的矩阵上的核范数的加权和。这种方法产生一个凸优化问题，可以使用交替方向乘子法（ADMM）有效求解。在许多研究中，该算法被称为高精度低秩张量补全（HaLRTC）。实验结果表明，HaLRTC 在去除厚云方面的有效性；然而，它在重建关键细节方面可能表现不佳。

        紧接着 SNN，张量核范数 (TNN) [18–20] 是典型的变体之一。与 SNN 不同，TNN 是基于张量奇异值分解 (tSVD) 进行公式化的，从而为张量补全问题提供了准确的恢复理论。需要注意的是，tSVD 需要一个可逆变换，这在早期研究中通常设置为傅里叶变换或离散余弦变换。这种变换在张量补全中通常发挥着至关重要的作用。最近的研究表明，一个紧致的 wavelet 框架（即 framelet） [21,22] 能更好地突出低秩特性，而推导出的 framelet TNN (FTNN) 在各种视觉数据补全任务中更具前景 [23]。

        除了更好地建模低秩先验外，结合其他先验知识也是提升性能的另一种途径。Ji 等人 [24] 试图通过引入空间域中的非局部关联来增强 HaLRTC。这是通过在一个大的搜索窗口内搜索并分组相似的图像块来实现的，从而促进构建的高阶张量的低秩性。这可能有助于重建潜在模式。大量实验表明，非局部先验会显著提高合成和真实时间序列数据上的性能。Chen 等人 [25] 将云去除框定为一个鲁棒主成分分析问题，其中遥感图像的干净时间序列代表低秩成分，而厚云/阴影被视为稀疏噪声。在观察到厚云/阴影的空间-光谱局部平滑性后，他们引入了空间-光谱总变差正则化器。同样，Duan 等人 [26] 提出了时间平滑和稀疏正则化的张量优化。他们利用云和云阴影像素的稀疏性来增强张量的整体稀疏性，同时使用单向总变差正则化器确保不同方向上的平滑性。类似地，Dao 等人使用类似的思路将云建模为稀疏噪声，并成功将烧伤斑检测算法应用于多云图像中 [27]。

        上述方法都是基于张量核范数及其变体。一些研究者还采用张量分解技术来建模低秩性。经典模型包括 CP 分解 [28,29] 和 Tucker 分解 [30]。例如，He 等人 [31] 提出了用于时间序列遥感图像的张量环分解，利用来自多个维度的低秩特性。他们的模型结合了总变差以增强空间平滑性。Lin 等人 [32] 将每个时间节点的遥感图像分解为丰度张量和半正交基，在丰度张量的时间序列上施加核范数。这分别在通道和时间维度上对低秩特性进行建模。受到 [33] 的启发，Zheng 等人 [34] 引入了一种新的分解框架，称为空间-光谱-时间 (SST) 连接张量网络分解，有效探索多时相图像中的丰富 SST 关系。该框架本质上在每个时间节点的光谱模式上执行子空间表示，并引入张量网络分解来表征四阶张量的固有关系。

        除了矩阵/张量补全方法外，机器学习和深度学习 [35,36] 也是去云的典型方法。例如，Singh 和 Komodakis 提出了一个云去除生成对抗网络 (GAN)，以学习多云图像与无云图像之间的映射 [37]。Ebel 等人遵循循环一致 GAN 的架构，通过合成孔径雷达图像去除光学图像中的云 [38]。这些方法在训练阶段耗时较长，因而阻碍了从业者的快速探索。接下来，我们将重点讨论矩阵/张量补全方法。

        对近期进展的简要回顾表明，现有大多数方法需要额外的正则化 [39] 或构建更复杂的分解模型 [34]。这些方法不可避免地引入了相当大的计算开销，并增加了超参数的数量。然而，尽管基于张量补全的方法能够达到良好的度量，但观察到它们可能会出现棋盘状伪影。因此，开发高效的云去除算法以保持高性能成为一个引人注目的挑战。

        为此，本文提出了一种用于云去除的表示系数全变差方法（RCTVCR）。其核心概念是将张量数据展开为矩阵格式，并进行矩阵分解以获得子空间表示。在这里，表示系数有效捕捉原始张量数据的视觉上下文。为了增强细节重建，采用全变差用于表示系数。该方法应用于合成数据，提供了快速处理并相比于最先进的方法略有优越的性能。对真实世界数据的实验结果表明，RCTVCR 能够有效恢复期望的纹理。

本文的亮点可以简要总结如下：

1. 本文证明通过矩阵分解获得的代表系数具有稀疏梯度图，因此提出了一种新颖的正则化——表示系数全变差 (RCTV)。
2. 本文通过结合 RCTV 和低秩矩阵分解，针对多时相图像提出了新模型 RCTVCR。
3. RCTVCR 在性能提高的情况下比最先进的方法更快。例如，RCTVCR 处理大小为 512 × 512 × 3 × 7 的图像仅需 6 秒，而 TNN 和 FTNN 分别需要 126 秒和 1155 秒。

        本文其余部分结构如下：第二部分介绍 RCTVCR；第三部分报告数值实验的结果；最后，第四部分总结本研究的发现。代码可在 GitHub - shuangxu96/RCTVCR 获取，访问日期为2023年12月16日。