mdpi 2023
论文名称 基于表示系数全变差的多时相遥感影像快速厚云去除
摘要：尽管厚云去除是一项复杂的任务，但过去几十年中，基于张量补全的技术取得了显著进展。然而，这些技术需要大量的计算资源，并可能出现棋盘伪影。本研究提出了一种新颖的技术，通过使用表示系数全变差（RCTV），对分解数据施加全变差正则化器，以解决这一挑战性任务。所提出的方法在高速度下增强了云去除性能，同时有效保留了纹理。实验结果验证了我们方法在恢复图像纹理方面的有效性，显示出其相较于最新技术的优越性能。
关键词：厚云去除；表示系数全变差；低秩模型
1. 引言
厚云去除[1]是遥感影像中普遍存在的挑战，严重影响信息提取的质量和准确性[2,3]。虽然薄云去除可以通过图像去雾[4]、插值[5]或机器学习[6]算法来解决，但厚云则提出了更复杂的问题，使得这些算法显得不足[7]。在同一场景的不同时间戳捕获的遥感图像可能提供互补的信息，以重建被厚云遮挡的像素。因此，从多时相遥感图像中有效去除厚云是遥感图像处理领域的一项重要研究任务[8-10]。
从多时相遥感图像中消除厚云是一项艰巨的任务，近年来出现了多种方法。一个有前景的技术是将这一问题框架化为数据补全问题。在多时相厚云去除的背景下，给定具有 t 个时间戳的 h × w 像素的 c 通道图像 Y ∈ ℝ^(h×w×c×t)，Y 被视为部分观察的数据，其中被厚云遮挡的像素是缺失的。因此，索引集 Ω 收集观察到的像素的索引（即未被云覆盖的像素）。厚云去除的目标是通过填补因云造成的缺失值来估计潜在信号。
一些早期的方法（包括信息克隆[11,12]、相似像素替换[13]和时空加权回归[14]）取得了显著进展。关于缺口填补的研究，例如，多时相单极化技术、多频率和多极化技术以及重复经过干涉测量技术，也为云去除提供了有益的思路（更多详细信息请参见[15]）。最近，一种常用的方法利用了遥感影像时间序列中固有的低秩结构，这可以通过张量补全技术有效地利用。例如，Liu 等人[16,17]引入了核范数的和（SNN）用于一般的张量补全问题，后来在多时相图像厚云去除中得到了广泛应用。SNN 涉及对沿每个模式展开的原始张量获得的矩阵施加的核范数的加权和。这种方法产生了一个凸优化问题，可以使用 ADMM 算法高效求解。在许多研究中，该算法被称为高精度低秩张量补全（HaLRTC）。实验结果表明 HaLRTC 在去除厚云方面的有效性；然而，它在重建关键细节方面可能表现不佳。
紧接着SNN，张量核范数（TNN）[18-20]是典型的变体之一。与SNN不同，TNN是基于张量奇异值分解（tSVD）进行公式化的，从而为张量补全问题提供了精确恢复理论。需要注意的是，tSVD要求可逆变换，这在早期研究中通常设定为傅里叶变换或离散余弦变换。这种变换在张量补全中常常起着关键作用。最近的研究表明，紧致小波框架（即帧小波）[21,22]能够更好地突出低秩特性，推导出的框架小波TNN（FTNN）在各种视觉数据补全任务中更具前景[23]。
除了更好地建模低秩先验外，结合其他先验知识也是提高性能的另一种方法。Ji等人[24]通过在空间域中引入非局部相关性来增强HaLRTC。这是通过在大搜索窗口内搜索和分组相似的图像块实现的，从而促进构造的高阶张量的低秩性。这可能有助于重建潜在模式。大量实验表明，非局部先验能显著改善合成和真实世界时间序列数据的性能。Chen等人[25]将云去除框架化为一个鲁棒主成分分析问题，其中遥感图像的清晰时间序列表示低秩组成部分，而厚云/阴影被视为稀疏噪声。观察到厚云/阴影的空间-光谱局部平滑性，他们引入了一种空间-光谱总变差正则化器。类似地，Duan等人[26]提出了时间平滑性和稀疏性正则化的张量优化。他们利用云和云阴影像素的稀疏性来增强张量的整体稀疏性，同时使用单向总变差正则化器确保在不同方向上的平滑性。同样，Dao等人采用类似的思路将云建模为稀疏噪声，并成功应用火灾伤痕检测算法于多云图像[27]。
上述方法根植于张量核范数及其变体。一些研究人员还采用了张量分解技术来建模低秩性。经典模型包括CP分解[28,29]和Tucker分解[30]。例如，He等人[31]提出了用于时间序列遥感图像的张量环分解，利用来自不同维度的低秩特性。他们的模型结合了总变差以增强空间平滑性。Lin等人[32]在每个时间节点上将遥感图像分解为丰度张量和半正交基，对丰度张量的时间序列施加核范数。这分别在通道和时间维度上建模低秩特性。受[33]的启发，Zheng等人[34]引入了一种新颖的分解框架，称为空间-光谱-时间（SST）连接张量网络分解，有效地探索了多时相图像中的丰富SST关系。该框架本质上在每个时间节点对图像的光谱模式进行子空间表示，并引入张量网络分解以描述四阶张量的内在关系。
除了矩阵/张量补全方法，机器学习和深度学习[35,36]也是去除云层的常见方法。例如，Singh和Komodakis提出了一种云去除生成对抗网络（GAN），用于学习多云图像与无云图像之间的映射[37]。Ebel等人则遵循循环一致GAN的架构，借助合成孔径雷达图像去除光学图像中的云[38]。这些方法在训练阶段耗时较长，从而妨碍了从业者的快速探索。接下来，我们将重点讨论矩阵/张量补全方法。
对近期进展的简要回顾表明，大多数现有方法需要额外的正则化[39]或构建更复杂的分解模型[34]。这些方法不可避免地引入了相当大的计算开销，并且增加了超参数的数量。然而，尽管基于张量补全的方法能够取得良好的度量效果，但它们可能会遭遇棋盘伪影。因此，开发高效的云去除算法以保持高性能成为了一项引人入胜的挑战。
为此，本文提出了一种表示系数总变差方法（RCTVCR）用于云去除。其核心思想是将张量数据展开为矩阵格式，并通过矩阵分解获得子空间表示。在这里，表示系数有效捕捉了原始张量数据的视觉上下文。为了增强细节重建，采用了总变差来处理表示系数。该方法应用于合成数据，yielding快速处理和略优于最新方法的性能。对真实世界数据的实验结果表明，RCTVCR能够有效恢复理想的纹理。
本文的亮点可以简要总结如下：
- 本文展示了通过矩阵分解获得的表示系数具有稀疏梯度图，因此提出了一种新颖的正则化方法：表示系数总变差（RCTV）。
- 本文结合RCTV和低秩矩阵分解， formulates 了一种新颖的多时相图像模型RCTVCR。
- RCTVCR在性能改进方面比最新的方法更快。例如，RCTVCR处理512 × 512 × 3 × 7大小的图像仅需6秒，而TNN和FTNN分别需要126秒和1155秒。
本文其余部分结构如下：第二节介绍RCTVCR；第三节报告数值实验的结果；最后，第四节总结本研究的发现。代码可在https://github.com/shuangxu96/RCTVCR上访问，于2023年12月16日获取。
扫一扫
2530
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
