[CR]厚云填补_基于相似像素的渐进式缺口填补方法PGFCTS

IAz-

已于 2024-07-27 15:27:00 修改

阅读量521

点赞数 14

分类专栏：厚云填补文章标签：人工智能

于 2024-06-20 17:36:16 首次发布

本文链接：https://blog.csdn.net/iazzz/article/details/139834652

版权

厚云填补专栏收录该内容

14 篇文章 0 订阅

订阅专栏

Progressive gap-filling in optical remote sensing imagery through a cascade of temporal and spatial reconstruction models--Remote Sensing of Environment--2024.06.01

Abstract

在光学遥感图像的预处理中，由于云层较厚或传感器发生故障而产生的空白填充一直是一个重大的挑战。相似像元的概念来源于遥感场景的时空相似性，被广泛接受和应用，导致各种空白填充模型的发展。然而，在具有时空异质性表面和广泛缺失区域的复杂场景中，现有模型通常会产生明显的噪声样伪影、扭曲的光谱特征和不可靠的空间纹理。为了应对这一挑战，提出了一种简单而有效的基于相似像素的方法，称为通过级联时空框架的渐进间隙填充方法。从空间距离与相似像素的鲁棒性之间的负相关中获得灵感，我们采用渐进式间隙填充方案来确保相似像素在空间上接近目标像素。这大大提高了相似像素的有效性，提高了重建模型的精度。此外，与传统的并行整合时空信息的方法不同，我们的方法以级联的方式整合这两个来源。首先使用时间模型获得具有精细纹理细节的初步结果，然后使用空间模型提高光谱保真度。通过对两种空白填充任务的测试以及与7种经典方法的比较，结果表明PGFCTS能有效地消除类噪声伪影，忠实地还原光谱特征，准确再现空间细节。定量评估表明，PGFCTS始终优于其他方法，获得了最好的分数。重要的是，我们的方法在目标图像和参考图像之间延长的时间间隔方面保持了优势。综上所述，PGFCTS作为一种有效的解决方案，填补了缺失的间隙，再现了表面信息，从而提高了光学图像的可用性。

1 Introduction

基于卫星的光学图像在全球气候检测和资源管理中发挥着关键作用。然而，由于云层覆盖和传感器故障导致的间隙经常阻碍数据的可用性。厚厚的云层阻挡了从地球到目标传感器的电磁波传输，组织了在图像中记录陆地表面信息。研究估计，基于12年的连续卫星观测，大约67%的地球表面被云覆盖。另一项调查显示，全球范围内，Landsat-7捕获的陆地场景中约有35%受到云污染的影响。此外，传感器故障可能导致观测中的死像素。尽管Landsat-7已经退役，但其17年的历史档案仍然是各种应用的宝贵资源。因此，处理由厚云层和传感器故障引起的间隙已成为遥感图像分析中必不可少的预处理步骤。

卫星图像中缺失像素的重建需要可靠的先验信息来识别受到影响地区的土地覆盖、几何形状和光谱特征。研究人员已经探索了利用来自不同来源的数据，包括其他来源的光学卫星、SAR卫星、甚至模型模拟图像。然而，观测机制或空间分辨率的差异等挑战可能会限制这些方法的实际适用性。一个重要的方法是利用同一颗卫星的数据来填补空白。来自同一颗卫星的信息可以大致分为基于空间和基于时间的来源。

图1表示了(a)遥感场景的空间和(b)时间相似性信息说明。

地理学第一定律（Tobler’s First Law of Geography）Everything is related to everything else, but near things are more related to each other. （任何事物都是与其他事物相关的，只不过相近的事物关联更紧密）

Tobler地理第一定律强调了遥感场景中地物之间的强相关性。利用空间相似性，已知区域可以帮助重建缺失区域。此外，由于遥感器会定期重访相同的地理区域，获得的图像在时间上接近目标图像，为像素恢复提供了有价值的见解，时间相似性为重建提供了独特的优势。综上所述，通过对这两种信息来源的探索，可以将空白填补方法分为：

基于空间
基于时间
基于混合

基于空间的方法

基于空间的方法假设缺失区域具有与邻近已知区域相似的统计分布或几何结构。早期的方法如空间插值和基于Kriging的地质统计插值(Kriging-Based Geostatistical Interpolation)得到了普及。USGS的Gapfill插件，专为填补ETM+ SLC-off图像中的空白而设计，采用了类似的重建策略。先进的技术，如传播扩散模型和基于变化的模型也被引入。如Cheng等人通过对相似patch offset的统计分析，通过最小化Markov随机场能量函数来估计图像的最优空间格局。Zeng等人提出了一种结合数据保真度项和正则化项的非参考拉普拉斯先验正则化方法(Laplacian Prior Reguarization Method，LPRM)。Cheng等人开发了一种参考引导的基于空间的算法，利用参考图像通过时空马尔可夫随机场模型定位相似像素，然后用目标图像中已知的相似像素填充空白。近年来，基于单幅图像的空白填充通过深度学习探索了新的途径。通常，基于空间的算法一般可以生成无间隙的图像，但其性能受到图像缺失区域的程度和空间异质性的显著影响。

基于时序的方法

为了恢复目标图像中的间隙，基于时间的方法利用时间接近的无间隙图像作为参考。然而，由于大气条件、太阳对传感器几何形状和土地覆盖变化导致的多时相图像之间的差异，需要构建时间模型来描述多时相转换。有些研究为此目的采用了线性模型。例如，线性矩匹配利用已知像素的统计度量来推导线性系数。识别同类像素的相似性，加权线性回归(Weighted Linear Regression，WLR)和空间光谱径向基函数(Spatial-Spectral Radial Basis Function，SSRBF)等算法识别相似像素，从而与空间和光谱权重建立更稳健的线性关系。最近，词典学习和深度学习技术在探索多时相非线性关系方面获得了广泛的应用。除了使用单个无间隙图像作为参考外，最近的研究还探索了使用多时相时间序列图像作为参考。例如，在AutoRegression to Remove Clouds (ARRC)模型和Virtual Image-based Cloud Removal (VICR)模型中使用多元线性回归来估计跨时间变换。综上所述，由于时间接近的参考图像提供了有关土地覆盖类型、形状和光谱的信息，因此与仅依赖单个图像的空间信息相比，基于时序的方法可以获得更好的空白填充性能。

基于混合的方法

基于混合的方法旨在结合空间和时间信息源的优势，以实现鲁棒恢复。相邻相似像素插值(Neighboring Similar Pixel Interpolation，NSPI)作为经典代表，其增强版本已被广泛用于缺失信息重建任务。NSPI最初是为ETM+ SLC-off图像的空白填充而设计的。它通过两个模型估计时空预测，并根据它们的相对重要性进行组合，从而得到最终的恢复。修正邻近相似像素插值(Modified Neighboring Similar Pixel Interpolation，MNSPI)后来通过适应NSPI开发用于厚云去除。类似的，研究人员采用了一种可比较的重建策略，该策略集成了空间和时间预测，用于去除时间序列图像中的厚云。随机森林以其在非线性建模中的有效性而闻名，也被用于该方向。总体而言，通过同时利用空间和时间信息源，与其他方法相比，基于混合的方法在各种场景中表现出更强的稳健性。

相似像素

相似像素，也称为同类像素，由于其相似的光谱特征和时间轮廓，为精确恢复目标图像中的缺失像素提供了精确的指导。基于相似像素的空间和/或时间相似性的传统方法，如NSPI 、WLR 和VICR ，已经获得了显著的好评和广泛的应用。基于相似像素的方法假设在多时间图像中土地覆盖类型是一致的，其中在参考图像中识别出的相似像素被认为适用于目标图像。虽然这一假设在简单情况下成立，但在复杂情况下，特别是在具有高度空间异质性、时间动态和大面积缺失区域的情况下，其有效性会降低。Tobler地理第一定律表明，地形特征之间的相似性与空间距离有关，距离越远，地形特征越有可能表现出差异。现有的经典模型严格地从缺失间隙以外的区域选择相似的像素，这对于缺失区域较大的情况存在问题。例如，从长距离的参考图像中识别出的相似像素对于目标图像可能不那么相似。对相似像素的错误识别会导致后续空间或时间模型的显著误差，从而导致现有方法恢复结果中的类噪声伪影和光谱失真。

为了克服这些限制，本文引入了一种新的算法，称为通过级联时空框架(Progressive Gap-Filling through the Cascading Temporal and Spatial framework，PGFCTS)的渐进间隙填充算法。PGFCTS的主要特点概述如下:

基于空间距离与相似像素有效性之间的负相关关系，PGFCTS采用渐进式间隙填充方案。该方案从边缘向中心恢复缺失区域，并在后续重建中将恢复的像素视为已知像素。这确保了目标像素和潜在相似像素之间的距离较短，从而提高了识别像素的有效性。
PGFCTS通过级联方式集成时空信息源。首先，时间模型提供了保存完好的空间结构的初步重建。随后，空间模型对初步结果进行了细化，提高了光谱保真度。与单一的重建模型相比，时间和空间模型的级联产生了更好的结果。
虽然现有的重建模型通常采用单个无间隙图像作为参考，但在实际场景中获取时间接近的无间隙图像可能具有挑战性。因此，PGFCTS提供了两个版本:一个支持单个无间隙图像，另一个支持多个间隙图像作为参考。实验结果表明，PGFCTS具有较好的重构性能和时间效率。

2 Methodology

2.1 距离越近，相似像素的变化越少

相似像素的概念被广泛运用于空白填补任务中。为了重建目标图像中的缺失像素，使用无间隙参考图像识别相似像素。这些方法背后的假设是，空间模式在多时相场景中保持一致。因此，假定参考图像中检测到的相似像素适合于目标图像，从而构成构建时空重建模型的基础。这一假设的有效性对于精确的缺口填充至关重要。在多时序场景之间的时间间隔较短且景观特征保持稳定的情况下，相似像素的恒定位置假设成立。然而，景观的时间变化是常见的，导致相似像素随时间产生变化。因此，在先前场景中识别的类似像素可能在随后的场景中表现出不同的光谱轮廓。

Tobler地理第一定律表明，空间距离和地面特征的相似性之间存在负相关关系，这表明空间上距离较近的特征更有可能相互关联。因此，相似像素之间的变化可以与空间距离联系起来：

与目标像素相比，距离较近的相似像素表现出较少的变化，而距离较远的像素则受到更强的变化。

图2表示相似像素的空间距离及其变化之间的相关性。空间上距离较近的像素变异性较小，在重建中表现出更高的有效性，而距离较远的像素变异性较大，在重建中表现出更低的有效性。

为了说明这种相关性，使用两个多时相无云场景进行了案例研究，如图2所示。分别指定为参考图像和目标图像。使用参考图像(图2a)，使用k-means聚类算法将像元分为四类土地覆盖。随后，识别与中心像素共享同一类别的相似像素。对这些相似像素在目标图像上的鲁棒性进行测试，以评估它们是否保持相似(图2c)。具体来说，相似像素和中心像素之间的变化在增加的空间距离上进行评估，步进为5个像素(例如，1-5,6-10，…，85-90像素)。这里，变量λ定义为对应距离范围d内相似像元与中心像元的平均绝对差值，表示为:

式中， $\rho (x,b)$ 为b波段x位置的中心像元反射率， $\rho (x+\Delta x_{i},b)$ 为偏移量 $\Delta x_{i}\in d$ 的第i个相似像元反射率。N为空间范围内相似像元的个数。

图2d表示了来自参考图像和目标图像的一些已识别像素。在参考图像中，随机选取5个相似像素斑块(R1~R5)，与中心像素斑块具有高度相似度。然而，在目标图像中，在相同位置观察到相似像素与中心像素之间存在明显差异，表明由于时间变化，相似性降低。

图2e量化了相似像素的变化与其距离之间的相关性。观察到，随着空间距离的增加，相似像素与中心像素之间的差异显著增强，表明距离较近的像素更有可能保持与中心像素的相似性，而距离较远的像素可能表现出降低的相似性。因此，空间上更接近的相似像素对于空白填充任务更健壮和有效。

2.2 渐进式补隙方案

图3表示了使用(a)经典方案和(b)渐进式间隙填充方案搜索相似像素的过程。

在基于相似像素的方法中，准确识别相似像素是至关重要的，因为错误的选择可能会在随后的空间或时间模型中引入重大的不确定性。该过程包括确定邻近候选点是否属于与中心像素相同的土地覆盖类型，并表现出一致的光谱特征。在现有的基于相似像素的模型中，相当多的注意力已经投入到设计稳健的选择标准上。然而，很少有研究表明空间距离对像素搜索的重要性。通常，这些模型严格搜索已知区域内的相似像素。然而，当待恢复的目标像素远离这些已知像素时，例如在大量缺失间隙的中心，重建过程必须不断扩大搜索范围，导致潜在的相似像素与中心像素之间的空间距离很大，如图3a所示。如前所述，相似像素之间的变化随着空间距离的增加而增加，这使得距离较远的像素在实践中不那么相似，并在重建模型中引入了显著的不确定性。此外，搜索范围的扩大导致计算时间的大幅增加。

为了解决这个问题，我们采用渐进式间隙填充方案(图3b)。该方法具有两个关键特征:首先，重建过程从缺失区域的边缘开始，逐步向内部空间移动;其次，在之前的迭代中恢复的像素被认为是后续重建的潜在相似候选者。具体来说，对于缺失掩模中识别的每个间隙(例如，由云检测算法生成的掩模)，一个3 × 3结构单元通过侵蚀操作检测边缘像素。这些检测到的像素成为当前迭代中恢复的目标。随后，在参考图像中应用相邻窗口来定位每个目标像素的相似像素。然后基于这些相似像素构建时间或空间重建模型以恢复目标像素。一旦当前迭代中所有缺失的边缘像素被填充，则更新缺失的间隙掩码，并重复此过程，直到恢复目标图像中所有缺失的像素。

值得注意的是，由于恢复的像素包含在后续的重建中，并且目标像素始终位于当前缺失间隙的边缘，因此目标像素在空间上保持与已知区域相邻。这确保了目标像素和相似像素之间的距离更近，从而增强了像素选择的鲁棒性。此外，与其他类似的基于像素的模型相比，我们方法中较小的搜索范围有助于降低计算成本，从而提高重建效率。

图4给出了一个例子来说明为什么渐进式间隙填充方案比传统策略更有效。图4a和图b分别显示了参考日和目标日的无间隙图像。A、B、C地块在参考影像中属于相同的土地覆盖类型，但时间变化导致目标影像的空间格局不同，距离A地块中心较远的C地块转变为新的地表类型。假设图4c所示目标图像中存在部分云污染，则需要进行恢复，得到类似图4b的结果。理想情况下，为了恢复A地块的光谱特征，利用未改变的B地块的相似像元优于利用变换后的c地块的信息。如图4d所示，传统方案严格地从已知区域中选择相似像元，需要不断扩大搜索窗口，直到达到已知像元。由于B和C地块的已知像元与A地块的距离相似，因此这些像元被识别为相似像元，导致包含C地块的像元产生误差。而图4e所示的递进式空白填充方案首先恢复了B地块的缺失像元，然后在重构A地块的缺失像元时，可以从相邻的B地块中识别相似像元，从而促进了A地块的准确恢复。

2.3 时空重建模型的级联

图5表示使用(a)空间信息、(b)时间信息、(c)时空信息并行连接、(d)时空信息级联连接的空白填充框架。

给定缺失像素的目标图像 $I^{tar}$ ，可以将图像分为缺失区域 $I^{tar}_{\Omega }$ 和已知区域 $I^{tar}_{\tilde{\Omega} }$ 。间隙填充的目的是恢复一个特定的缺失像素 $I^{tar}_{x}$ ，位于(x，y)，其中x=(x，y)， $x\in \Omega$ 。基于空间的方法基于目标图像 $I^{tar}_{\tilde{\Omega} }$ 已知像素的光谱特征和空间纹理计算缺失像素(图5a)，数学表示为：

其中， $\hat{I}^{tar}_{x\in \Omega }$ 表示目标图像上位置(x，y)的恢复像素， $I^{tar}_{x_{i}\in \tilde{\Omega }}$ 表示目标图像上位置( $x_{i}$ ， $y_{i}$ )的已知像素，其中， $x_{i}=(x_{i},y_{i})$ ， $x_{i}\in \tilde{\Omega}$ 。 $f_{s}(\ast )$ 表示空间模型，在基于相似像素的空间方法中表示为来已知区域的相似像素的加权平均值。由于恢复的光谱特征来源于目标图像本身，因此空间模型通常具有较强的光谱保真效果。

基于时间的方法利用时间接近的参考图像 $I^{ref}$ 进行空白填充(图5b)。时间模型通过调整观测条件和地表变化造成的时间差异，将参考图像中(x，y)位置的已知像元转换为恢复像元，表示为：

其中 $I^{ref}_{x\in \Omega }$ 表示参考图像上(x，y)位置的已知像素。 $f_{t}(\ast )$ 表示时间模型，对于类似的基于像素的方法，其表示为与两幅图像上相似像素估计的系数的线性关系。考虑到参考图像本身包含丰富的表面细节，时间模型的结果通常表现出良好的空间结构特征。

现有的基于混合的方法根据其可靠性对时空预测进行加权平均，从而实现并行连接(图5c)，可以建模为:

其中 $w_{t}$ 和 $w_{s}$ 分别表示分配给时间和空间预测的权重。混合模型通过同时包含空间和时间信息，实现了鲁棒性。许多突出的方法采用并行连接架构。然而，由于人为引起的加权方案的不确定性(即 $w_{t}$ 和 $w_{s}$ 的确定)以及在广泛缺失区域的相似像素识别中的误差，这些模型在准确恢复地面特征方面仍然存在局限性。

为了解决上述问题，本文采用层叠方式整合时空模型的框架(图5d)，描述为:

在该框架中，利用善于保持结构的时间模型对缺失像素进行初步恢复，然后利用具有光谱保持能力的空间模型进行细化，增强恢复结果的光谱鲁棒性。时空模型的级联提高了重建结果的空间保真度和光谱保真度。此外，级联处理避免了任意权重设置规则带来的误差(即等式4中 $w_{t}$ 和 $w_{s}$ 的确定)。在后续内容中，我们将涉及时间信息的第一阶段称为“基于时间的重构”，将利用空间信息的第二阶段称为“基于空间的细化”。

2.4 算法细节

与先前的研究类似，我们的方法支持使用单个无间隙图像作为参考。此外，由于云层覆盖导致卫星衍生光学场景中经常出现间隙，这使得完全无间隙图像的获取变得复杂，因此我们扩展了我们的方法，以适应使用多个间隙图像作为参考。

图6表示拟议的PGFCTS流程图

A. 基于时间的重建

在这种情况下，我们利用暂时接近目标图像的无间隙图像作为重建的参考。基于时间的重建包括一个线性变换，使用已知的参考对应点来填充缺失的像素。这个过程需要定位目标缺失像素的位置，识别相似像素，估计相似像素的权重，获得线性回归系数，并最终实现时间预测。

通过目视解译或算法检测生成目标图像的间隙掩模(如云掩模)，缺失像素标记为1，已知像素为0。对于缺失区域，使用一个3 × 3的结构元素来侵蚀掩模，将中心像素及其四个相邻像素标记为1。这有利于检测缺失区域的边缘像素，并将这些边缘像素指定为当前迭代中要恢复的目标像素。

对于(x, y)处给定的缺失像素，假设跨多时间图像的土地覆盖空间格局相似，可以利用参考图像定位相似的像素。通过评估目标像素与其相邻像素之间的光谱偏差，可以将偏差较小的候选像素识别为相似的候选像素。具体来说，参考图像中的已知对应物被检查以搜索相似的像素，使用阈值将它们与不相似的像素区分开来。阈值η(b)确定为以目标位置为中心的5 × 5窗口的标准差，表示为:

其中， $I^{ref}(x_{j},y_{j},b)$ 表示参考图像局部窗口b波段 $(x_{j},y_{j})$ 处第 j 个相邻像素的反射率，μ(b)表示相邻像素的平均反射率。值得注意的是，使用5×5窗口来估计分割阈值，这与下边提到的动态窗口完全不同。该自适应阈值适应了地表的空间异质性：

在局部变化不显著的均匀区域，较小的阈值适合定位相似的像元。
相反，在表面变化明显的异质区域，应用较大的阈值以确保有足够的相似像素。

在计算阈值的基础上，使用相邻窗口来识别相似的像素。 $(x_{i},y_{i})$ 处相邻像素与中心像素的偏差小于各波段阈值，即 $(x_{i},y_{i})$ 处相邻像素相似：

由于土地覆被光谱的多样性，不同的土地覆被在某些波段可能具有相似的光谱值。为了避免错误地识别相似像素，我们严格要求相邻像素只有在所有波段与中心像素的差异低于阈值时才能被识别为相似。采用一种方法，窗口大小动态扩展，当相似像素数达到预设参数时，搜索过程结束。本文将预设参数设置为30。

分配给相似像素的权重表征了它们对时间预测估计的贡献。如2.1节所示，空间距离与相似像素的鲁棒性呈很强的负相关。因此，空间距离被用作权重的代理。计算每个相似像素与目标像素之间的空间距离，然后将空间距离的倒数归一化，确定权重:

其中， $w_{i}$ 为第 i 个相似像素的权重。

从目标图像和参考图像中收集相似像素的反射率值。利用这些像素及其各自的权重，构建了一个地理加权回归模型，以确定描述土地覆盖类型在多时相图像中的转换的线性系数。这些线性系数是通过最小化以下成本函数来计算的:

式中 $\alpha _{b}$ 和 $\beta _{b}$ 为波段b的线性系数，N为相似像元的个数。

回归模型得到的系数适用于目标像元的时间变换，因为目标像元与相似像元属于同一土地覆盖类型。相应的，在目标图像(x, y)处缺失的像素可以通过对参考图像中已知的对应像素进行线性变换来填充，方法如下:

其中， $\tilde{I}^{tar}(x,y,b)$ 为缺失像素的时间预测。在基于时间的过程中，如果没有识别出相似的像素，则跳过这些目标像素，而不进行进一步的权重计算和时间回归。其将在随后的基于空间的阶段被填充。

一旦恢复当前迭代中的所有目标像素，则更新间隙掩码，并将恢复的位置标记为0。在渐进式间隙填充策略中，恢复的像素被认为是已知的像素，并被作为相似像素的潜在候选像素包括在剩余缺失像素的重建中。因此，待恢复的目标像素在空间上总是与已知区域相邻，从而最小化了相似像素与中心像素之间的距离，增强了相似像素的鲁棒性。这些步骤是基于更新的间隙蒙版重复的，新的边缘像素被确定为空白填充的目标。通过迭代重建，可以填充目标图像中所有缺失的像素。

B. 基于空间的细化

采用空间模型对时间模型的初步结果进行细化，该空间模型实现了两个关键目标：

通过相似像元的加权组合提高光谱精度
解决前一阶段由于无法识别相似像元而无法恢复缺失像元的问题

与前一阶段类似，空间模型包括定位目标位置、选择相似像素和估计权重。然而，在这个阶段引入了一个额外的步骤：

对相似像素进行加权平均以获得精确的结果

在基于空间的阶段，也采用渐进式的空白填补方案。识别相似像素的过程遵循与前一阶段类似的方法，其中检查参考图像中中心像素与其相邻像素之间的光谱差异。然而，重要的是要注意，在这个阶段，除了之前未能恢复的像素外，所有像素都被认为是类似像素的候选像素，因为从第一阶段恢复的像素被视为已知像素。有了更大的候选像素池，可以在比基于时间的阶段更近的距离上识别相似的像素。相似像素的权重计算与上一阶段相同，利用距离的倒数作为代理来估计相似像素的权重。

基于基于识别的位置，从目标图像中收集一组相似的像素，并为每个像素分配反映其与中心像素相关性的权重。随后，利用空间相似性信息，采用空间平均过程对时间预测进行细化，有助于增强预测的稳健性，描述为：

其中， $\hat{I}^{tar}(x,y,b)$ 为目标像素的精细估计， $I^{tar}(x_{i},y_{i},b)$ 为目标图像中第 i 个相似像素的反射率。 $w_{i}$ 为第 i 个相似像素的权重，M为相似像素的个数。重要的是要注意，在基于空间和基于时间的阶段中识别的相似像素可能会因搜索范围的变化而有所不同。因此，一些在前一阶段未能恢复的职位很可能在这一阶段被填补。在一些特殊情况下，如果在基于空间的阶段无法收集到相似的像素，则放宽严格的筛选要求，并利用两个图像中相邻像素的平均反射率来利用几个相邻像素进行颜色调整。

C. 基于时间序列参考图像的空白填充

考虑在实际观测中获取时间接近的无间隙参考图像的挑战，引入了PGFCTS的改造版本，容纳多个间隙图像作为参考。利用多个参考图像的条件是，目标图像中的每个缺失位置在多个参考图像中必须具有至少一个已知的对应位置。

计算目标图像与参考图像之间的时间间隔，并按照从短到长的顺序进行排序；
间隔较短的图像通常与目标图像显示较高的相关性，因此优先考虑作为参考。选取距离最近的图像作为参考图像，分别导出目标图像和参考图像的间隙掩膜。进一步识别目标图像中缺失而参考图像中已知的位置，并在正在进行的重建过程中进行填充，随后对两幅图像中缺失的位置进行恢复；
根据第A节和B节中实施细节恢复目标像素；
利用第二近的图像作为参考来填充其对应的当前参考图像中已知的缺失像素；
该过程继续以排序的时间序列图像作为参考，最终导致填充目标图像中的所有缺失像素，因为每个缺失像素在多个参考图像中至少有一个已知的对应点。

3 Experiments and Results

3.1 测试数据和基线方法

为了全面评估PGFCTS的性能，在全球不同地区进行了实验。测试数据涵盖各种地表类型、地理位置和卫星传感器。表1提供了六组测试数据的概述，巴西1区主要为热带雨林覆盖，物候变化轻微，部分地区受到森林砍伐活动的影响，导致土壤或植被裸露。区域2位于意大利，呈现大小不均匀的异质农业斑块，使我们能够评估不同空间异质性下的缺口填充效应。区域3和4分别是沙特阿拉伯和美国的农业用地，其特征是圆形或矩形地块。虽然包裹内部是均匀的，但可以观察到包裹之间的显着变化，为评估捕获动态变化的重建性能提供了基础。中国山东省5区是一个以人工建筑和道路为主的城市区域，可以在高度混合的区域测试填空效果。中国广东省的6号区域是城市景观和森林山脉的混合区域，可以评估多个多云场景的时间序列缺口填充性能。

对两个缺失信息重建任务进行了实验:ETM+ SLC-off图像的空白填充(区域#1和#2)和卫星图像的厚云去除(区域#3 ~ #6)。后一项任务，涉及不固定大小和不规则分布的云区域，更具挑战性。对于空白填充任务，我们将PGFCTS与五种经典方法(Gapfill、LLHM、NSPI、WLR和SSRBF)进行了比较。Gapfill是ENVI软件中的一个基于空间的插件。LLHM、WLR和SSRBF是基于时间的算法，其中LLHM通过矩匹配获得系数，而WLR和SSRBF通过相似像素的线性回归获得系数。NSPI是一种基于混合的方法，同时结合了空间和时间预测。在厚云去除任务中，我们将PGFCTS与基于相似像素的三种算法进行了比较:WLR、MNSPI和VICR 。MNSPI是NSPI的改进版本，适用于云移除，VICR基于虚拟图像的概念设计，用多个参考图像填补空白。

3.2 SLC-off图像间隙填充的模拟实验

本节给出了SLC-off图像中空白填充的实验结果。每次模拟试验采集两幅Landsat 7无间隙图像，前一幅图像为参考，后一幅图像为目标。利用真实SLC-off图像的间隙掩模，在目标图像中模拟条形缺失间隙，生成SLC-off图像。利用间隙填充算法对SLC-off图像进行恢复，并与观测到的无间隙图像进行对比，对恢复结果进行视觉定量评价。采用均方根误差(RMSE)、相对综合维数误差(ERGAS)、光谱角映射器(SAM)和相关系数(CC) 4个指标进行定量评价。RMSE、ERGAS和SAM值越小，重建精度越高，CC值越高，补隙性能越好。在数据集#1和#2上评估SLC-off图像的间隙填充效果。考虑到论文长度，数据集#1上的结果如图S2所示，而数据集#2上的结果在本节中进行详细分析。

图7 意大利2区SCL-off图像补隙实验恢复结果误差映射定义为六个波段重构误差之和。

图8 在意大利2区试验的两个子区域的详细视图。

表2 对1区和2区a的缺口填补试验进行定量评价，a粗体的定量分数表示在这些空白填充算法中最接近理想分数的分数。

图7中(a) - (c)为2002年8月13日的参考图像、2002年9月30日的SLC-off图像和2002年9月30日的真地图像，(d) - (i)为6种补空算法的恢复结果和误差图。虽然所有算法都成功地填充了SLC-off图像中的缺失像素，但图8中两个子集区域的仔细检查揭示了重建有效性的差异。间隙填充表现出明显的条纹状人工制品，并努力再现空间结构。LLHM表现出明显的光谱失真，无法保持光谱保真度。NSPI保留了较好的光谱特征，但在恢复场斑块形状方面需要改进。WLR和SSRBF能很好地保持空间形状，但会产生类似噪声的伪影。与基线方法相比，PGFCTS产生的结果没有明显的类噪声伪影，在恢复光谱特征和空间纹理方面表现更好，与地面真实图像的一致性更高。图7和图8中的误差图也显示了PGFCTS的最低重构误差。表2给出了两次补隙试验的定量评估结果，其中我们的方法显示出最高的准确性，RMSE、ERGAS和SAM值最低，CC值最高。值得注意的是，与其他类似的基于像素的方法(即NSPI、WLR和SSRBF)相比，我们的方法显著降低了RMSE和SAM分数，表明我们的方法在保持光谱保真度方面具有更强的能力。

3.3 卫星图像中厚云去除的模拟试验

本节分析了在数据集#3 ~ #5上对Landsat和Sentinel-2图像进行的厚云去除实验结果。对于每个测试区域，我们采集了两张无间隙卫星图像，将前一张图像作为参考，后一张图像作为目标。然后模拟目标图像以包含缺失区域，并采用MNSPI、WLR、VICR和PGFCTS四种相似的基于像素的方法进行空白填充。随后，根据目标日期的无间隙图像对结果进行视觉和定量评估。考虑到论文篇幅，本节将呈现和分析数据集#3和#5的结果，而数据集#4的结果如图S3和S4所示。

图9 沙特阿拉伯第3区陆地卫星图像除云实验的恢复结果。

图10 沙特阿拉伯3区试验中两个子区域的详细视图。

表3 3 ~ 5区厚云去除试验定量结果，a粗体的定量分数表示在这些空白填充算法中最接近理想分数的分数。

图9和图10展示了沙特阿拉伯地区#3的实验结果，重点是农业用地的时间动态，以及它们的特写视图。图(a) - (c)为2002年1月9日的参考图像、2002年3月4日的模拟缺失图像和2002年3月4日的真地图像，图(d) - (g)为MNSPI、WLR、VICR和PGFCTS的恢复结果。图10中的特写显示了补隙效果的差异。例如，在第一子区，中央浅绿色的未开垦地块在MNSPI、WLR和VICR的恢复结果中显示出明显的噪声样伪影，而右下角深绿色的未开垦地块被错误地恢复为红色的未开垦地块，光谱误差明显。与这些相比，PGFCTS没有明显的伪影，并且更准确地保持了光谱特征。在第二子区，尽管MNSPI、WLR和VICR捕获了时间变化，但它们显示出明显的伪影，无法恢复地块的圆形形状。相比之下，PGFCTS不仅可以去除类噪声伪影，还可以恢复地块的形状。误差图也显示了PGFCTS比其他模型更优越的性能。根据表3的定量结果，我们的方法始终获得最低的RMSE、ERGAS和SAM值，以及最高的CC值。这些指标的显著改善，例如RMSE降低8.5% ~ 12.1%(从0.0541到0.0563到0.0495)，SAM降低9.9% ~ 13.1%(从6.398到6.635到5.763)，表明PGFCTS比基线方法有明显的优势。

图11 中国5区哨兵2号图像去云实验的恢复结果。

图12 在中国5区试验的两个子区域的详细视图。

图11和图12显示了在中国山东省城市区域5上的恢复结果及其特写。城市地表表现出高度的空间异质性和光谱混合，为准确再现缺失区域的地面特征带来了重大挑战。参考图像和模拟间隙图像的采集日期分别为2018年2月4日和2018年7月19日。图12中两个人工表面的特写视图显示了四种算法在填充间隙方面的区别。在工厂、储罐、建筑物和道路覆盖的第一个子区域，WLR和VICR对储罐等高反射率的恢复能力有限，恢复结果受到噪声样伪影的影响，而PGFCTS和MNSPI避免了这些限制。在园林景观的第二子区，MNSPI、WLR和VICR未能捕捉到水体从干季到湿季的变化，而只有PGFCTS能够做到这一点。需要承认的是，我们的方法与基线算法一样，在高度混合的表面上精确地再现光谱特征有一定的局限性。然而，根据表3中的定量评估，我们的模型显示出明显的优势，在四个指标上取得了显著的改进，例如RMSE降低2.9% ~ 6.5%(从0.0539到0.0558到0.0524)，SAM降低2.5% ~ 5.1%(从9.099到9.336到8.879)。

3.4 厚云在延长的时间间隔内消散

以往的研究表明，基于时间的方法的缝隙填充性能依赖于参考图像(Wang et al.， 2023b)，因此有必要验证不同时间间隔的重建效果。在本节中，研究了3区农业用地的厚云去除任务。Landsat 7在2002年全年共采集了8张无云图像，采集日期分别为1月9日、3月14日、4月15日、6月2日、8月5日、9月6日、11月9日和12月11日。以6月2日拍摄的图像为目标图像，模拟缺失间隙。重建过程包括分别使用剩余图像作为参考，通过四种云去除算法。使用前面描述的四个定量指标，将不同时间间隔的恢复结果与无间隙图像进行比较。

图13 (a) RMSE、(b) SAM、(c) ERGAS、(d) CC在不同时间间隔重构实验中的定量得分。

图S5显示了使用各种参考图像的恢复结果，表明三种基线模型产生了明显的伪影，而PGFCTS更有效地保留了地面特征的光谱和空间特征。图13报告了四种除云模型在延长时间间隔内的定量得分(即RMSE、SAM、ERGAS和CC)。分析得出了两个结论。首先，四种方法的重建效果与目标图像与参考图像之间的时间间隔呈负相关。具体来说，随着间隔的增大，参考图像和目标图像之间的一致性降低，导致重建精度降低。例如，使用时间较近的参考图像(如4月15日、8月5日和9月6日)重建的精度较高，而使用较远的参考图像(如1月9日和12月11日)重建的精度较低。其次，在4种方法中，PGFCTS在不同区间的精度都保持在最高水平，与基线模型相比具有显著优势，表明PGFCTS在空白填充方面具有更强的鲁棒性和有效性。

此外，考虑到VICR可以使用单个图像或多个图像作为参考，我们研究了使用多个参考图像的VICR性能。结果表明，利用多幅参考图像可显著提高图像识别的精度。例如，与单图像参考的VICR相比，使用多个参考图像的版本显着将RMSE分数从0.0321降低到0.0304，并将CC分数从0.751提高到0.781。然而，即使与多图像参考版本的VICR相比，我们的方法也表现出更高的准确性(RMSE: VICR为0.0321,PGFCTS为0.0304;CC: 0.781 vs. 0.808)，强调了PGFCTS比其他空白填充模型的显着优势。

3.5 时间序列云雾图像的去云测试

对区域#6上空的观测云图进行去云实验，展示PGFCTS在实际场景下的补隙能力。区域6包含了城市表面和森林山脉的混合，展示了同质和异质的景观。从Landsat 9收集了2022年无云或部分被云覆盖的13张可用图像，以创建时间序列。污染像素，包括质量评估(QA)波段显示的受云、扩张云、卷云和云影影响的像素，被标记为缺失，创建间隙掩模。为了减轻未检测到的云和阴影的潜在负面影响，对遮罩进行了半径为3个像素的扩张操作。

图14 中国6区时间序列云图恢复结果(a)云图。(b)遮挡云的图像;(c) PGFCTS结果。(d) (b)中的特写。(e) (c)中的特写。

考虑到其他软件包中与时间序列处理相关的挑战，我们专门使用PGFCTS进行了云删除实验。图14为2022年1月30日、5月6日、7月25日和9月27日拍摄的多云图像的恢复结果。总体而言，PGFCTS有效地填补了云和阴影造成的缺失像元，恢复的像元与目标图像中已知像元具有良好的光谱相干性和空间邻接性。此外，即使对于大面积的缺失间隙，例如5月6日的多云图像，PGFCTS也表现出了有效的性能，产生了令人愉悦的视觉效果。值得注意的是，准确的云检测对于随后的云去除过程至关重要，因为遗漏的云像素，特别是那些位于检测到的缺失间隙附近的云像素，如果包含在间隙填充过程中，可能会导致显著的误差。

4 Discussion

4.1 消融实验

提出的PGFCTS方法集成了两个关键的改进：

渐进式间隙填充方案
时空模型的级联连接

为了证明这些增强所带来的优势，通过比较PGFCTS和两个简化版本进行了消融实验。

第一个简化版本是一个时间模型，标记为“T”，它只是通过相似像素的回归获得转换系数。
第二个模型结合了时间模型(“T”)和渐进的缺口填补策略(“P”)，记为“T + P”，如第2.3节A部分所述。
第三个模型标记为“T + P + S”，将空间模型(“S”)进一步纳入第二个模型，代表PGFCTS的完整版本。

表4 两个重建任务消融试验的定量评估结果，a T =时间模型，P =递进式间隙填充方案，S =空间模型。粗体的定量分数表示在这些空白填充算法中最接近理想分数的分数。

在区域#2和#3上分别进行了SLC-off图像的空白填充和厚云去除实验。三种重构模型的结果如图S6所示。可以观察到，单个时间模型(“T”)会产生明显的类噪声伪象，而包含渐进式间隙填充方案(“T + P”)和空间细化方案(“T + P + S”，即提出的PGFCTS)会产生更稳健的结果。定量指标揭示了三种模型的重建差异。表4所示的定量结果表明，在基于时间的模型之上引入渐进式空白填充方案和基于空间的改进，两项任务的空白填充精度都有显著提高。例如，在区域#3的厚云去除测试中，反映恢复图像与地面真实光谱相干性的SAM分数，采用渐进式空白填充方案后，从5.901下降到5.822，采用基于空间的细化后，SAM分数进一步下降到5.763。

4.2 参数调整

图15 两个补空任务中两个模型参数的调整。(a)窗口大小。(b)相似像素数.

PGFCTS的两个参数，即估计光谱差异阈值的窗口大小和相似像素的数量，可能会影响间隙填充性能。首先，在我们提出的模型中，使用基于阈值的方案识别相似像素，其中光谱差异小于某些阈值的相邻像素被认为与中心像素相似。阈值是通过评估参考图像中以目标像素为中心的局部窗口内的变化来确定的。为了证明窗口大小参数的选择是合理的，我们在两个间隙填充任务中进行了实验，测试了从5到15像素的各种选项，增量为2像素。图15a中的定量结果表明，当窗口大小从5像素增加到15像素时，间隙填充精度略有下降，SAM分数略有增加。基于这些发现，我们在研究中选择了5 × 5窗口来估计局部光谱变化作为阈值。其次，相似像素在基于时间和基于空间的关系建模中起着至关重要的作用。相似像素的数量直接影响重构过程的有效性。

过少的相似像素会损害已建立关系的健壮性，而过多的像素会导致高计算成本。为了确定相似像素的最佳数量，我们进行了从10到40不等的不同数量的实验。如图15b所示，相似像素数从10增加到30，重构误差显著降低，随后出现30 ~ 40像素数对应的相对稳定相位。考虑到空白填充精度和计算效率之间的权衡，我们在研究中将相似像素的数量设置为30，以达到平衡。

4.3 计算时间成本

作业效率是决定补空模型实际效用的关键因素。本节以Intel酷睿i7 3.80 GHz CPU、32.0 GB RAM的计算机为例，比较不同算法的运行时间。这些算法的实现由各自的作者提供。其中，Gapfill和LLHM是ENVI软件中的插件，WLR和PGFCTS是用c++实现的，NSPI和MNSPI是用ENVI IDL实现的，SSRBF和VICR是用MATLAB实现的。

表5 算法在两个空白填充任务中的时间开销。

分别在区域#2和#3上对两个任务进行了比较。两个区域的测试图像大小相同，均为1200 × 1200 × 6像素。表5列出了这些算法的耗时。在SLC-off图像的间隙填充实验中，可以明显看出Gapfill和LLHM算法比类似的基于像素的算法具有更低的时间消耗。然而，尽管Gapfill和LLHM具有效率，但其重建性能明显有限，如3.2节所示。在优于Gapfill和LLHM的类似基于像素的方法中，PGFCTS与WLR、NSPI和SSRBF相比，其运行时间明显更短。在去云实验中，PGFCTS的运行时间最短，其次是WLR、VICR和MNSPI。值得注意的是，在比较PGFCTS和WLR的运行时(都是用c++实现的)时，可以观察到，尽管PGFCTS包含了额外的步骤，如基于空间的细化，但其运行时甚至比WLR更短。这种优势归因于采用渐进式间隙填充策略，确保了对相似像素的较小搜索范围。时间消耗的差异突出了PGFCTS优于基线算法的实际效用。

4.4 在经历空间格局变化的表面上进行间隙填充的视角

图16 例如，由于多时相图像中土地覆盖的空间格局不同，基于类似像素的方法表现出有限的性能。最好的定量分数用红色标记。(对于图例中有关颜色的解释，请参阅本文的网页版本。)

虽然利用相似像素可以大大提高空白填充方法的有效性，但必须满足特定的先决条件。基本前提是，局部窗口内的相似像素在多时间图像中表现出相同的空间模式，从而允许在参考图像中识别的相似像素对目标图像有效。然而，当两个图像之间相似像素的空间模式差异很大时，挑战就出现了。这种差异可能是由于突然的土地覆盖变化造成的，例如野火造成的森林砍伐。因此，时间或空间关系变得不可靠，导致相当大的重建误差。图16示出了基于类似像素的方法表现出有限性能的示例。在两个子集区域中，发生了显著的时间变化，导致参考图像和目标图像之间相似像素的分布不同。参考图像中的相似像素不太适用于目标图像，导致恢复结果误差较大。即便如此，对四种算法的定量评估表明，PGFCTS在大多数指标中仍然获得了最好的分数(用红色标记)。

在难以获得与目标图像具有相似像素的相同空间模式的参考图像的情况下，可以采用两种解决方案。首先，可以利用其他传感器的无间隙低分辨率对应物来提供地表变化信息。例如，有人将多时相MODIS和Landsat图像融合，以填补Landsat图像的空白。来自MODIS的频繁观测有效地表征了地表变化，促进了陆地卫星图像中动态的捕获。其次，合成孔径雷达(Synthetic Aperture Radar, SAR)图像可以记录阴天的地表信息，因此，光学和SAR图像的融合可以重建光学图像中的缝隙。虽然在这方面的研究有一些案例，但这些方法的广泛应用和有效性需要进一步验证。

5 Conclusion

在本文中，我们介绍了一种新的重建模型，称为通过级联时空框架(PGFCTS)的渐进间隙填充模型，并证明了它在解决两个重要任务方面的有效性。PGFCTS结合了两个关键的技术创新。

利用空间距离与相似像素鲁棒性之间的负相关关系，采用渐进式的空白填充策略。该策略保证了被识别像素接近目标像素，从而提高了相似像素的准确性，消除了类噪声伪影。
PGFCTS采用了保留结构的时间模型和保留频谱的空间模型相结合的级联结构。即使在具有高空间异质性、显著时间动态和大面积缺失区域的具有挑战性的景观中，这种方法也能产生保持光谱和空间保真度的恢复结果。

将PGFCTS与7种基线方法进行比较的实验得出了几个关键的见解：

在两种重建任务中，视觉对比和定量评估一致表明PGFCTS具有更高的准确性。特别是在像农业用地这样的时间动态表面上，PGFCTS比基线方法显示出相当大的优势，减少了8%以上的SAM。
研究了参考图像与目标图像之间的时间间隔对重建效果的影响。尽管随着时间间隔的延长，所有方法的准确性普遍下降，但PGFCTS在各种定量分数上的表现始终优于其他方法，显示了其稳健性。
PGFCTS虽然涉及更多的步骤，但由于其渐进的空白填充方案，与其他类似的基于像素的方法相比，PGFCTS具有更高的效率。这突出了PGFCTS在大规模遥感应用中的潜力。

总的来说，这些发现强调了PGFCTS在解决遥感图像重建任务中的关键挑战方面的有效性、鲁棒性和效率。

IAz-

关注

14
点赞
踩
7

收藏

觉得还不错? 一键收藏
打赏
0
评论
[CR]厚云填补_基于相似像素的渐进式缺口填补方法PGFCTS

在光学遥感图像的预处理中，由于云层较厚或传感器发生故障而产生的空白填充一直是一个重大的挑战。相似像元的概念来源于遥感场景的时空相似性，被广泛接受和应用，导致各种空白填充模型的发展。然而，在具有时空异质性表面和广泛缺失区域的复杂场景中，现有模型通常会产生明显的噪声样伪影、扭曲的光谱特征和不可靠的空间纹理。为了应对这一挑战，提出了一种简单而有效的基于相似像素的方法，称为通过级联时空框架的渐进间隙填充方法。
复制链接

扫一扫