Missing information reconstruction integrating isophote constraint and color-structure contro（论文翻译）

论文名称:结合等照线约束和颜色-结构控制的遥感数据缺失信息重建

论文地址：

代码地址: https://github.com/YuXiaoyu221/IC_CSC-Information-Reconstruction.

摘要

        遥感图像通常由于传感器缺陷和恶劣的大气条件而遭受信息丢失问题，导致数据质量显著下降。针对这一问题，提出了一种新颖的图像重建方法，以提高此类数据的可用性。所提出的方法使用参考图像中的等照线信息作为约束来恢复目标图像中的缺失信息。等照线指的是具有相同照度强度的相邻像素，即具有相似灰度值的像素。提出了自适应加权梯度来计算像素的等照线。由于最小梯度方向上权重较大，图像中相似像素之间的差异趋于保持恒定，以最小化图像之间的等照线差异。因此，在重建图像中，参考图像和目标图像之间的辐射差异归因于像素值显著变化的区域，属于相同地面特征的像素将具有相似的值，从而确保特征的内部稳定性并增加不同特征之间的差异。此外，为了控制地面特征的颜色保真度并提高重建精度，在基于等照线的图像重建之前，用某些像素更新目标图像。这些像素在颜色-结构控制下填充了缺失区域外的辅助信息，并均匀分布在缺失区域的每个均匀颜色的小区域中。在不同缺失信息情况下的实验表明，所提出的方法是有效的，实验结果表明，即使对于具有大缺失区域的图像，所提出的方法也能获得具有高颜色一致性和重建精度的视觉上合理的图像。

引言

        由于过去几十年遥感技术的显著进步，遥感数据在环境监测和地球观测等广泛应用中变得极为宝贵(Fang et al., 2021; Xu et al., 2022b)。然而，所获得的遥感数据由于传感器缺陷和恶劣的大气条件通常是不完整的(Shen et al., 2015)。例如，由于探测器故障或噪声引起的Aqua中分辨率成像光谱仪(MODIS)第6波段的条带问题，严重影响了MODIS雪产品的生成(Wang et al., 2006); 在Landsat-7增强型专题绘图仪(ETM+)传感器中，由于扫描线校正器(SLC)的永久故障，每幅Landsat-7 SLC关闭图像都损失了超过20%的像素(Chen et al., 2011; Zeng et al., 2013); 自2008年初以来，搭载在Aura卫星上的臭氧监测仪(OMI)中发生的行异常，严重减少了OMI的空间覆盖范围(Torres et al., 2018)。此外，根据MODIS数据，云覆盖了地球表面的约67%(King et al., 2013)。因此，大量卫星图像面临信息丢失问题，显著降低了这些数据的可用性。

        在过去的几十年中，许多信息重建方法被研究用于恢复遥感数据中的缺失区域。通常，要重建的图像通常称为目标图像，而目标图像中的缺失区域通常称为目标区域(Cheng et al., 2014)。根据用于图像恢复的辅助信息源，这些方法主要分为四类：基于空间的方法、多光谱方法、多时相方法和混合方法(Cao et al., 2020; Yu et al., 2023)。基于空间的方法利用目标图像中缺失区域外的可用信息进行信息重建。最具代表性的是插值方法，如最近邻插值和双线性插值(Atkinson et al., 1990)，以及地统计插值方法，如克里金插值(Rossi et al., 1994; Yu et al., 2011)。此外，Criminisi et al. (2004)提出了一种基于示例的合成方法，该方法根据置信度顺序填充缺失像素。Shen和Zhang (2009)开发了一种基于最大后验概率的方法，利用图像空间约束解决图像条纹和图像修复问题。Maalouf et al. (2009)使用Bandelet变换和多尺度分组确定并传播图像的几何流曲线以恢复云污染图像。这些基于空间的方法在地面特征不复杂时通常容易实现且有效(Guillemot and Le Meur, 2014)。然而，随着缺失区域的扩大，先验信息不足可能导致重建精度显著下降。

多光谱方法

        多光谱方法主要利用未受影响波段的辅助信息，根据光谱相关性来恢复受影响波段。多光谱和高光谱数据中的冗余光谱信息被用于恢复某些波段的缺失信息。基于Aqua MODIS第6波段和第7波段之间的高相关性，Aqua MODIS的缺失第6波段可以通过回归分析和局部拟合来恢复(Gladkova et al., 2012; Li et al., 2014; Shen et al., 2011; Wang et al., 2006)。由于这些长波长的波段可以穿透薄云和薄雾，一些方法也被开发出来，利用清晰波段的辅助信息来重建薄云图像(Kulkarni和Rege, 2020)。例如，基于不同大气条件下的光谱响应特性，创建了雾霾优化转换模型(Hong和Zhang, 2018; Zhang et al., 2002)，该模型在恢复图像中的雾霾和薄云区域方面非常有效。还提出了一种改进的同态滤波方法，通过将云作为一种常见噪声来去除ASTER数据中的薄云(Chun et al., 2004)。考虑到云图中缺失区域和清晰区域之间信噪比的差异，建立了一个噪声调整主成分变换模型，基于第一个成分分离受影响的信息，随后反向变换以获得重建图像(Xu et al., 2019)。一般来说，当目标图像同时具有完整和不完整的光谱波段时，这些多光谱方法表现良好。

多时相方法

        多时相方法通过使用在不同时期捕获的同一区域的参考图像的互补信息来恢复目标图像(Zhang et al., 2021)。最直接的方法是用多时相图像的对应区域替换目标图像的缺失区域(Fang et al., 2021; Kang et al., 2016; Li et al., 2003)。为了处理具有明显辐射差异的图像，Meng等人(2019)开发了一种基于变分的融合模型，该模型使用多时相数据的辅助信息来预测云图中的缺失信息。Cao等人(2020)提出了一种自回归模型来恢复Landsat数据的缺失信息。除了使用参考图像的像素进行重建，一些研究人员还指出，使用目标图像本身的像素进行信息重建可能会提供更自然的结果。这些方法主要通过使用参考图像中的对应像素来识别目标图像中的相似像素，然后基于这些相似像素拟合缺失像素，例如最近光谱拟合(CSF)模型(Meng et al., 2009)和加权线性回归(WLR)算法(Zeng et al., 2013)。基于泊松融合修复算法(Pérez et al., 2003)，还提出了一些使用参考图像的梯度信息作为约束的缺失信息重建方法(Duan et al., 2020; Hu et al., 2019; Lin et al., 2013)。此外，Yu等人(2023)还开发了一种曲率驱动的方法来恢复光学卫星数据中受云影响的区域，这些缺失像素在曲率域中而非自然域中恢复。总的来说，当目标图像和参考图像之间的颜色差异和地表覆盖变化不显著时，这些方法通常能产生可靠的结果(Xu et al., 2022b)。

        混合方法整合了来自空间、光谱或时间域的辅助信息进行图像重建。为了恢复云污染图像中的缺失信息，Li等人(2019)提出了一种非负矩阵分解和误差校正方法，该方法引入了基于空间和时间非局部滤波的融合模型，以缩短多时相图像之间的时间差异。Wang和Wang(2022)提出了一种快速空间光谱随机森林方法，用于恢复多光谱图像的云污染区域。Zheng等人(2023)开发了一种通过空间-光谱-时间连接张量网络分解的半盲厚云去除方法，该方法在子空间表示下对小尺寸内在图像进行操作，而不是大尺寸原始图像，从而在减少计算复杂度的同时保留空间-光谱-时间关系。由于在图像处理中具有巨大潜力，一些使用深度学习的信息重建方法也得到了广泛探索(Tao et al., 2022)。例如，Zhang等人(2018)通过使用深度卷积神经网络(CNN)创建了一个空间-时间-光谱(STS)特征学习模型。随后，在STS的基础上提出了一种渐进空间-时间补丁组深度学习框架，用于利用多时相云污染图像填补空白(Zhang et al., 2020)。通过应用生成对抗网络(GAN)，提出了一种可训练的时空GAN模型用于光学图像中的云去除(Sarukkai et al., 2020)。Yu等人(2022)提出了一种多尺度失真感知网络，以恢复被云遮盖的图像中的地表覆盖物，该网络采用网格架构，在不同尺度上逐步提取无云表示，并自适应地整合这些多尺度表示。Long等人(2023)提出了一种结合了两种依赖移动的Bishift网络，一种移动涉及时刻匹配和深度风格转换，以初步缓解多时相图像之间的时间差异，而另一种则利用改进的移动网络重建被云遮盖的缺失信息。Guo等人(2023)设计了一种基于云感知集成快速傅里叶卷积网络的盲单图像薄云去除新方法，包括两个模块：用于全局薄云检测的云感知模块和用于信息恢复的基于快速傅里叶卷积的重建模块。此外，一些利用多源和多时相数据的互补信息的方法也得到了研究(Ebel et al., 2022)。Xu等人(2022a)提出了一种新的全局-局部融合网络，利用SAR图像的辅助信息，包括全局上下文交互块和局部特征补偿块。通常，当待处理数据的特征与训练数据集相似时，这些深度学习方法具有很强的鲁棒性(Sebastianelli et al., 2021; Shen et al., 2015)。

        不同于这些方法，本文提出了一种新的混合方法，不需要大量的训练数据。该方法同时使用缺失区域的等照线信息和缺失区域外的空间信息进行图像重建。等照线是指具有相同照明强度的邻近像素，即具有相似灰度值的像素。由于在等照线约束下恢复目标图像的缺失区域，相似像素之间的差异趋于恒定，以最小化图像之间的等照线差异。因此，属于同一地物的像素灰度值将相似，而参考图像和目标图像之间的辐射差异归因于像素值发生显著变化的区域，从而确保特征的内部一致性并增加不同特征之间的差异。此外，为了提高地物特征的颜色保真度和结果的重建精度，在图像重建之前使用颜色结构控制解决某些缺失像素。这些像素分别从缺失区域中每个均匀着色的小区域中选择。在用这些解决的像素更新目标图像后，在等照线约束下重建目标图像中的所有缺失像素。本文的贡献如下：

        (1) 提出了用于等照线估计的自适应加权梯度，并建立了等照线约束以进行信息重建。在重建的图像中，图像之间的辐射差异被分配到像素值发生显著变化的区域，从而确保特征的内部稳定性并增加不同特征之间的差异。

        (2) 在基于等照线的图像重建之前，使用颜色结构控制填充某些缺失像素以更新目标图像。这些像素均匀分布在缺失区域的每个均匀着色的小区域中。因此，控制了地物特征的颜色保真度并提高了重建精度。

        (3) 进行了一系列实验，包括模拟数据实验、真实数据实验和不同情况下的消融实验。实验结果的定性和定量分析表明，即使信息严重缺失，所提出的方法也能获得视觉上合理且具有高重建精度的图像。

        本文其余部分的组织结构如下：第2节描述了等照线的定义和等照线估计。第3节介绍了所提出的方法。第4节展示了三组实验的实验结果并讨论了主要发现。第5节总结了所提出的工作。

2. 等照线估计

        在本节中，首先介绍等照线的传统定义，然后提出并详细解释基于自适应加权梯度的等照线估计。最后，展示等照线约束在图像重建中的重要性。

2.1 传统定义中的等照线

        对于离散图像，等照线是由具有相同光照强度（即相似像素值）的像素连接而成的线。更具体地说，在以点P为中心的8邻域的局部区域中，点P处等照线的方向是梯度值最小的方向。图1展示了一个示例。图1(a)显示了以点P为中心的8邻域内的像素，图1(b)显示了不同方向上的梯度，其中红色箭头所指的方向为点P处的等照线方向。

        根据图1计算每个像素的等照线后，可以构建参考图像的等照线网。图2(a)为目标图像，其中橙色点为已知像素，灰色点为缺失像素。图2(b)为参考图像，箭头所指方向为每个像素的等照线方向。显然，不可能每个像素都直接或间接连接到已知像素，如图2(b)中的P1和P2。在这种情况下，利用参考图像的等照线网和目标图像的这些边界像素高效地解决所有像素是具有挑战性的。因此，本文需要重新定义等照线的计算过程。

Fig. 1.等照度线定义。(a)以点P为中心的8连通邻域。（B）点P处的等照度线

见图2。等照度线约束的构造。(a)目标图像。(b)指涉影像。

2.2 基于自适应加权梯度的等照线估计

        为了强调像素值变化最小的方向，同时确保每个像素稳定地连接到其周围，定义了用于等照线估计的自适应加权梯度。自适应加权梯度意味着每个方向的权重不是固定的。本文中定义梯度平方的倒数为权重，从而可以突出最小梯度的方向。同时，保持地物特征的内部稳定性，即参考图像中相似的像素在重建图像中仍然会相似。

以图像I中的像素p为例，解释自适应加权梯度的计算。令Np为p的8邻域像素，G为p处的梯度值，分别表示为：

        其中p（-1，-1）的下标指示其在Np内相对于p的位置，且g（-1，-1）是从像素p到p（-1，-1）的像素值的变化，即：

        其中Np −表示不包括像素p的8连通邻域，即（p（i，j）∈ Np）<$（p（i，j）scin = p）。然后，自适应加权梯度，即等照度线Δ I（p），表示为：

        为了强调像素值变化最小的等照度线方向，权重w（i，j）表示与梯度值g（i，j）的平方成反比，表示为：

        具体地，当g（i，j）= 0时，根据下式计算权重w（i，j）：

        这里，β是一个小常数，用于避免当g（i，j）为0时的不稳定结果。这样，梯度越小，权重越高.像素p处的等照度线强烈地取决于最小梯度值。

2.3.等照度线约束的强度

        由于等照度线可以表示物体的线性结构，因此在许多图像绘制方法中，它被广泛地用于结构传播和缺失孔洞填充（Ballester等，2001年; Criminisi等人，2004年）。图像的等照度线是指与最大梯度方向垂直的、具有相同照度的像素。因此，如果两个图像之间的等照度线差异被最小化，则每个像素处的最小梯度的方向和强度将被很好地保持。除了等照度线之外，基于梯度的图像重建方法，例如使用泊松图像编辑方案的这些方法（Hu等人，2019年; Lin等人，2013年; P erez等人，2003; Yang等人，2009年），也进行了广泛的研究。因此，使用已知在图像合成中最具代表性的框架的泊松图像编辑作为比较，以验证图像重建中的等照度线约束的强度。图3显示了实验数据。图3（a）是原始图像。对于点P，沿着河岸的方向e是像素值变化最小的方向。因此，方向e指示P的等照度线取向，并且e中的像素值的变化指示等照度线强度。图3（B）显示了缺失区域的模拟图像，而图3（c）显示了在不同时间获得的覆盖相同地理范围的图像。然后，可以使用来自图3（c）中的参考图像的补充信息来重建图3（B）。图3（d）-（e）是通过梯度约束恢复的结果（Hu等人，2019年）和等照度线约束。为了尽可能地保留参考图像的梯度信息，基于泊松混合的方法将参考图像的梯度场作为图像恢复的指导场。然而，由于图3（a）中河岸周围像素的梯度与图3（c）中的梯度不一致，因此在平滑的河流中可能会发生一些颜色转换，以实现全局优化。实际重建结果如图3（d）所示。本文中的等照度约束是指在重建目标图像中缺失的信息时，保持参考图像中每个像素的等照度（方向和强度）。因此，重建结果能够很好地保持河道内部的平滑度和河岸的边缘结构，并具有较高的色彩一致性，如图3（e）所示。

        为了更直观，图4示出了图3中的每个图像的点P处的水平轮廓。将点P的同一行中的所有像素作为样本。将每个像素的行坐标作为水平轴，并且将对应的像素值作为垂直轴。在图4中，两条虚线之间的红线表示缺失区域的范围，而蓝线表示空白区域的范围。箭头指向海岸线的位置。显然，图4（d）在边界处具有自然过渡，并且很好地保留了图4（c）的地层中的梯度。但与图4（a）相比，图4（d）显示了错误的颜色变化，并且河流内部的平滑度也受到影响。相反，图4（e）更好地保持了河流的内部稳定性，并保留了沿着岸线的边缘细节，这与图4（a）更加一致。这是因为在等照度线约束的重建结果中，辐射差被分配给像素值经历显著变化的区域，即，海岸线地区。

图1.图3。基于梯度的图像重建和基于等照度线的图像重建之间的比较。(a)原始清晰图像。(b)模拟的图像。(c)指涉影像。(d)坡率约束的结果。(e)等照度线约束的结果。

图1.图3中每个图像P点处的水平剖面。（a）-（e）分别来自图3（a）-（e）。

3.等照度线约束与颜色结构控制相结合的图像重建

        鉴于等照度线在表达地物线性结构特征方面的优势，该方法利用等照度线信息作为图像重建的约束条件。图5示出了流程图。输入是目标图像、参考图像和标记目标图像中缺失区域的掩模。最初，应用边界优化过程以防止丢失区域的边界穿过图像中的改变的特征（Yu等人，2023），从而保证重建结果的空间连续性。如图5所示，所提出的方法主要包括两个步骤。第一步是稳定的像素布局与颜色结构控制，这是表示在橙子矩形。该步骤的目的是在信息重建之前对目标图像进行像素填充和更新，以控制等照度融合所造成的色彩效果。根据参考图像的超像素分割结果，这些像素均匀分布在缺失区域的每个均匀着色的小区域中。为了解决这些像素的高可靠性，建立颜色-结构一致性约束，该约束利用了缺失像素与参考图像中其他区域的颜色差异，以及目标图像与参考图像的结构差异。第二步是基于等照度线的缺失信息重建，如蓝色矩形所示。针对缺失区域，计算参考图像的等照度线信息。在第一步中，基于更新后的目标图像，在等照度线约束下建立以缺失像素为未知参数的线性方程组。然后利用该方程组的解重构目标图像中的这些缺失像素。注意，所提出的方法的输入图像应该被适当地配准。

图5.拟定方法流程图。

3.1.具有色彩结构控制的稳定像素布局

见图6。稳定像素布局的过程。

        该过程是在信息重建之前填充一些缺失的像素，以控制后续等照度线融合引起的着色效果。通过构造颜色-结构一致性约束来求解具有较高可靠性的像素点。图6示出了该流程图。利用参考图像的超像素分割结果来确定如何选择像素进行填充。超像素是一个小区域，由几个具有相似特性（如颜色、亮度和纹理）的相邻像素组成。因此，仅选择超像素中的一个像素，使得这些像素均匀地分布在缺失区域的每个均匀着色的小区域中。设It是目标图像，Ir是参考图像，并且Mt是指示目标图像中的缺失区域的掩模。在目标图像It中，pt是缺失区域的像素，pr是参考图像Ir中对应的像素。为了确定pt的像素值，首先在Ir中搜索与pr相似的像素qr，然后用目标图像中与qr对应的像素qt来填充pt。为了提高效率，仅在与pr属于同一类别的像素中搜索qr。本文使用K-means聚类方法（Su和Dy，2007）将参考图像中的地物聚类为不同类别，并将结果表示为Cr。参考图像的超像素分割结果是基于简单线性迭代聚类（SLIC）方法（Achanta等人，2012），并将结果表示为Sr。根据经验，本文将SLIC中超像素的初始大小设置为18。总的来说，整个过程可以分为四个步骤。首先，对于参考图像的目标区域Ω内的每个超像素Pr，确定像素pr，即Pr Ir ∩ Ω，pr ∈ Pr。其次，在Ir的目标区域之外，确定与pr属于同一类的像素的区域Ωp。即：

        其中Cr（q）是像素q处的K均值聚类结果Cr的值。第三，在颜色结构一致性的约束下，在Ωp内搜索与pr相似的像素qr，注意在这个过程中使用每个像素的所有频带的信息：

        这里，MAE是所有波段的平均绝对误差。|Ir（qr）− Ir（pr）|Corr（Nqr，Nqt）是qr和qt的八连通邻域的相关系数，qt是目标图像It中对应于qr的像素。根据经验，阈值T被设置为0.9。因此，qr和pr具有相似的像素值和相似的相邻像素，并且参考图像与目标图像在像素q处一致，即，qr和pr在颜色上一致，qr和qt在结构上一致。当多于一个像素满足等式（8）时，选择最接近Pr的像素;否则，如果搜索失败，则处理超像素Pr中的下一个像素，直到Pr中的所有像素都已被处理。第四，如果确定了pr的相似像素qr，则可以用qt的值填充缺失像素pt，并且pt被更新为已知点。然后处理下一个超像素。在处理Ω中的所有超像素之后，这些求解的像素用于填充和更新目标图像。假设这些解出的像素的数量是k，更新的目标图像是I′ t，并且对应的掩模是M′ t，其中这些填充像素的标签被更新为已知的，则该过程可以总结为算法1。

        算法1稳定的像素布局与颜色结构控制

3.2.基于等照度线的缺失信息重建

        结合第一步更新的目标图像，基于等照度线的图像重建旨在根据参考图像的等照度线恢复目标图像中的缺失区域。在该处理中，图像之间的色差被分配给像素值变化较大的区域。设I* 为重建图像，Ω为原始目标区域，Ω′为更新后的目标区域。基于等照度线的图像重建的过程可以离散地表示为全局优化问题：

        这里，I（p）是图像I中像素p的等照度线，I（q）是图像I中q的像素值，并且Ω′是Ω′的外边界。根据公式（4）计算出Δ Ir Δ（p），其也可以表示为：

        假设Ω中有n个像素，Ω中有m个像素，因此更新目标图像后，Ω′中有n-k个像素。Ω Ω中的第i个像素表示为I（pi），1 ≤ i ≤ n + m。参考图像中的目标区域的最小值可以公式化为：

        其中W Ω '是大小为（n-k）×（n + m）的权重矩阵，w（pi，pj）是根据等式（5）（6）计算的pi和pj之间的梯度权重。Wpi是大小为1 ×（n + m）的权重矩阵，记录pi与其他像素之间的权重。显然，对于pi，只有当pj属于pi的八连通邻域时，才计算w（pi，pj）。否则，w（pi，pj）= 0。然后，等式（10）被公式化为：

        对于w（pi，pj），n−k + 1 ≤ i ≤ n + m：当i = j时，w（pi，pj）=1;否则，w（pi，pj）= 0。结果，根据等式（14）确定以缺失像素作为未知参数的线性等式系统。系数矩阵W是稀疏且对称的，其使用迭代求解器来求解。最后，填充目标图像中的缺失像素，生成重建图像I*。该过程可以总结为算法2。

算法2基于等像点的缺失信息重建

        注意，等式（4）中I（p）的等照度线计算和等式（14）中线性方程组的构建是针对单个波段的。对于多光谱或高光谱数据，利用参考图像中某个波段的等照度线信息，重建出目标图像中某个波段的缺失像元。4.实验与讨论进行了三组实验，包括模拟数据实验、真实数据实验和烧蚀实验。在消融实验中，给出了完整工作流程的重构结果和省略某个步骤的不完整工作流程的重构结果，验证了该方法机制的必要性和有效性。最后，将该方法与5种基准方法的结果进行了比较，验证了该方法的有效性。五种比较方法包括两种基于多时相的方法和三种混合方法，它们分别是：（1）加权线性回归方法（WLR），该方法通过为多时相图像中的每个像素及其对应的像素建立线性回归模型来恢复缺失区域（Zeng等人，2013）;（2）基于曲率的云去除方法（CCR），其将曲率信息作为图像重建的参考（Yu等人，2023）;（3）使用空间-时间-光谱深度卷积神经网络（STS-CNN）的图像重建方法（Zhang等人，2018）;（4）渐进时空云去除方法（PSTCR）（Zhang等人，2020）;（5）通过空间-光谱-时间连接张量网络分解（SSTC）的云去除方法（Zheng等人，2023年）的报告。这些比较方法和建议方法的源代码链接如下：

4.实验与讨论

        进行了三组实验，包括模拟数据实验、真实数据实验和烧蚀实验。在消融实验中，给出了完整工作流程的重构结果和省略某个步骤的不完整工作流程的重构结果，验证了该方法机制的必要性和有效性。最后，将该方法与5种基准方法的结果进行了比较，验证了该方法的有效性。五种比较方法包括两种基于多时相的方法和三种混合方法，它们分别是：（1）加权线性回归方法（WLR），该方法通过为多时相图像中的每个像素及其对应的像素建立线性回归模型来恢复缺失区域（Zeng等人，2013）;（2）基于曲率的云去除方法（CCR），其将曲率信息作为图像重建的参考（Yu等人，2023）;（3）使用空间-时间-光谱深度卷积神经网络（STS-CNN）的图像重建方法（Zhang等人，2018）;（4）渐进时空云去除方法（PSTCR）（Zhang等人，2020）;（5）通过空间-光谱-时间连接张量网络分解（SSTC）的云去除方法（Zheng等人，2023年）的报告。这些比较方法和建议方法的源代码链接如下：（1）CCR：https：//github.com/YuXiaoyu221/CCR-RS;（2）STS-CNN：https：//github.com/qzhang95/STS-CNN;（3）PSTCR：https：//github.com/WHUQZhang/PSTCR;（4）SSTC：https：//github.com/zhaoxile/SSTC_CR;（5）建议方法：www.example.com-信息-重建。本文中的所有实验都是在Windows 10系统上使用Matlab R2016b和Caffe框架（CPU模式）进行的。

4.1.模拟数据实验

        实验分为两部分：一是验证所提方法的有效性，二是分析所提方法对缺失区域大小的敏感性。由于这些实验中的模拟数据来自原始清晰图像，因此通过与原始清晰数据的比较，可以对实验结果进行定性和定量的评价。用于定量分析的度量包括平均结构相似性指数度量（M-SSIM）（Wang和Bovik，2002）、多尺度结构相似性指数度量（MS-SSIM）（Wang等人，2003）、峰值信噪比（PSNR）、图形清晰度（FD）、相关系数（CC）和交叉熵（CE）（Duan等人，2020年）的报告。M-SSIM和MS-SSIM在亮度、对比度和结构方面评估图像之间的相似性。M-SSIM算法采用滑动窗口计算局部区域的相似度，而MS-SSIM算法通过迭代下采样将SSIM算法应用于多尺度空间。PSNR和CE可以度量图像失真的程度。FD利用平均梯度来确定图像的清晰度。CC用于评价图像相似性。此外，还计算时间成本作为算法效率的度量。

4.1.1.拟定方法的有效性

        本节旨在验证该方法恢复因云覆盖和SLC关闭问题导致的丢失区域的能力。实验数据由红、绿色、蓝、近红外4个波段组成。图7（B）中示出了假彩色合成的原始清晰图像，分别标记为I1和I2。图7（a）显示了模拟云和SLC关闭问题的图像。请注意，两个图像中的缺失区域不重叠，否则无法完全填充缺失区域。图7（c）-（h）分别是WLR、CCR、STS-CNN、PSTCR、SSTC和所提出的方法的重建结果。图7（a）中的两幅图像显示出明显的辐射差异。这些差异在图7（c）-（h）中得到了有效的缓解。在图7（e）中，SLC关闭的缺失区域被很好地填充，但是对于重建的云区域，颜色仍然与周围区域不同。在图7（a）-（h）中的黄色矩形区域的放大结果中可以观察到更多的细节，并且四个放大区域被分别定义为Z1、Z2、Z3和Z4。在颜色方面，WLR方法的重建结果，如图7（c）所示，与图7（B）中的原始清晰图像非常一致。然而，由于WLR是基于像素的方法，因此空间连续性稍差，并且一些细节模糊，例如图7（c）的Z2和Z4中的绿色圆圈区域。通过CCR获得的图7（d）的空间连续性比图7（c）的好。尽管图7（d）中的这些结果非常接近原始清晰图像，但某些地面特征的颜色仍然不准确，例如Z2中的绿色圆圈区域。在图7（e）中的STC-CNN的结果中，Z1和Z3显示出比Z2和Z4更高的图像质量，这表明STC-CNN对于SLC-off问题比对于云覆盖问题更好地工作。如图7（f）所示，PSTCR在SLC关闭区域和云区域都取得了良好的结果。但在Z1和Z3中的绿色圆圈区域中，在SLC关闭区域周围仍然可以看到一些填充痕迹。图7（g）中的SSTC结果也显示出较高的颜色一致性，但Z2中的一些细节略微模糊，Z4的圆形区域中的颜色不那么准确。在图7（h）的结果中，空间不连续性和填充痕迹几乎不可见，并且颜色一致性也比图7（c）-（g）更令人满意，特别是在Z1和Z4中的绿色圆圈区域。除定性目视分析外，定量分析的结果如表1所示，其中符号↑表示值越高，结果越好，符号↓表示值越低，结果越好。这些度量是针对图像I1和I2单独计算的，并且每列中的两个图像的最佳结果用粗体表示。表1中的M-SSIM、MS-SSIM、PSNR、CC和CE指标表明，所提出的方法的重建结果与原始图像具有更高的相似性和更低的图像失真水平。FD指数也表明，该方法可更准确地从细节上得到结果.然而，根据表1中所示的每种方法的时间成本，与其他方法相比，所提出的方法的运行时间相对较长。

见图7。模拟实验数据。(a)模拟图像。(b)原始清晰图像。(c)WLR方法的结果。(d)CCR方法结果。(e)STS-CNN方法的结果。(f)PSTCR方法的结果。(g)SSTC方法的结果。(h)拟定方法的结果。

图7中实验结果的定量评价，其中“时间/m”表示时间单位为分钟。每列中图像I1和I2的最佳结果以粗体显示。

4.1.2.对缺失区域大小的敏感性

        本节实验数据包括红、绿色、蓝和近红外4个波段，大小为1451× 1251。具有真彩色组成的原始图像如图8所示。图8（a）-（B）分别是目标图像和参考图像。为了分析该方法对缺失区域大小的敏感性，目标图像中缺失区域的百分比范围为10%至95%。图9示出了具有不同大小的缺失区域的实验数据。图9（a）-（j）中缺失区域的百分比分别为10.55%、20.14%、30.70%、40.29%、50.04%、60.43%、70.02%、80.74%、90.41%和95.28%。在每幅图中，从左到右的图像分别是缺失信息的模拟图像，WLR，CCR，STS-CNN，PSTCR，SSTC和所提出的方法的重建结果。此外，计算这些结果的MS-SSIM、PSNR、CC值以及每种方法的时间成本并绘制在图10中。显然，当缺失区域不大时，这些方法产生了令人满意的结果。然而，一些方法的重建精度往往会随着缺失区域的大小的增加而降低。WLR是一种基于像素的方法。对于每个缺失的像素，WLR方法在搜索窗口内搜索相似的像素，然后在这些像素之间建立回归模型。较大的缺失区域通常意味着较大的搜索窗口和较少的相似像素。因此，WLR方法重建结果的视觉效果并不稳定。例如，图9（g）-（j）中的WLR方法结果中的黄色矩形区域表现出异常颜色和不连续性。此外，图10（d）表明，WLR的时间成本随着缺失区域的大小而增加。根据图10，当缺失区域的百分比不太大时，CCR方法是有效的。图9（a）-（e）中的CCR的结果示出了高的重建精度和良好的颜色一致性。但是当缺失区域的百分比大于70%时，如图9（h）-（j）所示，缺失区域中间的颜色略暗，并且MS-SSIM、PSNR、CC值也降低。对于较大的缺失区域，CCR的时间成本也往往较高。在这些实验中，STS-CNN在解决图像去噪问题而不是大面积重建问题方面表现出色，而PSTCR在大面积重建方面的表现优于STS-CNN。当处理较小的缺失区域时，SSTC可以获得更令人满意的结果。如图9和图10所示，当缺失区域的百分比小于50%时，PSTCR方法可以获得良好的结果。当缺失区域比例达到60%时，PSTCR方法的重建精度明显下降。在图9（j）中，PSTCR方法的结果中的细节模糊，并且还出现异常颜色。当缺失区域尺寸小于30%时，SSTC的图9中的结果显示出与图8（a）中的原始干净图像的更高的一致性。随着缺失区域的增大，参考图像对重建结果辐射特性的影响也越来越大，这与STS-CNN方法有相似的趋势。然而，STS-CNN，PSTCR和SSTC的时间成本保持相对稳定，即使缺失区域的大小不断增加。相反，当缺失区域的大小小于60%时，所提出的方法的时间成本趋于增加。但当规模超过70%时，时间成本降低。缺失区域越大，需要求解的像素就越多，相似像素的搜索范围就越小。该方法的重建结果非常令人满意，与原始干净图像保持了很强的相似性，即使丢失区域的比例达到95%。在图10（d）中，MSSSIM、PSNR和CC度量的值随着缺失区域的大小增加而呈现缓慢变化。这些度量的曲线是稳定的，并且整个图像保持均匀的颜色。总体而言，MS-SSIM值在3%内波动（最大值= 0.9739，最小值= 0.9350），PSNR值在6%内波动（最大值= 27.62，最小值= 25.99），CC值在3%内波动（最大值= 0.9499，最小值= 0.9286）。因此，该方法被证明是不敏感的缺失区域的大小。

见图8。原始图像。(a)目标图像。(b)指涉影像。

        参考图9。模拟不同大小缺失区域的实验数据。（a）~（j）中缺失区域的百分比分别为10.55%、20.14%、30.70%、40.29%、50.04%、60.43%、70.02%、80.74%、90.41%和95.28%。在（a）-（j）的每个图中，从左到右的图像分别是具有缺失信息的模拟数据、WLR、CCR、STS-CNN、PSTCR、SSTC和所提出的方法的重建结果。

见图10。定量评价不同方法和不同缺失区域大小的结果。

4.2.真实的数据实验

        本部分采用20 m空间分辨率的Sentinel-2影像和30 m空间分辨率的Landsat-7影像，进行了三组真实的数据实验。在真实的数据实验中，采用Dong等人的云检测方法检测出相应的云掩模，（2019年版）。对于具有SLC关闭问题的Landsat 7图像，通过阈值处理获得标记未扫描像素的掩模，其中根据（Pringle等人，2009年）的报告。此外，为了实现更好的重建，适当地扩大原始掩模以确定丢失区域的最终掩模（Shen等人，2015年）的报告。第一组实验采用Sentinel-2卫星云图和真实的云数据，对所提方法在大面积缺失数据上的性能进行了评估。图11示出了真彩色合成的图像。图11（a）-（B）是真实的云污染图像和参考图像。图11（c）-（g）分别是通过WLR、CCR、PSTCR、SSTC和所提出的方法获得的重建图像。两个黄色矩形区域中的细节也被放大并显示如下。观察到图11（a）和图11（B）之间明显的颜色差异。在图11（c）所示的重建结果中，色差被消除，但空间连续性和图像质量下降，特别是在绿色圆圈区域。在图11（d）中，使用CCR方法填充，与图11（c）相比，缩放区域显示出更均匀的颜色和更好的空间连续性。然而，图11（d）中的中心区域的颜色与图像的其余部分稍微不协调，并且中心区域具有较暗的颜色。在图11（e）的PSTCR结果中，放大区域1在湖中和沿着显示出异常颜色，放大区域2中的地面细节也大大丢失，例如在这些绿色圆圈区域中。在图11（f）的SSTC结果中观察到明显的噪声，例如在放大区域中，并且缺失区域的内部区域比边界区域受到更严重的影响。通常，图11（g）中所提出的方法的结果是令人满意的，具有高颜色一致性。即使在云覆盖面积最大的中心和边缘区域，也能很好地保持空间连续性和细节信息，证明了该方法在大面积缺失图像上的性能。

见图11。真实的云图像大小为2204× 1800。(a)被云污染的图像。(b)指涉影像。(c)WLR方法的结果。(d)CCR方法的结果。(e)PSTCR方法的结果。(f)SSTC方法的结果。(g)拟定方法的结果。

        以Landsat-7多光谱遥感影像为实验数据，采用了SLC-off问题，影像大小为2183× 1811。图12是真彩色合成的数据。图12（a）示出了一对真实的的SLC关闭图像。两个图像中的丢失区域不重叠，因此这些丢失像素可以完全恢复。图12（B）-（g）分别是通过WLR、CCR、STS-CNN、PSTCR、SSTC和所提出的方法获得的重建图像。为了更详细的比较，图12的黄色矩形中的这些区域已经被放大，并且分别被表示为Z1、Z2、Z3和Z4。另外，Z2和Z3是两幅图像中相同区域的缩放结果，即Z2和Z3主要是基于彼此的互补信息来恢复的。图12（B）-（c）中Z1和Z4中的绿色圆圈显示了明显的颜色不一致性和空间不连续性。当缺失的条带穿过图像中的平滑特征（例如建筑物表面和河流）时，这些问题甚至更加明显。采用PSTCR方法，Z3的颜色一致性略有改善，如图12（e）所示。然而，图12（e）中Z4的结果不是很令人满意。这个问题在图12（f）的SSTC结果中也是明显的，与图12（e）相比，Z2和Z4中的颜色不连续性更严重。在图12（d）所示的STSCNN方法的结果中，填充区域和空白区域之间的色差几乎消失。但是填充区域的一些细节丢失并且空间信息模糊，例如Z1、Z2和Z4中的绿色圆圈。相比之下，图12（g）中的重建结果实现了高颜色一致性和高空间连续性，并且重建区域与周围环境之间的接缝是不可见的。仿真结果表明，该方法在辅助信息不足的情况下也具有一定的适用性。除了使用来自同一卫星传感器的图像外，该实验还使用了具有SLC关闭问题的全部Landsat 7数据作为目标图像，并使用了20 m分辨率的Sentinel-2数据作为参考图像。首先对参考图像进行降采样以匹配目标图像的分辨率（30 m），然后根据与目标图像的重叠区域对参考图像进行镶嵌和裁剪。所有这些过程均使用ENVI 5.3进行。真彩色组成数据如图13所示。图13（a）-（d）中的目标图像和参考图像分别在2022年7月（夏季）、2022年10月（秋季）、2023年1月（冬季）和2023年3月（春季）前后采集。图13（a）中的三幅图像分别是Landsat 7图像、Sentinel-2图像和所提出方法的重建结果。通常，目标图像中缺失的信息被有效地恢复。根据两个橙子矩形区域的放大细节，即使对于如图13（c）所示的具有显著颜色差异的数据和如图13（d）所示的具有轻微不一致性的土地覆盖，所提出的方法也能够利用来自目标图像的辅助信息有效地恢复缺失像素，并且具有良好的颜色一致性和高度的空间连续性。验证了该方法的可行性。

见图12。SLC-off陆地卫星-7的图像，大小为2183× 1811。(a)存在SLC关闭问题的Landsat-7图像。(b)WLR方法的结果。(c)CCR方法的结果。(d)STS-CNN方法的结果。(e)PSTCR方法的结果。(f)SSTC方法的结果。(g)拟定方法的结果。

见图13。。在不同季节采集的实验数据。(a)2022年7月（夏季）。(b)2022年10月（秋季）。(c)2023年1月（冬季）。(d)2023年3月（春季）。

4.3.消融实验

        消融实验的进行，以显示的必要性和有效性的方法机制。该方法包括稳定像素布局（SPL）和基于等照度线的信息重构两个步骤。在本节中，还生成了没有SPL的结果，以评估其对重建效果的影响。实验数据如图14所示。图14（a）为原始清晰图像，图14（B）为部分区域缺失的模拟目标图像，图14（c）为参考图像。图14（B）中的两个缺失区域分别表示为M1和M2。基于来自图14（c）的辅助信息，在图14（B）上执行没有SPL的基于等照度线的图像重建，并且结果在图14（d）中示出。图14（e）是用SPL结果更新的目标图像。图14（f）是所提出的使用SPL的方法的结果，即，图14（e）的基于等照度线的图像重建结果。显然，在图14（d）的M1中，绿色圆形区域1（G1）的颜色与绿色圆形区域2（G2）的颜色不一致。在这种情况下，P周围的等照度线沿着桥的方向。信息从M1的外边界传播到G1侧。但是在桥周围，图14（B）和图14（c）之间的显著辐射差异影响G1侧的重建结果。另外，由于在这一侧没有可靠的辅助信息，仅根据等照度线信息进行重建会降低G1的重建精度。根据图14（e）中SPL的结果，充分利用图像中清晰区域的空间信息填充了一些像素，因此图14（f）中的结果更可靠。实验结果的定量评价如表2所示。两个缺失区域的MS-SSIM、PSNR和CE值也表明，与图14（d）相比，图14（f）以更高的重建精度实现了令人满意的结果。然而，SPL的过程需要更长的时间来引入具有可靠的时空信息的稳定的相似像素，从而导致显著更高的时间成本。此外，图15示出了图14中的图像的点P处的水平轮廓。将点P的同一行中的所有像素作为样本，并且将每个像素的行坐标和对应的像素值分别作为水平轴和垂直轴。图15中的蓝线和红线分别表示空白区域和缺失区域的范围，箭头指向桥梁的位置。图15（a）-（d）来自图14（a）-（d），并且图15（e）来自图14（f）。在图15（e）中，两个黑点是通过SPL求解的像素，其对应于图14（e）中的P1和P2。显然，在图15（a）中，桥梁的灰度值低于河流的灰度值，而在图15（c）中，桥梁的灰度值高于河流的灰度值。这导致图15（d）中从桥到右侧区域的颜色不正确。然而，基于由SPL填充的这些像素的辅助信息，图15（e）中的缺失区域的颜色与图15（a）中的缺失区域的颜色更一致。从而验证了该方法机制的必要性和有效性。

见图14。稳定像素布局的必要性。(a)原始清晰图像。(b)模拟目标图像。(c)指涉影像。(d)图14（a）中基于等照度线的图像重建结果。(e)在稳定像素布局后更新目标图像。(f)图14（e）中基于等照度线的图像重建结果。

见图15。图14中P点处的水平剖面。（a）-（e）分别来自图14（a）-（d）和（f）。图15（e）中的两个黑点是由SPL解出的像素，它们对应于图14（e）中的P1和P2。

表2图14中实验结果的定量评价，其中“Time/s "说明时间单位为秒。

4.4.讨论

        在这些实验中，所提出的方法被用于恢复有云覆盖、SLC-off问题和截止时间问题的图像。实验结果表明，该方法显著地提高了算法的收敛速度和收敛速度.在等照度线约束下，该方法将多时相影像间的辐射差异尽量分配到像素值变化较大的区域，而属于同一地物的像素将具有相似的值，从而保证了地物的内在稳定性，增大了地物间的差异。如图3所示，与基于梯度的方法相比，所提出的方法获得了更高的河流内部稳定性和更好的沿着海岸线的边缘细节。本文将信息重构问题表示为一个以图像间等照度线差最小为目标的全局优化问题。如图9（j）和图11（c）所示，与逐像素重建图像的WLR方法相比，所提出的方法的重建图像显示出更好的空间连续性。虽然等照度线约束可以很好地保留地物间的边缘细节，但某些地物的色彩保真度仍不能得到保证，如图14（d）所示。因此，在基于等照度线的图像重建之前，进一步利用缺失区域外的辅助信息，以更稳定的像素更新目标图像，如图14（e）所示。在颜色结构控制下求解这些像素，并且这些像素均匀地分布在缺失区域的每个均匀着色的小区域中。因此，图14（f）在视觉上和定量上都获得了更合理的结果。然而，需要注意的是，SPL过程引入具有可靠时空信息的稳定相似像素需要花费更高的时间成本。将图7（d）-（g）与图7（h）进行比较，图7（h）中的湖泊颜色保真度明显更好，这突出了所提出的方法相对于对比方法的优越性。此外，图7、图9和图12中的实验也证明了所提出的方法在不同的缺失信息下具有较高的适用性

        重建任务，包括云覆盖问题和SLC关闭问题。该方法也被证明是有效的图像与大的丢失区域。在图11（a）中，最大的云包含超过106个像素，而图11（f）中的结果仍然令人满意，具有较高的空间连续性。特别地，当缺失区域的百分比达到95%时，如图9（j）和图10所示，所提出的方法的MS-SSIM、PSNR和CC值保持稳定，并且整个图像的颜色保持均匀，表明所提出的方法即使在图像信息严重丢失的情况下也是适用的。由于目标图像中特定波段的缺失像素是利用参考图像中相应波段的等照度线信息来恢复的，因此该方法也适用于多光谱或高光谱数据。此外，图13中还给出了从不同的卫星传感器获得目标图像和参考图像的情况，并且图13（a）-（d）中的四对原始图像是在不同的季节捕获的。实验结果也证实了所提出的方法的适用性。然而，当参考图像和目标图像之间发生土地覆盖变化时，所提出的方法的重建精度将不可避免地受到负面影响。因此，使用在接近的时间采集的多时间图像是必不可少的可靠的重建结果。

5.结论

        遥感影像中不可避免地存在着大量的信息缺失，严重限制了遥感数据的可用性。为此，本文提出了一种结合等照度线约束和颜色结构控制的遥感数据缺失信息恢复方法。该方法利用等照度线信息作为缺失区域重建的约束条件，其中等照度线信息表示具有相同光照强度的相邻像素。由于最小梯度方向上的权重较大，相似像素之间的差异往往保持恒定，而图像之间的辐射不一致性被分配给像素值发生显着变化的区域。这一过程保证了特征的内在稳定性，增加了不同特征之间的差异，也有利于后续的遥感应用，如土地覆盖分类。此外，为了提高重建结果的色彩逼真度和重建精度，在基于等照度线的图像重建之前，充分利用图像中缺失区域以外的辅助信息，对目标图像进行更多像素的填充。这些像素在颜色结构的约束下求解，并均匀分布在缺失区域的每个均匀着色的小区域中。实验结果表明，所提出的方法的强度定性和定量。当目标图像和参考图像之间的地表覆盖变化不显著时，该方法能够在不同的缺失信息重建任务中产生视觉上合理且重建精度高的图像。然而，仍然存在一些局限性。在该方法中，只有一个单一的参考图像的互补信息被用来恢复目标图像中的丢失区域，即使在多时相图像是可用的。未来将探索更多的策略来充分利用这些多时相和多传感器图像。

        相互竞争利益的声明作者声明，他们没有已知的相互竞争的经济利益或个人关系，可能会影响本文所报告的工作。

致谢

        本工作得到了国家自然科学基金项目（批准号：41971422和42090011）的资助。这项工作还得到了中央大学基础研究基金（批准号：2042022dx0001）和LIESMARS特别研究基金的支持。