如何规范化卫星图像以用于深度学习

对于深度学习 (DL) 应用来说，输入数据的归一化是影响网络收敛和最终结果的重要步骤。对于长尾卫星信号，正确的归一化可能是一项艰巨的挑战——我们厌倦了试图理解为什么我们在一个位置训练的模型并不总是能像我们想象的那样顺利地转换到另一个位置——因此，我们开始探索哪种归一化方案最适合这项任务。

介绍

基于深度学习的卫星图像自动田地划分正成为大规模土地覆盖和作物生产评估与监测的重要工具。工作流程中的步骤之一是波段值的归一化，这会影响网络性能和结果质量。

本研究旨在探究并量化几种归一化方法对我们现有场描绘算法性能的影响。此外，我们还想评估使用单一归一化因子进行大规模应用的可行性，该算法在各种波段分布变化下均能表现良好。为此，训练数据集必须包含来自更大地理区域（用于捕捉反射率变化）的图像，以及一个较长时间段（全年）的图像，以捕捉季节变化。

对图像进行适当的归一化是一个经常被低估的步骤，尽管它对深度学习算法至关重要。通常，输入图像会被归一化，使平均值以 0 为中心，标准差以 1 为中心 [1][2]。当分布接近正态分布时，此假设成立，但对于反射率或数字值 (DN) 的情况则不太适用，因为它们以 0 为界且具有长尾特征。此外，饱和的 DN 值代表异常值，这会极大地影响计算出的统计数据。在本研究中，我们旨在探索不同的归一化方法，这些方法将更适合卫星图像数据的特性，并能够使分布居中，并减少异常值的影响。

我们介绍了对卫星图像直方图、不同归一化方法及其对整个欧洲地区田地划分结果的影响的研究。首先，我们展示了为本研究获取的卫星图像数据集。接下来，我们研究了图像直方图变异性随土地类型、地理位置和时间段的变化。由于我们对农业用地的田地划分感兴趣，因此我们重点研究了农田随地理位置变化的情况。然后，我们介绍了三种直方图归一化方法，并比较了它们在自动田地划分中的结果。

虽然我们专注于田地划分算法，但这里提出的研究结果可以适用于基于机器学习的不同大规模应用，例如土地覆盖、作物分类和超分辨率。

数据集

该数据集旨在捕捉欧洲不同地理位置和不同时间段的变化。选择小斑块以便对给定的总采样区域进行更好的空间采样。获得了遍布欧洲和一些邻近地区全年的 Sentinel 2 L1C 波段，其中 10 000 个斑块随机分布，大小为 256 × 256 像素，分辨率为 10 米。这些斑块对应于给定欧洲 AOI 的 0.66%，如图 1（顶部）所示。选择 B2、B3、B4 和 B8 波段进行分析。使用s2cloudless和eo-learn中的雪景遮罩功能对图像进行过滤以去除雪景和多云图像。过滤后，数据集总共包含 1.8 亿像素。还下载了每个斑块的ESA World Cover数据，以获取有关土地类型（即树木覆盖、农田、水域等）的信息。图 1（底部）显示了一个斑块和相应的土地覆盖数据的示例。

整个工作流程是使用 Sentinel Hub、 eo-learn和eo-grow的功能实现的。

图 1：构成数据集的欧洲和邻近地区随机分布的斑块（顶部）；斑块的 RGB 图像示例以及相应的世界覆盖数据（底部）。

数据集一览

我们根据不同的参数（土地覆盖、地理位置和时间段）探索了所考虑波段的直方图的属性和可变性。

土地覆盖勘探

首先，研究了土地覆盖方面的采样像素分布，如图 2 所示。ESA 土地覆盖不提供年内时间数据，因此我们在本次探索中考虑了 Sentinel-2 数据的单一时间框架。

从图2中我们可以看出，树木覆盖是样本数据集中最具代表性的土地覆盖类别，其次是草地和农田。需要注意的是，这些分布会受到World Coverage分类误差的影响，因此实际值可能会略有不同。

图2：数据集样本空间像素的土地覆盖分布。

接下来，我们探讨不同土地覆盖类别对整个波段 DN 值像素直方图的贡献（图 3）。请记住，对于 Sentinel-2，反射率是通过将 DN 值除以 10 000 得到的。为了提高可视性和便于比较，我们添加了数据的对数刻度。从图3中我们可以看到，水体在直方图的左侧部分（B3、B4、B8波段）占主导地位。本次分析中最受关注的农田类别位于直方图的中部，与B2、B3和B4波段的草地高度重叠。在选择合适的归一化方法时，特定土地覆盖类别在整个直方图中的相对位置信息非常重要，因为归一化方法会影响直方图的不同部分。

图 3：不同土地覆盖的线性尺度（左）和对数尺度（右）的波段直方图。

地理探索

为了分析波段DN值的地理变异性，将欧洲AOI划分为不同的区域（如图4所示）。选取按划分网格划分的五个不同区域，比较直方图的变化，如图5所示。

图 4：欧洲 AOI 的位置划分，其中包含每个象限中样本斑块的平均经纬度。用于进一步比较的选定象限的中心以红色标出。

图 5：带 DN 值直方图的位置变化。

从图5中我们可以看出，DN值的变异与区域纬度的相关性远高于与经度的相关性，因为纬度相近的区域的直方图显示出最高的相似性。这种差异在B4波段的值中最为明显。

为了分析欧洲地区农业用地的地理（位置）变异性，我们仅对农田土地覆盖类别进行了比较，如图6所示。同样，在农田直方图中可以观察到不同区域纬度的差异。例如，蓝色（西班牙）和紫色（土耳其）直方图非常相似，与红色（波罗的海国家）和橙色（英国）直方图差异很大，但红色和橙色直方图彼此之间相似。绿色直方图（匈牙利）位于上述两对之间。这些差异意味着，为一个区域计算的归一化因子可能并不同样适用于不同纬度区域的归一化。

图 6：农田直方图的位置变异性。

时间探索

最后，对波段值的时间差异进行了分析。数据集按月划分，样本的月份分布如图7所示。我们可以看到，当使用雪云遮罩过滤欧洲区域时，冬季月份的采集数据会被更多地过滤掉，导致分布在7月份达到峰值。

图 7：按每月时间段划分的数据集样本分布。

图8显示了波段DN直方图的时间变化。在所有波段中，由于植被存在差异，1月和7月之间的差异最为明显。这些差异在B4和B8波段最为明显，这强烈反映了植被的变化。

图 8：波段 DN 值直方图的时间变化。

在选择用于数字土地利用（DL）的时间段时，卫星图像的时间变化非常重要，尤其是在田地划分方面。田地随季节变化而发生显著变化，不仅受到自然变化的影响，还受到耕作活动的影响。

直方图归一化

输入数据的归一化非常重要，因为网络训练的收敛取决于输入值；如果将输入变换为均值为零且方差为单位，则收敛速度会更快 [1]。这被称为输入直方图归一化或标准化。由于网络通常使用均值为 0 的随机权重进行初始化，因此它能够使网络在良好的范围内运行。根据标准差对图像进行归一化可以防止梯度爆炸。如果计算的特征值过大，就可能出现梯度爆炸，从而增加网络收敛的难度。

虽然在输入数据服从近似正态分布的许多情况下，直方图标准化可能是最佳选择，但对于DN，由于带状分布呈长尾分布且零界，应用标准化并不能赋予网络操作所需的数据属性。这个问题已经通过对带状数据应用不同的标准化函数得到解决[ 3 ]。在本研究中，我们将测试三种不同的标准化方法，旨在为野外描绘中的网络操作提供更均衡的数据。

线性归一化

线性归一化会将给定的输入值范围重新映射到更适合当前任务的不同范围。它通过对波段 DN 值应用线性缩放函数来实现：

其中a和b是结果范围的下限和上限，c和d是输入范围的下限和上限。结果值的范围选择在 0 到 1 之间，并且可以通过选择不同的c和d值来执行缩放。一种选择是简单地取输入数据的最小值和最大值。问题在于，尤其是对于长尾信号，单个异常值可能会极大地影响c或d的值，从而导致非常不具代表性的缩放。更稳健的方法是选择值直方图的第 1 和第 99 个百分位数的c和d - 这可以减少少数异常值对缩放的影响。

我们用三组不同的参数测试了线性归一化：

• c, d为最小值，最大值
• c、d分别表示第 1 和第 99 个百分位数
• c、d为第 1 和第 99 个百分位数，范围在 0 到 1 之间

图 9 展示了一些具有线性归一化的带直方图变换的示例。

图 9：针对波段 B2（a）和 B8（b）使用不同参数集进行线性归一化的示例。

在图 9 中我们看到，当c和d分别为min和max（右上）时，直方图值的范围转换为区间 [0,1]，但直方图的长尾形状保持不变。这意味着有效范围缩小到一个较小的区间，例如，对于 B2 波段，介于 0.02 和 0.08 之间。另一方面，当 c 、d分别为第 1 和第 99 个百分位数且没有边界时，直方图的中间部分以 [0,1] 为中心，下限和上限 1% 的值延伸到此区间之外，从而保留了分布的长尾形状。使用边界后，直方图值的整个范围位于区间 [0, 1] 内，其中下限和上限百分比的值被挤压（压缩）在极端（第一个或最后一个）直方图箱中。边界可能会导致一些信息丢失。由于这些变换是线性的，因此原始分布的形状得以维持。

动态世界规范化方案

我们测试了 [ 3 ]中介绍的归一化方案。首先，对原始信号进行对数变换，以处理不平衡的长尾值。接下来，将对数变换后信号的 30% 和 70% 百分位数重新映射到 S 形函数上的点。这将生成的直方图范围限制在区间 [0,1] 内，并将极值压缩（压缩）到较小的范围内 [ 3 ]。为了试验对数变换对归一化的影响，我们还测试了不使用对数变换的方案，并使用不同的百分位数值进行重新映射。使用的四个参数集如下：

• 经过对数变换后的 30/70 百分位数
• 经过对数变换后的 30/50 百分位数
• 未进行对数变换的第 30/95 百分位数
• 未进行对数变换的第 20/95 百分位数

图 10 显示了转换后的直方图示例。

图 10：不同参数的动态世界标准化方案对 B2 和 B8 波段 DN 直方图的影响。

比较图 10 中的对数和非对数归一化，我们发现对数归一化的效果是保留直方图的平尾，而非对数归一化则会压缩（压缩）长直方图尾部的值，类似于线性归一化中的边界。对映射百分位数使用不同的值会导致最终归一化直方图的形状略有不同。此外，这些非线性变换会改变波段值的原始分布。

直方图均衡化

与线性归一化不同，直方图均衡化是一种直方图建模技术，它在输入和结果信号之间应用非线性映射，并提供一种获取任何所需直方图形状的方法。直方图均衡化基于累积直方图定义映射，并将输入（在本例中为长尾DN直方图）重新映射到均匀分布。它通过将波段值扩展到整个输出范围来增加对比度。我们使用每个波段的40 000个箱体来构建欧洲数据集的累积分布，以获得映射函数。图11显示了对数据集直方图进行直方图均衡化后，每个波段获得的均匀分布。

图 11：通过直方图均衡化获得的每个波段的均匀分布。

标准化方法的可视化

为了进行比较，我们可以直观地展示三种归一化方法的效果。图 12 展示了不同归一化变换下 Sentinel L1C RGB 图像（B4、B3、B2 波段）和假彩色图像（B8、B4、B3 波段）的一些示例。使用 0 到 1 之间的输出范围的优势在于，我们可以直观地评估和解释归一化的效果，而如果我们使用 [-1,1] 等范围，这将更具挑战性。

图 12：不同归一化变换下的 Sentinel L1C RGB 图像（波段 B4、B3、B2）和假彩色图像（波段 B8、B4、B3）的示例。

如图 12 所示，以min / max作为c和d 的线性归一化对图像外观没有影响，因为值发生了变化，但保留了原始波段直方图的所有属性。使用第 1 和第 99 个百分位数作为c和d，图像的对比度得到改善，无论有无边界。动态世界对数和非对数变换对图像有更显著的影响，因为它们改变了波段直方图的形状。我们看到植被和非植被土地之间的差异得到了进一步增强，这在显示红色 B8 波段的假彩色图像中最为明显。这种效果可能对许多旨在区分植被和非植被区域的图像处理或 DL 应用程序有益。直方图均衡化对图像具有最显著的视觉效果，这并不奇怪，因为直方图从窄峰和长尾直方图重新整形为均匀分布。

虽然这些变换对人眼来说很有趣，但它们对网络性能的影响并不总是可预测且直观的。因此，我们进一步研究了哪种变换最适合我们的场描绘应用。

田野划界实验

为了探索不同归一化方法对深度学习架构训练的影响，我们利用现有的场描绘算法进行了一系列实验。我们使用ai4boundaries数据集的子集进行模型训练，并使用一个权重随机初始化的 UNET 作为基础模型。每种归一化方法的模型训练均进行了 4 个 epoch。

首先通过评估训练集和验证集的损失来比较实验结果在网络收敛性方面的表现。如图 13 所示。

图 13：每种归一化方法在 4 个时期内的训练和验证损失。

在图 13 中我们可以看到，以c, d为 1 和 99 百分位数的线性归一化方法在训练和验证损失方面取得了最佳结果，其有界版本紧随其后。以c, d为min / max的线性归一化方法结果最差，尽管与其他方法相比，其收敛速度更快。直方图均衡化和非线性动态世界归一化方案在其所有测试形式中均在本次测试中获得了相当的结果。

虽然三种线性归一化方法的损失在训练数据集和验证数据集之间相当，但非线性方法的情况并非如此。对于这些方法，验证损失不是单调递减的，这可能表明收敛稳定性较差。

还计算了交并比 (IoU)、准确度和马修斯相关系数 (MCC) 方面的性能指标，如图 14 所示。它们表现出类似的行为和标准化方法的排名，其中c、d作为第 1 和第 99 个百分位数的线性标准化给出最佳结果，而c、d作为最小值/最大值的线性标准化表现最差。

图 14：每种标准化方法的性能指标。

值得注意的是，4 个 epoch 可能不足以得出最终收敛状态的结论，并且如果有足够的时间，所有方法可能都达到相同的性能。然而，我们的分析已经表明，某些方法比其他方法具有更快速、更稳定的收敛速度。

我们发现，选择合适的归一化方法不仅会影响训练和验证阶段的收敛性，还会影响最终结果。然而，选择方法并非易事，因为类似的方法可能会产生截然不同的结果，正如我们在不同类型的线性归一化中看到的那样，反之亦然；在网络收敛性和最终性能方面，差异显著的归一化方法可能会产生相当相似的结果。我们实验的观察结果表明，将直方图数据的主要部分映射到区间 [0, 1] 中，并将异常值移出该区间（通过在线性归一化中使用第 1 和第 99 个百分位数）对网络收敛性和性能具有显著的积极影响。

结论

我们探索了卫星图像波段数据的位置和时间变异性，发现纬度是影响我们研究区域DN波段直方图的最重要位置参数，这可能是因为它对气候和植被的影响。此外，植被随季节变化对时间变异性的贡献最大。这两种影响也反映在农田直方图中，这对于田间划分尤为重要。

我们选择了三种不同类型的直方图归一化方法，并研究了它们对最终DN带状直方图的影响。尽管在非线性带状直方图变换的情况下，视觉效果可能非常显著，但网络的收敛性和性能并不受这些变化的影响。相反，我们的场描绘实验结果表明，即使对同一方法进行微小的修改（例如，我们如何变换异常值），也会对模型的收敛性和性能产生更大的影响。