【Data fusion】论文阅读——Multisensor image fusion in remote sensing: concepts, methods and applications

1.Introduction

地球观测卫星以不同的空间、时间和光谱分辨率提供涵盖电磁频谱不同部分的数据。为了充分利用日益复杂的多源数据，正在开发先进的分析或数值数据融合技术（Shen 1990）。由于结合了具有不同特征的数据，融合图像可以提供更高的解释能力和更可靠的结果。这些图像的光谱、空间和时间分辨率各不相同，因此可以提供更完整的观察对象视图。

图像融合的目的是整合不同的数据，以获得比单独从单个传感器数据中获得的信息更多的信息（“1+1=3”）。一个很好的例子是将对可见光/红外 (VIR) 敏感的传感器获取的图像与来自有源合成孔径雷达 (SAR) 的数据进行融合。 VIR 图像中包含的信息取决于被太阳光照射的目标的多光谱反射率。 SAR 图像强度取决于被照射表面目标的特性以及信号本身。这些不同数据的融合有助于理解所观察到的物体。

图像融合有很多方面需要考虑。在能够实施和使用图像融合方法之前，用户需要回答的一些问题包括：

• 用户的目标/应用是什么？
• 哪些类型的数据对满足这些需求最有用？
• 针对特定应用程序融合这些数据类型的“最佳”技术是什么？
• 涉及哪些必要的预处理步骤？
• 哪种数据组合最成功？

这些和其他问题包括大量需要考虑的参数。首先要回答的最重要的问题是：需要数据的应用程序是什么？认识到有可能确定必要的光谱和空间分辨率，这再次对遥感数据的选择产生影响。传感器的选择取决于卫星和传感器特性，例如

• 轨道;
• 平台；
• 光学和雷达卫星的成像几何；
• 光谱、空间和时间分辨率（Pohl 和 Genderen 1993）。

特定数据的可用性也起着重要作用。它取决于卫星覆盖范围、运行卫星的航天局的运营方面、云层覆盖等大气限制、财务问题等（Pohl 1996）。

下一步是选择合适的融合层。预处理步骤取决于此。在基于像素的图像融合的情况下，地理编码至关重要。与数据的几何校正有关，细节如

• 几何模型
• 地面控制点（数量、分布、精度）
• 数字高程模型
• 重采样方法等

需要更进一步的考虑。

选择哪种技术的问题与评价标准的定义密切相关。这两个领域都很难定义，并且在很大程度上取决于经验结果（有关该主题的进一步考虑在第 4 节和第 6.2 节中进行了回顾）。

该应用程序还定义了哪些季节和天气条件可能与融合结果相关。当然，这同样适用于观察区域。尤其是地形对融合后的遥感数据影响很大，除了实际地表覆盖和土地利用。为了充分利用图像融合的好处，另一个相关问题是选择合适的解释方法。特别是在融合非常不同的数据集时，例如 VIR 和 SAR，得到的灰度值可能不涉及物理属性。必须使用基本事实仔细评估数据以进行验证（Pohl 1996，Polidori 和 Mangolini 1996）。牢记所有这些考虑因素，需要进一步研究来概括和操作图像融合。

图像融合需要良好的技术以及对输入数据的理解。本文从图像融合术语的定义、现有技术的解释以及图像融合成果的评价等方面对图像融合的研究作一综述。它是由五个部分组成的。在这个介绍之后，图像融合的定义提供了所涉及的概念。然后本文解释了为什么和在什么情况下图像融合可能是有用的。然后，我们会检讨现有的技术，包括所需的加工性能，并概述有关数据融合的评估准则。最后总结了图像融合的优点和局限性。

2.图像融合的概念

数据融合是一个处理来自多个来源的数据和信息的过程，以获得用于决策的改进/改进信息（Hall 1992）。图像融合的一般定义为“图像融合是通过使用某种算法将两个或多个不同的图像组合成一个新的图像”（Genderen 和 Pohl 1994）。

根据融合发生的阶段，图像融合在三个不同的处理级上执行：

• 1. 像素
• 2. 特征
• 3. 决策。

像素级图像融合是指对测量物理参数进行融合的最低处理级图像融合。图1显示了基于像素的融合的概念。它使用栅格数据，至少是共同注册，但最常见的地理编码。地理编码起着至关重要的作用，因为错误的配准会导致多传感器数据集中的人为颜色或特征，而这些颜色或特征会在以后伪造解释。它包括将图像数据重新采样到一个共同的像素间距和地图投影，后者仅在地理编码的情况下使用。本文比较了程等人(1995)和图坦(1994)提出的遥感数据几何和辐射校正方法。

特征级融合需要提取在各种数据源中识别的对象，例如，使用分割程序。特征对应于从初始图像中提取的特征，这些特征取决于它们的环境，例如范围、形状和邻域（Mangolini 1994）。这些来自多个来源的相似对象（例如，区域）相互分配，然后使用统计方法或人工神经网络 (ANN) 进行融合以进行进一步评估。

决策或解释级融合表示一种使用增值数据的方法，其中输入图像被单独处理以进行信息提取。然后将获得的信息组合起来，应用决策规则来加强共同的解释和解决差异，并提供对观察对象的更好理解（Shen 1990）。