变化检测综述：Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges

Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges

基于人工智能变化检测：最先进的和挑战

Abstract

基于遥感（RS）数据的变化检测是检测地球表面变化的重要方法，并且在城市规划，环境监测，农业调查，灾害评估和地图修订中具有广泛的应用。近年来，综合人工智能（AI）技术已成为开发新变化检测方法的研究重点。虽然一些研究人员声称AI的变化检测方法优于传统的变化检测方法，但它没有立即明显如何以及在多大程度上可以提高变化检测的性能。本综述重点是AI变化检测的最先进的方法，应用和挑战。具体地，首先引入基于AI的变化检测的实现过程。然后，呈现来自用于改变检测的不同传感器的数据，包括光学RS数据，合成孔径雷达（SAR）数据，街景图像和组合的异构数据，并且还列出了可用的打开数据集。系统地评估和分析了基于AI的变化检测方法的一般框架，进一步分析了AI基变化检测中使用的无监督方案。随后，描述了用于改变检测的AI中的常用网络。从实际的角度来看，基于AI的改变检测方法的应用领域基于其适用性进行分类。最后，讨论了AI用于变革检测的主要挑战和前景，包括（a）异构大数据处理，（b）无监督的ai，（c）AI的可靠性。本综述将有利于研究人员了解这一领域。

1. Introduction

改变检测是通过在不同时间观察到来识别物体或现象状态的差异的过程[1]。它是地球观测中的主要问题之一，并在近几十年中被广泛研究。多时间RS数据，如卫星图像和空中图像，可以提供丰富的信息来识别在一段时间内特定区域的土地利用和陆地覆盖（LULC）差异。这在各种应用中非常重要，例如城市规划，环境监测，农业调查，灾害评估和地图修订。随着地球观测技术的持续发展，现在提供了具有高光谱空间 - 时间分辨率的巨额RS数据，这为改变检测技术带来了新的要求，大大促进了他们的发展。为了解决更改检测过程期间通过更精细的空间和光谱分辨率图像所带来的问题，提出了许多改变检测方法。在这里，它们大致分为两类：传统和基于AI的。图1显示了传统变革检测的一般流程和基于AI的变化检测。

现有的变更检测审核主要集中在多时间超光谱图像（HSIS）和高空间分辨率图像中的变化检测技术的设计[1-4]。他们审查的技术主要是传统的变革检测方法，可以概括为以下组：
目视分析：通过手动解释获得变更图，这可以根据专家知识提供高度可靠的结果，但是耗时和劳动密集型的效率;
•基于Aalgebra的方法：通过对多时间数据执行代数操作或转换来获得变化图，例如图像差异，图像回归，图像比和改变向量分析（CV A）;
•T ransformation：数据减少方法，例如原理分析（PCA），流苏帽（KT），多变量改变检测（MAD），Gramm-Schmidt（GS）和Chi-Square，用于抑制相关信息和突出显示多时间数据方差;
•基于分类的方法：通过比较多个分类映射（即，分类后比较），或者使用训练分类器来直接对来自多个时段（即，多种分类或直接分类）直接对数据进行分类的更改;
•高级模型：高级模型，如Li-Strahler反射模型，光谱混合模型和生物物理学参数方法，用于将多个时期数据的光谱反射率值转换为物理基础的参数或分数以进行变化分析，这更直观，具有物理意义，但它是复杂且耗时的;
•其他：混合方法和其他人，例如基于知识，空间统计数据和集成的GIS和RS方法。

根据检测单元，这些方法也可以基于像素级，特征级，对象级别和三维（3D）对象级别分类，并且在文献中被系统地审查[5-7] 。由于计算机技术的快速发展，传统变革检测方法的研究已经转向集成AI技术。在传统的变化检测流程和基于AI的流动中，第一步是数据采集，改变检测的目的是获得各种应用的变化检测图;在准备数据之后，传统方法通常由两个步骤组成，包括均质化过程和变化检测过程，而基于AI的方法通常需要额外的训练集生成过程和用于改变检测的AI模型训练过程。显然，基于AI的方法的关键组成部分是AI技术。

AI技术，也称为机器智能，可以在各种数据处理任务中提供更好的性能。它可以定义为系统正确解释外部数据的能力，以从这些数据中学习，并使用这些学习通过灵活的适应来实现特定的目标和任务[8]。本文中的AI技术侧重于最近的深度学习方法，新的网络结构和智能机器学习方法的出现，这些方法由生物系统启发。由于他们相对较低的智能和现有的评论[7]，传统机器学习方法（如支持向量机和决策树）尚未考虑在本次审查中尚未考虑。

已经开发了许多集成AI技术的新方法以提高变化检测的准确性和自动化。宽体RS研究表明，基于AI的变化检测方法优于传统的特征提取[9,10]。由于强大的建模和学习能力，AI技术可以尽可能地将图像对象与其现实世界地理特征之间的关系模拟，这使得能够检测更实际的变化信息。通常，它们利用多时间数据中的空间上下文信息来学习分层特征表示，并且这些高级特征表示在更改检测任务中更有效且稳健。

审查AI的大多数现有研究都是关于AI算法的发展的一般性评定[11]或对特定热场的详细RS应用审查[12]。在[13]中，作者专注于RS社区深度学习的理论，工具和挑战。换句话说，这些审查文章基于卢比的AI技术的理论和应用。在RS数据变化检测的领域中，仍然缺乏对应用于多源数据的AI方法的彻底审查。本文提供了对AI技术在RS改变检测处理中的应用的深度审查。它侧重于AI在多时间数据中改变检测的最先进的方法，应用和挑战。本文的主要贡献如下：

1.介绍了基于AI的变更检测的实施过程，我们总结了可以帮助初学者理解这一研究领域的常见实施策略;
2.我们详细介绍了用于AI的改变检测的不同传感器的数据，主要包括光学RS数据，SAR数据，街道视图图像和组合异构数据。更实际上，我们列出了带有注释的可用打开数据集，可以用作培训和评估未来改变检测研究的基准的基准;
3.通过系统地审查和分析基于AI的变更检测方法的过程，我们以实际的方式总结了他们的一般框架，这有助于将来设计变更检测方法。此外，分析了基于AI的变化检测中使用的无监督方案，以帮助解决实际应用中缺乏培训样本的问题;
4.我们描述了AI中的常用网络进行变更检测。分析其适用性有助于在实际应用中选择AI模型;
5.我们提供了在各种领域的基于AI的变更检测，并将其细分为不同的数据类型，这有助于那些对这些领域感兴趣以找到相关的AI的变化检测方法;
6.我们描绘并讨论AI对三个主要方向的变更检测的挑战和前景，即异构大数据处理，无监督的AI和AI的可靠性，为未来的研究提供有用的参考。

本文的其余部分安排如下。我们在第2节中介绍了基于AI的变更检测的实现过程;我们列出了用于改变检测的数据源，第3节;在第4和5节中介绍了AI中的一般框架和常用网络的审查;在第6节中，我们总结了这些方法的各种应用;在第7节中讨论基于AI的变更检测的挑战和机遇后，我们在第8节中得出了本综述的结论。

2.基于AI的变化检测实施过程

图1说明了基于AI的变化检测的一般流程。关键是获得高性能训练的AI模型。详细地说，如图2所示，基于AI的变更检测的实现过程包括以下四个主要步骤：

1.均质化：由于照明和大气条件的差异，季节和传感器态度在采集时，通常需要在改变检测之前均化均质。几何和辐射矫正是两个常用的方法[14,15]。前者旨在通过登记或共同登记来几何对准两个或更多个给定的数据。仅在两个时段数据中，只有当它们被覆盖时，相应位置之间的比较就会有意义[16]。后者旨在消除由传感器的数字化过程和由大气中的吸收和散射引起的大气衰减变形引起的辐射或反射差异[4]，这有助于减少由这些辐射误差引起的变化检测引起的误报。对于异构数据，可以设计特殊的AI模型结构以实现变化检测（参见第4.1.2节）;

2.训练集生成：要开发AI模型，需要一个大型高质量的培训集，可以帮助算法来了解某些模式或一系列结果具有给定的问题。使用某些技术（例如，手动注释[17]，使用主题数据[19]）来标记或注释多个时段数据（例如，手动注释[17]）以使AI模型简单地学习改变的特征对象。图2呈现了用于构建变更检测的注释示例，该示例由两个时段RS图像组成，并在像素级别的构建变化标记的相应地形真理组成。基于地面真理，即，先验知识，可以以监督方式培训AI模型。为了减轻缺乏培训数据的问题，被广泛使用的数据增强是一种很好