变化检测综述 Deep learning for change detection in remote sensing images: comprehensive review and me

Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis

摘要

深度学习（DL）算法被认为是过去几年遥感图像分析选择的方法。由于其有效的应用，还引入了深度学习，用于自动变更检测，取得了巨大的成功。本研究试图提供全面的审查和荟萃分析本次领域最近的进展情况。具体而言，我们首先介绍了经常用于改变检测的深度学习方法的基础。其次，我们介绍了Meta分析的细节，进行了调查检测DL研究的检查状态。然后，我们专注于深入学习的改变检测方法，通过提供现有方法的一般概述。具体地，这些基于深入的学习的方法分为三组;完全监督基于学习的方法，完全无监督的基于学习的方法和基于转移的基于学习的技术。由于这些调查，有希望的新方向被确定为未来的研究。本研究将以多种方式贡献我们对改变检测的深度学习的理解，并将为进一步研究提供基础。

1 Introduction

由于其强大的代表学习能力，深入学习（DL）已经看到了过去十年的趋势越来越大。深度学习允许基于多个处理层构建的模型，以了解具有多个级别抽象的数据样本的表示[1]。深度学习使基于多个层组成的模型，以学习具有多个抽象级别范围的数据样本的表示[1]。与诸如幼稚贝叶斯（SVM）等传统机器学习模型相比，它也可以被视为需要更大的学习概念或功能的模型的分析，这些模型相比，支持向量机（SVM）[4] [5 ]随机森林，[6] [7]和决策树[8] [9]。

在其最先进的性能的基础上，因此，深度学习被应用于各种域，例如计算机视觉[10]，语音识别[11]和信息检索[12]。特别是，在计算机视觉场中，由于处理能力的最近进步，图形处理器的改进以及增加的数据量（即视频和图像），深入学习已经跳跃了很大的跨利赛。值得注意的是，遥感的科学（RS）已经看到了从飞机或卫星捕获的数字图像的产生和增强的巨大增加，该卫星几乎覆盖地球表面的每个角度。这种数据的增长推动了地球科学和遥感（RS）的社区，以应用深度学习算法来解决不同的遥感任务。在这些任务中，脱颖而出[13]中定义的变更检测（CD）任务为“通过在不同时期观察物体或现象的状态识别差异”。在另一个单词中，改变检测是指识别在相同地理区域上获取的图像之间的差异，但在两个不同的时间[14]。

改变检测技术在各种应用中广泛使用[15]，包括;灾难评估[16]，环境监测[17]，土地管理[18]和城市变革分析[19]等，目前，气候变化造成的极端灾害人数如干旱，洪水，飓风和热浪，已透露对研究人员的新挑战以及开发更有效的自动变更检测方法的新挑战。通过上述观察的激励，已经引入了深度学习，以便在遥感中改变检测，实现了良好的性能。

最近，各种重点关注遥感数据深入学习的综合评论已发布。这些研究总结了所有主要遥感子区域采用的深度学习技术，包括分类，恢复，去噪，目标识别，场景理解和其他任务（有关详细信息，我们将读者提交给[20] [21] [22] [22 ]）。然而，据我们所知，没有工作，已经研究了最近的深入学习的进展，以特定和广泛的方式对变革检测的任务。因此，本报告的目的是提供适用于用于改变检测的遥感图像中的深度学习算法状态的概述。因此，通过进行Meta分析，我们选择并分类了与DL相关的相关论文并改变检测。通过这样做，我们提供了对这些研究的技术审查，这些研究揭示了深入学习改变检测的进步。该审查将作为未来研究中的研究的基础。

本文的其余部分都是如下构造的。第2节呈现了改变检测问题的定义。第3节简要介绍了深度学习以及用于改变检测的典型深层模型。第4节描述了用于审查最先进的方法和数据。在第5节中，我们将这些以前的工作分为三类;完全监督基于学习的方法，完全无监督的基于学习的方法，以及传输基于学习的方法。第6节建议两个有趣的研究方向进一步推进该领域。最后，第7节概述了结论。

2 在遥感中更换检测

变化检测是定量分析的操作和从两个不同时期的现象或物体的表面变化的操作[13]。该过程是地球观察领域的基本技术，试图区分从同一地理区域或区域获取的双时段或多时间遥感图像的改变和不变的像素，而是分别在不同的时间[ 23] [24]。基于对或一系列共登记图像分配给每个像素的二进制标签代表了改变检测系统的主要目的。因此，正标签意味着该像素的面积已经改变，而空标签表示不变的区域（参见图1和2）[25]。实际上，变更检测代表了视频监控，映射城市地区和其他形式的多时间分析的强大工具。

正式地，让I1和I2是两个共同登记的图像，其共享相同的尺寸W×L，并在经典的单态套件中使用相同的传感器分别在两个单独的时段T1和T2上拍摄相同的地理区域。
更改检测系统的主要目的是生成准确的二进制变更图（CM）：

其中（x，y）表示像素索引i的位置坐标。在传统方法中，该变化映射可以通过差异图像（DI）操作来获得，基于差异或对数函数（DI = | I1-I2），然后对DI结果进行最终分析。

更改检测已成功用于各种应用程序。特别是，在农业部门，采用了森林砍伐监测，灾害评估和转移培养监测的变更检测。在军事领域，它现在用于收集有关新军事设施，敌人军队，战场地区和损害评估的运动的信息[26]。在民事领域，改变检测用于控制城市地区开发和城市延伸[27]。此外，实际上采用了监测气候变化的影响通常与大气中温室气体（GHG）排放水平的增加相关的影响，例如质量平衡和冰川相变或海平变化的变化。
虽然改变检测算法已经显示出许多福利野外的申报，但它就会进行严重的挑战。在这些挑战中，我们可以考虑数据采集参数的变化，这可以影响通过将无关信息添加到数据中来找到相关变化的过程。此外，这种不需要的变化可以像大气一样出现，如雾，云和灰尘。例如，在一个图像中存在的云（在时间t1），但不在另一个（在时间t2）导致可以被注册为差异的亮度贴片，因此影响得到的变化图的质量。阳光的角度还可以呈现与场景上的阴影的存在和方向相关的另一个问题[26]。此外，雨林之后土壤北方等物体等物体的植被生长和表面反射也会影响变化的结果[28]。因此，除了检测到时间变化之外，鲁棒改变检测方法必须能够区分卫星图像中的相关变化和无关的变化。通过那些成功的应用程序，最近能够从数据（图像或视频）提取信息（