论文笔记-深度学习的遥感变化检测综述：文献计量与分析

0 摘要

与传统遥感变化检测不同，基于深度学习的变化检
测提取遥感影像的深度差异特征，无需构建特征工程，检测精度和效率均有所提高。作者结合文献计量学全面
分析本领域研究现状和热点，发现基于深度学习的变化检测在国内机构学者的主导下快速发展并取得了大量研
究成果。并指出未来变化检测的发展趋势和需克服的问题。

1 引言

研究变化检测为了准确快速地获取这些变化信息对于生态环境监测、灾害管理、农业生产、环境保护和军事国防等具有重要意义。
遥感变化检测需要至少两个时期的图像，其流程更为复杂，包括：图像间高精度几何配准，辐射、大气、物候相对归一化处理，变化特征提取，变化区域及变化类型确定以及精度验证等步骤。国内外学者研发了多种变化检测方法，如基于代数计算、图像变换和分类后比较的方法。这些方法原理简单、可操作性强，但是对使用的特征或分类结果敏感，易出现较高漏检率和误差累积问题，在精度、自动化或普适性方面目前尚不能满足大量复杂应用场景的需求。基于深度学习的遥感变化检测方法通常利用神经网络模型提取遥感图像 （或图像间的） 的深度 （差异） 特征，并在学习策略指导下训练变化检测模型，根据检测方案输出结果。其流程如下：

作者从文献计量分析、分析粒度、以及重要问题探索等多个方面对基于深度学习的遥感变化检测进行综述，以期为未来遥感变化检测研究提供参考。

2 文献计量分析

本部分计量分析使用的英文数据库为 WOS（Web of Science） 核心合集数据库，检索策略为：所有字段包含 （“remote sensing”或“remotely sensed”）和“change detection”和 （“deep learning”或“network”）；文献类型选择“论文”、“综述论文 ” 和 “ 在线发表 ”； 引文索引选择 SCI-EXPANDED和SSCI。中文数据库为CNKI，检索策略为：主题包含“变化检测”和 （“深度学习”或“网络”）；文献类型选择“学术期刊”。时间范围为 2000年1月1日至2021年12月31日。通过全文阅读，剔除非相关文献，共获得 258 篇英文和 94 篇中文论文（这些论文的详细信息已经上传至：https://github.com/thebinyang/ChangeDetectionReview[2022-04-07]）。

2.1 文献结构

自2016 年以来，国际上有关深度学习的遥感变化检测研究呈现持续快速增长趋势，年均增长率约为99.05%。深度学习已经成为遥感变化检测的研究热点，大量研究利用卷积神经网络CNN、自动编码器AE、和生成式对抗网络GAN等实现高精度遥感影像变化检测。近年来发文量如下：

发文量最多机构前10个机构约占发文总量的 66.28%。这十大机构中有8家来自中国，表明中国对遥感变化检测研究重视程度更高，成果最为突出。基于深度学习的变化检测出版量前十的期刊如下：

2.2 研究热点

总体来看，光学卫星数据仍然占据主流（48.77%）；其次，使用来自不同传感器的多模态异质图像（例如光学卫星图像和SAR图像，卫星图像和无人机图像）受到越来越多的重视，占比达到9.82%。

目前主要使用的网络模型包括：CNN（68.89%）、AE（10.00%）、GAN（8.52%）、循环神经网络RNN（4.07%）和深度信念网络DBN（3.71%）等。

其中，CNN网络中U-Net、 PCANet 和 ResNet 使用较多；AE 中去噪自动编码器、变分自动编码器和卷积自动编码器最常用。GAN 网络主要用于数据增强以及域变换，RNN模型用于提取多时相信息，DBN 网络用于无监督特征提取。最新的网络模型Transformer和图卷积神经网络 GCN 也开始应用于遥感变化检测。

3 深度学习的遥感变化检测方法分类

国内外学者利用各种网络模型开发了多种基于深度学习的遥感变化检测方法。这些方法在像素、对象和场景不同粒度表征地物特征差异，然后通过后续网络处理进一步提取深度特征并判别其变化。基于像素、对象和场景3种情况下的发文量情况如下：

3.1 基于像素的方法

基于像素的遥感变化检测方法是从单个像素或单个像素的邻域 （移动窗口） 提取深度特征，逐像素判断变化情况，是深度学习应用于变化检测最早的方法。对于一维特征输入网络），像素或像素邻域特征通常被转换为向量后输入 AE、DBN、RNN以及深度神经网络 DNN等处理。对于 CNN这类输入为二维特征的网络，像素特征则通过矩形窗口内像素共同表征后由网络判断中心像素的变化情况。

基于像素的方法简单直观，但是逐像素处理效率较低，并且由于假设每个像素独立，检测结果易产生椒盐噪声。通过移动窗口提取的局部特征可缓解噪声影响，同时降低对几何配准精度的要求，然而移动窗口过大可能导致检测的变化边界模糊。
应用于多光谱图像、SAR和高光谱图像等中低分辨率遥感图像时，基于像素的方法结果较为准确，并且适用于大面积场景。对于高分辨率遥感图像则难以避免不同观测角度、阴影等造成的虚假变化的影响。这些因素限制了基于像素的深度学习遥感变化检测发展。

3.2 基于对象的方法

对象是指对应于一定实体、内部相对均匀的像素组合，其能有效结合光谱和空间纹理特征，提供更精确的地物信息。基于对象的比较分析利用了对观测条件不敏感的地物空间特征（形状、空间关系等），可有效减弱随机噪声以及季节变化对变化检测结果的影响，在高分辨率遥感图像变化检测中具有一定优势，并且被用于检测建筑等地理实体变化。
对象生成是最重要的步骤之一，直接影响网络的检测性能。对象可通过 3 种方式生成：第一，基于组合分割或者获取差异图像 DI后分割生成对象；第二，基于单一时相分割边界，将单一时相的分割边界分配给所有时相；第三，基于多时相独立分割，通过叠加边界得到更细化的分割对象。

在众多对象生成算法中，简单的线性迭代聚类利用特征相似性生成高度同质且保持对象边界的超像素，是最广泛使用的算法之一。为解决分割算法的过分割和欠分割问题，有学者提出结合像素和对象的变化检测方法，也有学者对多尺度分割的超像素分别检测变化，采用投票机制确定变化类别。

3.3 基于场景的方法

基于场景的方法分析场景在语义上的变化，将多时相遥感图像作为分析单元，融合后输入单分支网络，或者分别输入双分支网络，一次性判断所有像素的变化情况。

为应对超大场景的计算机内存需求，研究学者将遥感图像裁剪成规则图像块输入网络判断图像块中每个像素的变化情况，最后整合出变化检测结果。图像块的大小影响变化检测性能和计算效率，需要研究人员根据先验知识进行设置。重叠部分图像块可以减少裁剪时在图像块边缘附近的上下文信息损失。
全卷积神经网络 FCN作为传统 CNN 的改进模型具有强大的上下文信息提取能力，能够接受任意大小的图像输入进行端到端的训练，将变化检测视为密集像素分类实现基于场景的变化检测。基于FCN的采用编码器和解码器结构的U-Net能够融合多尺度特征具有高效和准确性。这些研究促使基于场景的变化检测成为快速发展的分支之一，CNN 成为变化检测的最主要模型。但是FCN 模型依赖大量标注的训练样本，这些训练样本的生成通常耗时费力。

3.4 后续处理网络

在获取像素、对象和场景特征后，通过后续处理网络实现深度特征提取和比较分析是改进的重点。目前主流的后续处理网络可分为早期融合和晚期融合方法，前者以融合的多时相遥感图像作为网络输入；后者则采用双分支网络并行提取多时相图像特征。这两种方法中，融合策略使用堆叠、拼接保留原始特征信息，差分突出变化信息，或卷积等深度融合方式进一步利用时空信息。特征提取则通过CNN、RNN和AE等网络实现，并且为了提高特征的判别性，在骨干网络上应用稠密连接、跳跃连接、金字塔结构、空间和通道注意力机制、自注意力机制以及它们组合的方式融合多尺度特征。
早期融合方法可在网络浅层阶段直接学习差异特征，深度差异特征一般通过 Softmax、支持向量机等分类器或聚类的方法直接分类变化。晚期融合方法常使用孪生或伪孪生结构，有效减弱输入图像固有差异影响，提取的深度特征利于边界保留。使用直接分类法或度量法比较双时相特征的参数化距离，经过聚类或阈值分割获得变化检测结果。

4 挑战及发展方向

随着多模态遥感数据的增加、样本标注问题的突出以及多元变化信息需求的提出，基于深度学习的遥感变化检测面临诸多挑战，如下：

4.1 多模态遥感数据变化检测

多模态遥感数据能够突破单模态数据在天气、太阳高度、成像周期和成像幅度等方面的限制，对于提升遥感变化检测精度、应急救灾具有重要意义。深度学习在多模态遥感变化检测的应用降低了对同质数据和图像配准的要求，从而更好地利用各种平台的多模态数据。
但是对于多模态异质数据，由于成像机制和拍摄条件不同，以及存在视差和图像失真现象，在低维特征空间难以直接比较。现有深度学习方法通过特征空间变换解决此类问题。一方面，将异质图像转换到新的特征空间；另一方面，也有研究将某一模态数据转换到另一模态数据的表示空间后与之比较。此外也有学者采用混合的方法，使用耦合变分自动编码器将异质图像变换到共同的潜在空间，构建耦合生成对抗网络将异质图像从潜在空间转换到彼此的表示空间提取特征。
以上特征空间变换方法有效减弱了多模态图像间地物表达差异的影响，但是这类变换方法可能会导致原始图像信息丢失或转换后特征无法高效对比等问题。

4.2 非理想样本条件下变化检测

4.2.1 小样本问题

针对遥感变化检测中的小样本问题，解决方法主要利用数据增强方法，增加样本数量和多样性以及采用半监督方案降低对标注样本的依赖这两种方式。其中数据增强使用几何变换、颜色变换、GAN 和变分自动编码器等实现。半监督方案则利用少量的标注样本从大量未标注样本中学习有区别性的特征。
在上述解决方法中，数据增强方案没有利用未标注数据，模型的泛化能力较差；半监督方案依赖算法原理和图像质量，且迁移学习大多在自然图像上训练，需考虑源域和目标域间信息传递的有效性。因此，需要加强研究小样本情况下判别性特征提取和表征技术。自监督学习方案利用辅助任务从无监督数据中构造伪标签，并将原始图像信息转化为特定的特征空间用于变化检测任务，通过少量标注样本微调提高检测性能。自监督方案成为解决小样本问题有潜力的发展方向。

4.2.2 不平衡样本问题

当样本数量不平衡时，深度学习网络倾向于预测出数量较多样本的类别。为解决该问题，现有基于深度学习的方法可分为算法级和数据级两种方法。其中算法级方法主要采用改进损失函数。数据级方法则从样本选择角度解决不平衡问题，选择平衡的样本数量。
上述算法级和数据级方法一定程度上缓解了样本不平衡问题的影响，但均有自身局限性，需要不断改进。机器学习领域的其他解决不平衡问题的方法，也被成功用于深度学习领域，例如深度学习模型过采样算法和集成学习也为解决遥感变化检测中的不平衡样本问题提供
了新方向。

4.3 多元变化信息获取

目前基于深度学习的变化检测大多针对双时相遥感图像展开，实现了二元变化检测。能够识别单一的土地类型变化或者简单识别变化的位置，较少考虑变化的语义，难以获取多元信息（如变化类型、变化时间等信息）。

4.3.1 多类型变化监测

将不变的区域标记为不变，同时标记出变化区域及其具体变化类型。在标注数据充足的情况下，有学者使用 CNN 提取空间光谱特征，然后通过长短期记忆网络 LSTM提取时间信息实现多类型变化检测；为降低对人工标注样本的依赖，又有学者提出通过预分类方法获得多类型变化样本，训练卷积LSTM和DBN无监督地获取变化类型信息；还有学者使用预训练 CNN 提取深度特征，然后通过深度变化向量分析法识别多类型变化。由于多类型变化样本获取困难，获取的变化类型信息通常只有几类，某一变化类型可能表示多种地物变化信息。

4.3.2 时序变化检测

时间序列变化检测可以建模时空相关性，提供长时期的变化信息。在各种深度学习模型中，RNN适用于时间序列分析，是良好的变化检测工具。RNN 及其变体，如 LSTM、GRU等，已经成功应用于遥感时序变化检测。改进的 RNN 模型有望进一步提高遥感变化检测性能。
但是由于RNN空间信息提取能力不足，联合CNN与自动编码等网络可有效规避该问题。另外，RNN网络固有的梯度消失和爆炸以及无法并行处理等问题，也可以使用 TCN（Temporal Convolutional Network）和注意力机制等代替RNN 提取时间信息。Transformer 在建模时序数据的长期依赖性上具有优势，在变化检测和分类任务上展示了优异的性能，是时间序列变化检测的新途径。目前时间序列变化检测大多基于RNN展开。现有模型在提取时间序列图像中的长期空间—时间相关性信息方面具有困难。

5 总结

由于应用需求的增加，多模态异质变化检测、语义变化检测和时序变化检测是未来的研究趋势。特别是深度学习在时序变化检测的应用较少，可以待进一步研究。