论文笔记-Deep Learning-Based Change Detection in Remote Sensing Images: A Review（基于深度学习的遥感图像变化检测研究进展）

0 摘要

作者介绍了针对SAR(合成孔径雷达)、多光谱、高光谱、VHR(超高分辨率图像)和异源图像等不同变化检测数据集的有监督、无监督和半监督深度学习技术，并分析其优缺点，讨论了一些重大挑战。

1 背景

变化检测是通过观察不同时期拍摄的图像集来检测同一地理区域的变化。常见的应用有火灾探测、环境检测、灾害监测、城市变化分析、土地管理等，由于其应用较广因此受到了世界各国研究人员的重视。遥感数据时间、空间和光谱分辨率限制了基于遥感数据的变化检测方法，但是随着具有更大技术能力的传感器的发展，很多限制已经被克服。
在过去的几十年里，开发了各种变化检测方法。根据分析单元可分为两类:基于像素的数据分析(PBCD)基于对象的数据分析(OBCD)。PBCD通过比较像素来识别变化，它不能克服辐射变化和不同日期或传感器之间的错配的限制，通常适用于中低分辨率的遥感图像，不能用于VHR图像。而OBCD解决了这些问题，并显著提高了变化检测精度。基于像素和对象的方法见下图。

许多传统的变化检测技术，如代数和变换，受大气条件、季节变化、卫星传感器和太阳高度的影响，降低了变化检测的精度。
基于对象的图像分析，通过提取几何和纹理特征来减少虚假变化，但这是一个复杂且耗时的过程。此外，由于阈值选择，选择合适的标准来捕获所有的变化区域，同时消除不需要的变化区域仍然具有挑战性。
大多数以前的监督或无监督技术依赖于手工制作的特征表示，这些特征表示能力有限，无法描述复杂和高级的变化信息，导致在杂乱的土地覆盖下性能较低。
最近，遥感领域基于深度学习的变化检测已成为一个“热点”，引起了人们的广泛关注并取得了良好的效果。深度学习可以从原始数据中自动提取复杂、分层和非线性的特征，克服了传统变化检测方法的一些局限性。

2 变化检测的遥感数据集

2.1 收集数据集的传感器

卫星图像是变化检测良好的数据来源，来自于包括主动和被动，光学和微波，以及高分辨率和低分辨率的不同传感器。
最近发展的卫星像TerraSAR-X、COSMO-SkyMed能够以亚米级分辨率或着像Sentinel-1以极高的时间分辨率运行。这些系统可以持续几十年进行观测。SAR图像的关键属性是其分辨率和地理覆盖范围，以及所获得信号的频率范围、入射角和发射/接收极化。一般来说，在遥感中使用SAR图像需要几何和辐射校准。
多光谱遥感使用平行框架传感器来检测几个波段的辐射，通常是可见光到中红外的三到六个光谱波段。除了这些波段外，各种卫星传感器还捕获一个或两个热波段的图像。因此，多光谱卫星传感器的光谱带更少但更宽，无法探测到陆地表面的微小细节，也无法分离出光谱反射差异较小的物体。
高光谱遥感传感器可以捕获电磁波谱中从可见光到近红外、中红外、热红外的各种窄光谱波段的图像，而高光谱传感器可以捕获200个或更多波段的能量，这意味着它们可以连续覆盖场景中每个像元的反射光谱。大多数高光谱传感器部署在空中平台上，较少部署在卫星上。
随着地球观测技术的进步，更先进的卫星传感器，如QuickBird、SPOT等，被用于收集VHR图像。

2.2 用于变化检测的数据集

主要介绍变化检测常用的不同类型的遥感数据集，如SAR、多光谱、高光谱、VHR和异源图像。

2.2.1 SAR影像

SAR数据是从一个主动微波传感器获取的，该传感器反映了在任何天气条件下任何时间土地覆盖的后向散射信息。由于其不依赖于日照条件，SAR图像为变化检测任务提供了优势。SAR可以应用于，从基本的雷达功能如目标检测和地理定位，到估计复杂环境的地球物理特性如某些尺寸，粗糙度，含水量，密度等。
SAR最常用的CD数据集，包括渥太华数据集、伯尔尼数据集，旧金山数据集、农田等。数据集的链接如下:

1. Bern dataset open source: https://github.com/yolalala/RS-source (accessed on 22
   December 2021).
2. San Francisco dataset open source: https://github.com/yolalala/RS-source (accessed
   on 22 December 2021).
3. Farmland dataset open source: https://share.weiyun.com/5M2gyVd (accessed on 22
   December 2021).
   随着SAR成像技术的进步，多波段、多极化、多平台SAR图像越来越普遍，为CD任务提供了更多的数据源。另一方面，SAR图像总是存在斑点噪声，使得变化检测比光学遥感图像更加困难。

2.2.2 多光谱图像

多光谱图像通常是通过被动光学传感器获得的。多光谱图像可以提取人眼无法用其视觉感受器捕捉到的红、绿、蓝的附加信息。不同分辨率的多光谱图像的应用场景略有不同。基于深度学习的变化检测算法最常使用的图像来自Landsat和Sentinel系列卫星，因为它们时间分辨率高，成本低。其他卫星，如QuickBird、SPOT、高分和Worldview，具有很高的空间分辨率，能够保留更多的变化细节。因此多光谱数据集分为广域数据集和局部数据集。
广域数据集注重整个大覆盖区域的变化，而忽略了零星目标的细节。其数据集包括美国西南变化检测数据集、MtS-WH、台州数据集、Onera卫星变化检测数据集和NASA地球观测变化数据集。广域数据集链接如下：

1. Southwest U. S. dataset open source: https://geochange.er.usgs.gov/sw/changes/
   anthropogenic/vegas (accessed on 22 December 2021).
2. MtS-WH dataset open source: Open source: http://sigma.whu.edu.cn/newspage.
   php?q=2019-03-26 (accessed on 22 December 2021).
3. NASA Earth Observatory dataset open source: https://earthobservatory.nasa.gov/
   images/146194/how-cancun-grew-into-a-major-resort (accessed on 22 December
   2021).
4. Onera Satellite dataset open source: https://ieee-dataport.org/open-access/oscdonera-~satellite-change-detection (accessed on 22 December 2021).
   局部数据集调查城市地区的某些目标，如建筑物、河流、道路等。属于该模式的数据集有:SZTAKI数据集、红旗渠数据集、民丰数据集、季节变化检测数据集、HRSCD数据集、建设变化检测数据集。局部数据集链接如下：
5. HRSCD dataset open source: https://ieee-dataport.org/open-access/hrscd-highresolution-semantic-change-detection-dataset
6. SZTAKI dataset open source: http://web.eee.sztaki.hu/remotesensing/airchange~
   benchmark.htm (accessed on 22 December 2021).
7. Season changes dataset open source: https://drive.google.com/file/d/1GX656JqqOyBiEf0w65kDGVto-nHrNs9 (accessed on 22 December 2021).
8. Building change dataset open source: https://study.Rsgis.whu.edu.cn/pages/download/
   building-dataset.html (accessed on 22 December 2021).

2.2.3 高光谱影像

高光谱技术旨在从地球表面捕获数百个光谱通道，可以精确地表征各种材料的化学成分。早期阶段主要侧重于识别强烈的变化，高光谱图像用于变化检测的目的是利用高光谱传感器的全面光谱采样(通常在多光谱图像中无法检测到)来检测较小的光谱变化。
虽然高光谱相较于SAR和多光谱图像有更多的光谱信息，其能检测到更细微的光谱变化，但是不代表高光谱图像就能解决所有变化检测的问题。其问题主要有以下几点。其一，标记数据有限，对高光谱数据集中的每个像素进行分类需要人工且非常耗时；其二，高光谱数据具有高维性，即使使用波段选择和特征提取来最小化维数，也会在一定程度上丢失一些细节信息，这就需要更好的算法；其三，存在像素混合的问题，这些像素由几种不同的物质组成。如果将混合像素粗略地归类为特定类型的物质，则不容易准确地表征混合像素。

2.3 超高分辨率(VHR)影像

采集VHR图像的传感器包括QuickBird，高分等。与中、低分辨率图像相比，VHR图像可以提供更多的地表特征和空间分布信息，对研究城市扩张和城市内部变化等方面具有重要作用。尽管采用VHR来识别变化是有利的，但也存在技术挑战。其一，超高分辨率影像光谱信息有限，如QuickBird、IKONOS、资源三号和WorldView-2获取的VHR，只覆盖了四个波段。在有限的光谱信息下，由于类间变化较小，具有等效光谱特征的类难以区分；其二，VHR图像的光谱变异性很大。比如各种屋顶上部结构(如管道、烟囱和水箱)具有复杂的外观，VHR图像的光谱特征具有明显的异质性，其增加了类内方差，导致基于光谱的图像解译方法的不确定性。此外，天气、太阳角度、物候阶段、潮汐阶段、土壤湿度和水浊度等大气和外部因素会使不变的物体具有时间变化的光谱特性；其三，云影、雾霾、地形、树影等对图像造成了较大的信息损失。

3 变化检测体系

下面展示的是基于深度学习的变化检测的一般流程。

3.1 预处理

图像预处理对特征提取的质量和图像分析结果有显著益处。研究人员已经创造了许多图像处理方法来解决大气影响的问题，例如去除不需要的噪声。

3.2 数据采集

图像的采集时间，即季节、月份是图像采集中需要考虑的关键因素，因为它与物候、气候条件和太阳角度密切相关。数据采集往往受到数据可用性的限制，决策通常是在目标时间、采集日期和数据可用性之间做出权衡。

3.3 几何配准

原始航拍图像存在一定程度的几何畸变，因此在所有的变化检测技术中都需要几何配准。如果在图像中不考虑几何扭曲，像素的空间坐标将是不正确的。有些扭曲是可以预测并迅速纠正的，但其他扭曲是复杂的很难从记录中排除。因此几何校正旨在补偿畸变，并最终得到具有高度几何精度的图像。可以使用RPC、SIFT、DTM、CACO和RANSAC进行几何配准。

3.4 辐射校正

辐射校正对光学图像更为有效。相对辐射校正用于归一化不同时间段采集的多时相数据，消除误差或扭曲。在比较不同数据集的时候，辐射数据的校准和调整非常重要。该步骤采用两种不同的方法：绝对校准，将数字转换为相应的地面反射值；相对校准，必须正确校准偏转灵敏度。强度归一化法用于调节卫星影像的亮度和对比度，可以根据需要调整卫星影像的直方图来测试它。

3.5 去斑点化

对于乘性噪声，对数变换是常见的去噪方法。然而SAR影像有更严重的噪声，因此需要一种更复杂的去噪技术，称为despeckling（去斑点化）。Despeckling存在设计良好的滤波器，如Lee滤波器、最大后验伽玛滤波器和Kuan滤波器。除了Landsat图像，SAR影像经常被用于变化检测。该方法提高了基于SAR的变化检测技术的性能。在空间域中，使用改进的Lee滤波器实现斑点滤波，在时间域中，通过利用相邻像素之间的时间相似性来提高准确性。另外，还开发了广泛用于去除高斯噪声的高斯噪声模型，与观察图像中附近像素不同，像素值是通过评估整个图像来获取的。此外，非线性扩散滤波器也可以去除SAR影像中的斑点噪声。

3.6 去噪

图像去噪是在变化检测之前的基本预处理过程。它用于减少噪声，同时保留图像信息。在A Real-Time Edge-Preserving Denoising Filter. In Proceedings of the VISIGRAPP中提出了一个实时图像维度降维滤波器，它使用基于阈值的方法来定位图像边缘，空间滤波器在固定窗口上进行平滑处理，会产生围绕对象的伪影且有时会过度平滑。由于其稀疏性、多分辨率和多尺度特性等特点，小波变换非常适合用于性能优化。

4 基于深度学习的遥感数据变化检测

4.1 基于深度学习的SAR图像变化检测

我们通常分为监督、无监督和半监督。

4.1.1 监督方法

Gong等人提出了一种利用深度学习对多时相SAR图像进行变化检测处理的创新方法。他们训练了一个深度神经网络，直接从两个源图像生成变化检测地图，而不产生差异图像。将变化检测问题简化为分类问题。为了完成分类，深度体系结构的学习过程包括无监督特征学习和监督微调。
Ma等人提供了一种独特的基于gcForest和多尺度图像融合的SAR图像变化检测技术。使用gcForest是因为它提高了准确性并降低了训练难度。使用各种大小的图像块作为gcForest输入，允许它学习更多的图像属性，减少图像局部信息对分类结果的影响。此外，该技术将差分图像的梯度信息与训练良好的gcForest获得的概率图相结合以提高边缘检测的精度。
Samadi等人提出了一种将形态学图像与两张原始图像相结合的方法，为DBN训练提供了合适的数据源。

4.1.2 无监督方法
Gao等人利用semi-NMF和SVD网络开发了一种独特的SAR图像变化检测方法。在他们提出的方法中，使用semi-NMF进行预分类获得高精度的标记样本。提出了一种基于SVD网络的变化检测分类模型。SVD网络可以从多时相SAR图像中学习非线性关系并抑制噪声。使用两个SVD卷积层来获得可靠的特征。
Planinsic等人利用分数阶傅立叶变换的高阶对数累积提取可调Q离散小波变换中的特征，并将其输入堆叠自编码器中，以区分变化区域和未变化区域。
Bergamasco等人以无监督的方式训练CAE，使用基于方差的特征选择方法，该策略仅评估CAE接收到的信息量最大的信息。
Geng等人使用显著性引导深度神经网络，这是一种针对五个SAR数据集的无监督方法。可以提取潜在变化的位置，并从深度学习中消除背景像素，减少斑点噪声对SAR的影响。创建分层模糊C均值聚类，以选择具有更大概率被改变和不变的样本，以自动获得伪训练样本。此外，采用基于非负和Fisher约束自编码器的DNN进行最终检测提高样本特征判别能力。
Farahani等人通过减少光谱和辐射差异来对齐多时相图像，并使多时相特征更加相似，从而提高变化检测的精度。
Qu等人引入了唯一的DDNet，将DDNet的空间域和频率域元素进行融合，提高了分类性能。在空间域中创建了一个多区域卷积模块，以改进输入图像并增加中心区域特征。为了在频域中提取频率信息，他们使用了DCT和门控机制。在不同数据集上的实验表明，所提出的DDNet方法优于其他几种变化检测方法。

2.1.3 半监督方法
Gao等人利用卷积-小波神经网络开发了海冰变化检测模型。在海冰变化检测中，采用小波变换最小化SAR图像中的散斑噪声。该方法将双树复小波变换加入到卷积神经网络中，利用CWNN对变化像素和不变像素进行分类。采用虚拟样本生成方法生成CWNN训练样本，解决了样本有限的问题。
Wang等人提出了一种针对SAR图像变化检测的半监督深度神经网络，该网络具有双特征表示——像素化和上下文化变化特征提取。为了解决由于缺乏标记样本而导致的问题，专门为SAR图像变化检测创建了具有标签一致自集成技术的LCSEnsemNet。

4.2 基于深度学习的多光谱图像变化检测

4.2.1 监督方法
Daudt等人提出了两种从头开始训练的全卷积网络的孪生扩展，无需后处理就在准确性和推理速度方面超过了现有技术，尤其是在变化检测任务中。其中一个显著的改进是将全卷积编码器-解码器范式转换为孪生架构，通过使用跳跃连接来增加输出的空间准确性。他们的架构比之前的方法快500多倍。
Mou等人引入了循环卷积神经网络，这是一种将CNN和RNN结合起来的独特网络设计。它可以从双时相多光谱图像中提取光谱-空间-时间信息并识别变化类型。
Zhang等人使用了一个端到端的联合学习光谱-空间表示，来处理多光谱图像的变化检测任务。该方法由三个组件组成：光谱-空间联合表示、特征融合和判别学习。首先，类似于孪生CNN，从网络中获取光谱-空间联合表示。其次，融合提取的特征以表示不同的信息，适用于变化检测任务。第三，运用判别学习来更好地研究生成的融合特征的基本信息。
Lin等人提出了一种双边卷积网络以检测双时相多光谱图像的变化。他们使用两个对称的CNN训练模型学习特征表示，应用外部矩阵乘积来获取组合的双线性特征。然后用Softmax分类器来生成变化检测结果。

4.2.2 无监督方法
Cao等人开发了一种用于多光谱遥感数据无监督变化检测的生成唯一差异图像的方法。首先，他们使用DBN以无监督方式从给定像素的局部邻域中学习局部和高级特征。其次，他们开发了一种BP方法，基于选定的训练样本创建了一个DI，强调变化区域与非变化区域之间的差异，同时抑制了非变化区域中的假变化。最后，他们使用简单的聚类分析来创建变化检测图。
Atluri等人提出了一种用于多光谱图像变化检测的MAU-Net架构。该框架中的每个块都包含用于在多个分辨率提取特征的滤波器，以及一个关注层，以帮助网络获取更精细的特征。MAU-Net的主要优势是通过残差连接实现特征传播，关注层用于识别重要的特征图。
Gong等人提出了一个由生成对抗网络和判别分类网络组成的GDCN。DCN将输入数据分为变化、未变化和伪造类别。当网络经过适当的训练以生成最终的变化图像时，DCN可以将原始图像数据分类为两个类别。
Saha等人通过将多时相图像分别输入到由可训练卷积层组成的深度网络中。训练过程不使用任何外部标签，分割标签从最终层的argmax分类中导出。使用了一种新的损失函数从单个图像中检测目标片段并建立不同时相段之间的对应关系。
Wiratama等人使用特征级U-Net在高分辨率多光谱图像中创建一个稳健的土地覆盖变化分割方法。他们提出的网络由一个特征级减法块层和一个U-Net分割层组成。特征级减法块层用于提取所有特征级别的动态差分图像，与现有的变化检测算法相比，即使在存在噪声的情况下，使用多光谱图像进行变化检测也优于现有算法。
Seydi等人采用端到端模型，构建了一个基于CNN的网络，包括三个并行通道。第一和第二通道分别从原始的第一和第二时相图像中提取深度特征，第三个通道涉及从差分图和拼接图中提取变化的深度特征。每个通道还具有三种类型的卷积核：1D、2D和3D膨胀卷积核。
Luo等人使用深度对抗生成网络和DeepLabv3+网络改进了变化检测结果。他们使用了非生成和DCGAN生成方法进行数据增强，解决深度学习网络大量变化检测样本难以获取的问题。他们使用SPDeepLabv3+，通过用亚像素卷积替换反卷积层提高网络的总体准确性。通过亚像素卷积，他们的网络可以预测变化检测结果。最后，他们测试了网络在不同数据集（如Google Earth，Landsat 8和OSCD）上的泛化性能，并表明所建议的网络在泛化方面表现良好。

4.2.3 半监督方法
Alvarez, J.等人提出了一种用于多光谱图像的自监督条件生成对抗网络，训练后仅生成不变样本的分布。主要思想是通过对抗训练来学习不变样本的分布以监督生成器。
Zhang等人提出了一种新的基于FDCNN的变化检测方法，其中使用sub-VGG16从图像中学习深度特征，使用FD-Net生成特征差异图，再使用FF-Net通过对少量像素级样本进行训练融合这些图。此外，他们创建了一个基于交叉熵损失函数的变化幅度引导损失函数以提高网络性能降低训练时间。使用先验知识来减少伪变化，并容易获得最终二值变化图。

4.3 基于深度学习的高光谱图像变化检测

4.3.1 监督方法

Fandino, J.等人采用堆叠自编码器，从遥感高光谱数据集中提取多类变化检测的特征，混合亲和矩阵可以有效地对多源数据进行同时管理，可以学习GETNET中光谱之间的代表性特征。不仅提供了更丰富的跨信道梯度信息，而且是多源信息融合同时处理的有效方法。
Hou等人提出了深度学习算法来识别高光谱图像上的变化检测，创建了一个W-Net架构，该架构使用步幅卷积、连接和快速连接技术来识别变化特征提取和分类。使用W-Net作为生成器，利用GAN来训练显示分布的映射函数。
Moustafa等人利用不同的高光谱图像数据集，提出了一种称为注意残差循环U-Net的变化检测架构。
Moustafa等人使用不同的高光谱图像数据集提出了一种称为注意力残差循环U-Net变化检测架构。该模型使用了循环U-Net、注意力U-Net和注意力残差循环U-Net。具有最多分配参数的注意力残差模型在二元和多元变化中表现最好，循环U-Net和残差U-Net模型对于高光谱图像的二元和多类别变化检测具有出色的性能。

4.3.2 无监督方法

Tong等人开发了一种独特策略来解决源图像中训练样本较少时的变化检测问题。使用无监督二进制变化检测创建二进制变化图像。然后利用主动学习方法对源图像进行分类，再利用迁移学习方法得到目标图像的分类图。最后分类后比较创建多重变化图像。
Song等人提出了Re3FCN，使用LSTM和3D卷积神经网络。该方法综合了基于深度学习的FCN和卷积LSTM的优点，利用每个端点的SCA值计算训练样本，并将PCA和SCA方法相结合，以提供高度准确和可靠的样本。这种策略有利于在没有训练数据的情况下执行变化检测。
Saha等人提出了一种针对超维图像的无监督变化检测方法，该方法使用未经训练的深度模型作为深度特征提取器。在超维图像中，该方法能有效区分变化像素和不变像素。

4.3.3 半监督方法

Yuan, Y.等人研究了一种半监督变化检测方法来识别噪声条件下高光谱图像的变化，并提出了一种新的距离度量学习框架。在不消除任何受大气影响的噪声带的情况下，使用规则演化框架来识别有噪声情况中的变化。在其他文献中总是手动消除噪声。他们使用半监督拉普拉斯正则化度量学习方法，使用大量未标记数据来解决变化样本问题。
Wang等人为高光谱图像变化检测提供了一个GETNET网络。他们的研究提供了三个重要贡献:其一，引入了一个混合亲和矩阵，该矩阵可以有效地同时管理多源数据，从而可以学习GETNET中光谱之间的代表性特征；其二，设计二维卷积神经网络学习判别特征，提高泛化能力；其三，建立了新的高光谱图像变化检测数据集进行客观比较。
Huang, F.等人提出了一种基于张量和深度学习的高光谱图像变化检测解决方案。他们使用基于张量的信息模型来建立高光谱遥感图像的特征变化，还设计了一个基于三阶张量的玻尔兹曼人工神经网络机器。利用多层Tensor3-RBM对未标记数据进行训练，用STM代替BP神经网络，采用多层深度信念网络提高准确率。

4.4 使用深度学习的VHR图像变化检测

4.4.1 监督方法

Peng等人提出了一种更先进的e U-Net++设计。利用U-Net++模型的密集跳跃连接，从多个语义层学习多尺度特征映射。他们采用残差块策略来促进深度FCN网络的梯度收敛，有助于获取更全面的信息。在生成最终的变化图之前，利用MSOF方法对多尺度侧输出特征图进行集成。他们使用加权二元交叉熵损失和骰子系数损失成功地降低了职业不平衡的影响。
Fang等人采用双时间VHR图像，构建了混合DLSF。该网络提供两个并发流:DLSFF和基于Siamese的变化检测。该系统使用唯一的变更映射引用来学习跨域翻译，以隐藏未更改区域的差异，并在两个域中分别强调更改区域的差异，然后专注于检测变化区域。
Chen等人提出了两种独特的基于MFCU的深度连体卷积神经网络，用于无监督和有监督的变化检测。DSMSCN在无监督变化检测中使用自动预分类生成的数据进行训练。 DSMS-FCN i能够处理任何大小的图像，并且在监督变化检测中不需要滑动补丁窗口，因此准确性和推理时间可能会大大提高。
Jing, R等人开发了一种独特的由子网和LSTM子网组成的变化检测架构，该架构使用空间、光谱和多相信息来提高VHR图像的变化检测能力。

4.4.2 无监督方法

Javed等人提出了一种基于对象的VHR图像变化检测方法。生成了MBI特征图像，并使用了三种不同的PBCD方法，提出了一种D-S理论理论来检测建筑物CD。
Saha等人在文章中介绍了一种用于VHR图像变化检测的深度变化向量分析（DCVA）方法，该方法通过将CVA与预先训练的深度卷积神经网络结合起来进行开发。从预训练的多层CNN中提取深度特征，通过将CNN不同层次的特征组合形成一个特征矢量，以确保在多个抽象级别上捕捉到空间上下文。从变化前后图像中提取的深度变化向量之间进行像素比较，得到深度变化向量，然后对其进行分析，从多时相的VHR图像中提取出二元和多元变化信息。

4.4.3 半监督方法

Saha等人使用最近在半监督单日期分析中表现出良好性能的图卷积网络GCN来提高变化检测性能。为了将这些宗地处理为可以被GCN处理的图形表示，采用了一种新颖的图形构建方法。GCN仅在已标记的宗地上优化其损失函数。迭代训练方法有助于将标签信息从已标记节点传播到未标记节点，从而可以检测未标记数据中的变化。
Pang等人提出了一种新的基于Siamese关联和注意的双时间VHR图像变化检测网络(SCA-CDNet)。在第一阶段，使用数据增强技术成功地防止了过拟合，提高了训练模型的泛化能力。其次，利用ResNet提取图像的多尺度特征，充分利用网络当前的预训练权值，使后续的模型训练更加容易。其三，开发了一种新的相关模块，以一致地叠加上述双时特征并提取降维变化特征。其四，在相关模块和解码器模块之间加入注意模型，使网络更加关注对变化分析有巨大影响的区域。
Papadomanolaki等人提出了一个使用全卷积LSTM网络的独特模型，并提出了一个U-Net-like的架构(LU-Net)，该架构通过在每个编码层之上分层集成的全卷积LSTM块，并带有一个额外的解码分支，对各种输入日期中呈现的可用语义类别进行语义分割，从而对空间特征表示的时间关系进行建模，从而形成一个多任务框架。

4.5 基于深度学习的异构图像变化检测

4.5.1 监督方法

Yang等人提供了一种独特的基于深度典型相关分析(DCCA)的跨传感器变化检测方法。在对来自整个区域的样本进行训练后，DCCA转换允许对两个异构多光谱数据集的光谱进行对齐。
Wang等人对多传感器数据集使用了基于深度Siamese卷积网络的监督变化检测方法，该方法带有混合卷积特征提取模块(OB-DSCNH)。该方法可以从输入图像对中提取层次特征。
Ebel等人提出了一种新的Siamese网络，并提出了一种新的基于双峰融合的CD模型，该模型结合了来自SAR和光学传感器的数据。

4.5.2 无监督的方法

Liu等人提出了一种SCCN来减少一维和二维CNN对变化检测的限制。SCCN在每一侧都有一个卷积层和多个耦合层，将两个输入图像转换为两个输入图像具有更一致特征表示的特征空间。最后使用逐像素欧几里得距离直接在该特征空间中生成差分图。
Niu等人使用cGAN将异构SAR和光学图像转换到其信息更一致的空间中，从而允许直接比较。所提出的框架包括一个基于CGAN的翻译网络，该网络试图将SAR图像作为目标翻译光学图像，以及一个近似网络，该网络减少了SAR图像与翻译图像之间的像素差距。
Zhan等人提出了一种独特的对数变换特征学习(LTFL)网络将SAR图像转换为光学图像的方法。修改后的图像对可以使用联合特征提取来学习高级特征表示。预分类结果将是原始数据，以选择标记样本，用于训练初级神经网络分类器。当这个分类器得到充分的训练时，它会标记每个位置，从而识别地面上的变化。
Touati等人提出了一种堆叠稀疏自编码器无监督方法，并对图像的时序特征进行训练。所构建的异常检测模型根据其在潜在空间中的表示重建输入，以识别新的未见图像对的像素。
Jiang等人使用了一种新的DHFF方法来检测异质图像的变化。本文提出的深度同质特征融合方法考虑了同质变换，将异构图像转换为与IST问题相同的特征空间，与标准的IST方法(传递图像样式)相比，本文提出的DHFF方法在额外的新特征子空间中度量并实现特征同质性，使用IIST策略来满足同质图像中变化检测的特征同质性要求。
Prexl等人使用无监督变化检测方法和扩展DCVA，获得不同空间分辨率和光谱波段的变化前和变化后图像。
Sun, Y等人开发了一种专注于异构图像中图像相似性测量的变化检测方法。该方法基于非局部补丁相似度为每个补丁生成一个图，以创建异构数据之间的联系，然后通过评估一幅图像的图结构与另一幅图像的图结构仍然相对的程度来测量变化水平。
Li等人提出了SSPCN分析，在高维特征空间中的两幅异构图像，完全无监督没有明确标记的例子。采用基于分类的方法建立伪标签，并为每个样本提供一个权重来反映样本的容易程度。然后，SPL首先学习简单的样本，然后逐渐纳入更详细的数据。在训练过程中，根据网络参数动态调整样本权值。最后，利用训练好的卷积神经网络构建二值变化映射。
Yang等人开发了一种新的SAR图像选择性对抗自适应方法。主要的贡献是转移来自不同源领域的知识，以帮助识别目标领域的变化。在他们提出的方法中，他们首先使用判别器选择适合目标域的样本，然后使用另一个判别器通过对抗性学习最小化域差异。

4.5.3 半监督方法

Wu等人提出了一种基于GCN和多尺度面向对象分析的半监督CD策略，以更好地解决CD问题。首先进行图像分割，然后将图像块构建成图形，并使用GCN检测哪些块发生了变化。
Saha等人提出了一种独特的双时间场变化检测自监督学习方法；他们使用了不同的自监督学习文献概念，如深度聚类、增强视图、对比学习和暹罗网络，而只利用可用的目标未标记场景。他们提出的方法可以训练一个网络，该网络可以有效地利用这些概念，并根据目标多传感器双时数据对它们进行适当的修改。

---

内容太多了，下回继续