【深度学习】遥感影像变化检测基础和常用模型

基于深度学习的变化检测基础

遥感影像的变化检测（CD）是通过对比不同时间点的遥感影像信息，识别和分析地表物体在时间上的变化情况的技术。变化检测在自然灾害评估、资源管理和环境监测、城市化和土地利用管理等任务中有着广泛应用。变化检测技术可以为观察者和决策者提供更可靠的信息，对灾害的准确响应、环境的可持续发展、土地的合理规划具有重要作用。
近年来基于深度神经网络框架特别是cnn的图像处理方法在遥感影像的变化检测任务上也得到了广泛的应用，并逐渐成为了主要方法。

使用遥感影像进行变化检测，数据需要进行的加工包括图像预处理（辐射校正、地形校正等标准化流程）、图像配准（因为变化检测对比两个时间点的目标的形态和状态特征，需要将双时相的图像在空间上对准）。
采用深度学习方法进行变化检测，与其他方法一致，分为模型定义、损失函数定义和优化方法选择三部分。
模型选择：基于cnn的变化检测模型本质上是用于语义分割的模型，输出类别为2（变化区域和未变化区域）。同时，变化检测模型在特征提取部分需要融合双时相图像的特征，相比于单幅图像的语义分割是由下采样降维＋特征提取和保留->特征拼接＋上采样还原的两级式步骤（U-Net），变化检测的网络需要在特征提取和特征拼接做出优化，采用双分支、特征差分等机制对双时相图像中的变化信息进行建模，最后经上采样过程还原为与原图尺寸相同的显示变化信息的结果。
实验指标与语义分割一致，采用F1 score、recall、precision和MIoU等。


Recall召回率是用来衡量模型对正例的检测能力，受未检测到的正例数量影响，漏检时召回率会降低（与其翻译成召回率，个人认为应翻译成覆盖率，待讨论）；
Precision精确度是用来衡量模型在所有正例中真正检测到多少正例的指标，受误判为正例的样本数量影响，当模型对负例做出错误预测时，精确度会降低；
F1是rec和pre的调和平均，适用于处理类别不平衡的情况，当需要在精确度和召回率之间寻找平衡的时候，F1比较常用；
MIoU是用来衡量预测的区域于真实区域之间的交集比例，受到每个类别的预测准确性影响。

变化检测经典模型

（1）FC-EF
原文：https://arxiv.org/abs/1810.08462

FC-EF:文章介绍了三种全卷积神经网络架构，它们使用一对共配准图像执行变化检测。最值得注意的是，文章提出了两个全卷积网络的连体扩展，它们使用对当前问题的启发式方法，在两个开放变化检测数据集上的测试中，使用RGB和多光谱图像来获得最佳结果。结果表明，文章提出的系统能够使用带注释的变化检测图像从头开始学习。该架构实现了比以前提出的方法更好的性能，同时比相关系统快至少 500 倍。这项工作是朝着有效处理来自Copernicus或Landsat等大规模地球观测系统的数据迈出的一步。

（2）STANet：
原文：https://www.mdpi.com/2072-4292/12/10/1662

STANet：超高分辨率（VHR）双时相影像变化检测（CD）是一项基本的遥感影像（RSI）处理任务。近年来，深度卷积神经网络（DCNNs）在计算机视觉任务中表现出了强大的特征表示能力，并在自动CD方面取得了显著突破。然而，现有的绝大多数基于融合的CD方法没有关注CD的定义，因此只能检测单向变化。因此，本文提出了一种新的时间可靠变化检测（TRCD）算法来解决基于融合的方法的这一缺点。具体而言，通过设计一种新的目标函数，提出了一种潜在且有效的CD时效可靠特征学习算法。与传统的CD目标函数不同，本文在目标函数中施加了一个常规项，该函数旨在强制执行在交换彼此相似的双时相图像序列之前和之后提取的特征。此外，本文方法的骨干架构是基于高分辨率网络设计的。捕获的特征在语义上更丰富，在空间上更精确，可以提高小区域变化的性能。在两个公开数据集上的综合实验结果表明，所提方法比其他最先进的（SOTA）方法更先进，并且本文提出的目标函数显示出巨大的潜力。

（3）SNUnet：
原文：https://ieeexplore.ieee.org/document/9355573

SNUnet：变化检测是遥感（RS）图像分析中的一项重要任务。广泛应用于自然灾害监测评估、国土资源规划等领域。作为一项像素到像素的预测任务，变化检测对原始位置信息的利用率很敏感。近年来的变化检测方法总是侧重于深层变化语义特征的提取，而忽视了包含高分辨率和细粒度特征的浅层信息的重要性，这往往导致变化目标边缘像素的不确定性和小目标的判定缺失。本文提出了一个密集连接的连体网络用于变化检测，即SNUNet-CD（连体网络和NestedUNet的组合）。SNUNet-CD通过编码器与解码器之间、解码器与解码器之间的紧凑信息传输，减轻了神经网络深层定位信息的丢失。此外，还提出了集成通道注意力模块（ECAM）用于深度监督。通过ECAM，可以提炼出不同语义级别最具代表性的特征，并用于最终分类。实验结果表明，与其他最先进的（SOTA）变化检测方法相比，该方法在许多评价标准上都有了很大的改进，并且在精度和计算量之间有更好的权衡。

（4）BiT
原文：https://arxiv.org/abs/2103.00208

BiT:现代变化检测 （CD） 通过深度卷积的强大判别能力取得了显著的成功。然而，由于场景中物体的复杂性，高分辨率遥感CD仍然具有挑战性。具有相同语义概念的物体在不同的时间和空间位置可能表现出不同的光谱特征。最近大多数使用纯卷积的 CD 流水线仍在努力将时空中的长程概念联系起来。非局部自注意力方法通过对像素之间的密集关系进行建模，显示出有希望的性能，但计算效率低下。在这里，本文提出了一种双时相图像转换器（BIT），以有效地对时空域内的上下文进行建模。直觉是，兴趣变化的高级概念可以用几个视觉词来表示，即语义标记。为了实现这一点，本文将双时态图像表达为几个标记，并使用转换器编码器在紧凑的基于标记的时空中对上下文进行建模。然后，将学习到的上下文丰富的令牌反馈到像素空间，以通过转换器解码器优化原始特征。本文将BIT整合到一个基于深度特征差异的CD框架中。在三个CD数据集上进行了大量实验，验证了所提方法的有效性和效率。值得注意的是，本文基于BIT的模型的性能明显优于纯卷积基线，计算成本和模型参数仅低三倍。基于没有复杂结构（例如特征金字塔网络（FPN）和UNet）的朴素骨干（ResNet18），本文的模型超越了几种最先进的CD方法，包括在效率和准确性方面优于最近四种基于注意力的方法。代码可在 https://github.com/justchenhao/BIT_CD 上找到。
（5）Changer
原文：https://arxiv.org/abs/2209.08290

变化检测是长期地球观测任务的重要工具。它采用双时相图像作为输入，并预测变化发生的“位置”。与其他密集预测任务不同，变化检测的一个有意义的考虑因素是双时态特征之间的交互。基于这种动机，本文提出了一种新颖的通用变化检测架构 MetaChanger，它在特征提取器中包含了一系列替代交互层。为了验证MetaChanger的有效性，本文提出了两个推导模型，ChangerAD和ChangerEx，具有简单的交互策略：聚合分布（AD）和“交换”。AD是从一些复杂的交互方法中抽象出来的，“交换”是通过交换双时态特征而进行的完全无参数和无计算的操作。此外，为了更好地对齐双时相特征，我们提出了一个流动双对齐融合（FDAF）模块，该模块允许交互式对齐和特征融合。至关重要的是，我们观察到 Changer 系列模型在不同尺度的变化检测数据集上取得了有竞争力的性能。此外，本文提出的 ChangerAD 和 ChangerEx 可以作为未来 MetaChanger 设计的起始基线。
（6）HANet
原文：https://ieeexplore.ieee.org/abstract/document/10093022

HANNet：得益于深度学习技术的发展，基于深度学习的算法采用自动特征提取技术，在变化检测（CD）任务中取得了显著的性能。然而，现有基于深度学习的CD方法的性能受到变化和不变化像素之间的不平衡的阻碍。针对该问题，该文提出一种在不添加变化信息的基础上的渐进前景平衡采样策略，帮助模型在早期训练过程中准确学习变化像素的特征，从而提高检测性能。此外，设计了一种判别性连体网络，即层次注意力网络（HANet），可以集成多尺度特征并细化细节特征。HANet的主要部分是HAN模块，它是一种轻量级且有效的自注意力机制。在两个具有极不平衡标签的CD数据集上进行了广泛的实验和消融研究，验证了所提方法的有效性和效率。

完整的模型List：
FC-EF (ICIP’2018)
全卷积特征早融合（Fully Convolutional Early Fusion, FC-EF）模型将两个不同时相的图像在网络输入层进行融合，并使用全卷积神经网络来提取和处理这些融合后的特征。这种方法在最早的阶段进行融合，确保了原始信息的完整性。
FC-Siam-diff (ICIP’2018)
该模型采用双分支结构，并在特征提取后计算两个时相特征的差异。通过这种方式，FC-Siam-diff能够更突出地表现出时相间的变化区域，从而提高变化检测的准确性。
FC-Siam-conc (ICIP’2018)
与FC-Siam-diff类似，FC-Siam-conc也采用双分支结构，但它是在特征提取后将两个时相的特征拼接在一起，再进行进一步处理。这种方式保留了更多的时相信息，有助于捕捉细微的变化。
STANet (RS’2020)
时空注意力网络（Spatial-Temporal Attention Network, STANet）通过引入时空注意力机制来增强特征表示。该模型可以动态关注不同时相和空间位置的特征，提高变化检测的灵活性和准确性。
IFN (ISPRS’2020)
基于交互式融合网络（Interaction Fusion Network, IFN）模型在特征提取阶段引入了交互式融合模块，能够更好地结合不同时相的特征，从而提高变化检测的精度。
SNUNet (GRSL’2021)
SNUNet使用U-Net结构来进行变化检测，通过编码器-解码器结构进行多层次特征提取和融合。该模型在保持高分辨率信息的同时，能够有效捕捉变化特征。
BiT (TGRS’2021)
BiT（Bidirectional Temporal Convolutional Network）模型通过双向时间卷积网络来处理时相特征，能够更好地捕捉时间序列中的变化模式，适用于长时间跨度的变化检测任务。
ChangeFormer (IGARSS’22)
ChangeFormer利用Transformer架构进行变化检测，通过自注意力机制捕捉全局特征和变化关系，适用于大尺度和复杂场景的变化检测任务。
TinyCD (NCA’2023)
TinyCD是一种轻量级变化检测网络，专注于在资源受限的设备上实现高效的变化检测。该模型通过精简网络结构和参数量，实现了速度和准确度的平衡。
Changer (TGRS’2023)
Changer模型引入了增强的特征提取和融合策略，能够更好地捕捉微小变化和复杂场景中的变化特征。该模型在提高检测精度的同时，保持了较高的计算效率。
HANet (JSTARS’2023)
基于层次注意力机制的变化检测网络（Hierarchical Attention Network, HANet）通过多层次的注意力机制，增强了对变化区域的关注，提高了变化检测的灵活性和准确性。
TinyCDv2 (Under Review)
同v1，精度/效率有提升。
LightCDNet (GRSL’2023)
LightCDNet是一种轻量级变化检测网络，通过优化卷积和注意力机制，减少了计算量和模型参数量，适用于资源受限的应用场景。
BAN (TGRS’2024)
基于注意力网络（BAN, Based Attention Network）通过多层次注意力机制和特征融合策略，增强了变化检测的性能，特别是在复杂场景和细微变化的检测上表现出色。
TTP (arXiv’2023)
TTP（Temporal Transformer for Change Detection）利用Transformer架构和时间特征处理模块，能够高效地捕捉长时间跨度中的变化特征，适用于多时相的变化检测任务。
CGNet (JSTARS’2023)
CGNet通过引入卷积和图注意力机制，增强了特征提取的能力，特别适用于高分辨率图像和复杂场景的变化检测任务。
可根据不同需求和检测目标选择不同模型。

资料来源：https://github.com/likyoo/open-cd?tab=readme-ov-file，感谢开源社区。

砖：

变化检测的难点和进阶问题之一：对象级变化检测
对象级变化检测是一种高级的遥感影像变化检测技术，专注于识别和分析图像中具体对象（如建筑物、道路、森林等）的变化，而不是像素级别的变化。这种方法不仅关注像素值的变化，还考虑对象的形态、位置和属性的变化。对象级变化检测通常用于更精细和语义丰富的变化分析。
难点在于：
复杂的背景和前景分离：在复杂的自然场景中，分离前景对象（如建筑物）和背景（如植被、水体）可能非常困难。对用作语义分割的backbone要求很高。

变化类型的多样性：对象可能发生形态上的变化，如建筑物的扩建或拆除，植被的生长或砍伐。
语义理解：需要模型具备语义理解能力，能够识别和区分不同类型的对象并准确检测它们的变化。
…