A review of multi-class change detection for satellite remote sensing imagery

多类别变化检测综述

CD技术通过分析同一地理区域在不同时间获取的多时相遥感影像，来识别地面物体的变化。该技术对环境监测、城市扩张与重建以及灾害评估等研究领域具有重要意义。
传统BCD主要关注变化区域和非变化区域，无法提供更细致的土地利用和覆盖（Land Use and Land Cover, LULC）变化信息。随着地球观测卫星技术的不断进步，遥感影像的空间分辨率不断提高，使得多类别变化检测（Multi-class Change Detection, MCD）成为研究的热点方向。MCD能够反映更详细的土地变化，与传统BCD相比，MCD能够区分不同的LULC变化类别。
尽管目前有许多关于变化检测的综述，但大多数工作仍集中在BCD上。本文专注于MCD的最新进展，包括挑战、数据集、方法、应用和未来研究方向。

挑战

• 视觉特征混淆（Visual feature confusion）:

  由于成像条件的差异（例如不同的拍摄角度或季节）可能导致即便是未变化的特征在光学遥感影像中也存在较大的光谱差异，这增加了识别变化区域的难度，从而影响MCD的准确性。

• “椒盐”噪声（“Salt-and-pepper” noise）:

  在使用传统的像素方法进行MCD时，由于遥感影像对中存在的光谱变异性，容易产生大量“椒盐”噪声，这会显著降低变化检测结果的质量。

• 变化类别的不平衡（Imbalance of change classes）:

  MCD需要区分不同的变化类别，而在实际变化图中，不同变化类别的面积比例往往是不平衡的。某些变化类别可能只集中在小范围的局部区域，因此由于训练样本数量少，准确挖掘小的变化类别通常比较困难。

• 复杂背景（Complex background）:

  变化通常只发生在区域的一部分，而MCD过程受到大量未变化区域背景的干扰。未变化区域通常占变化参考图中的大部分面积，并且经常具有复杂的地面特征分布，这可能导致MCD结果不佳。
  这些挑战指出了MCD在实际遥感影像分析中的复杂性，并强调了需要进一步研究和改进算法和技术以提高检测的准确性和鲁棒性。

数据集

• Taizhou 数据集:

  特点: 主要展示与城市扩张相关的变化，包含两个400×400像素的图像，由Landsat7卫星采集，空间分辨率为30米。
  下载链接: Taizhou Dataset

• Nanjing 数据集:

  特点: 展示了城市扩张和农田变化的复杂情况，包含两个800×800像素的图像，由Landsat7卫星采集，空间分辨率为30米。
  下载链接: Nanjing Dataset

• Mts-WH 数据集:

  特点: 用于评估场景MCD的性能，由IKONOS传感器在2002年和2009年收集的多时相图像，图像大小为7200×6000像素，空间分辨率为1米。
  下载链接: Mts-WH Dataset

• Yancheng 数据集:

  特点: 包含两个地点的EO-1 Hyperion双时相高光谱图像，有242个波段，空间分辨率为30米，图像大小为220×430像素。
  下载链接: Yancheng Dataset

• USA 数据集:

  特点: 包含2004年和2007年的双时相高光谱图像对，由EO-1卫星的Hyperion传感器获取，研究区域是美国俄勒冈州本顿县的灌溉农田，图像大小为180×225像素。
  下载链接: USA Dataset

• HRSCD 数据集:

  特点: 被认为是第一个大规模的MCD数据集，包含291对共注册的RGB图像，图像大小为10,000×10,000像素，具有0.5米的空间分辨率和像素级变化标签。
  下载链接: HRSCD Dataset

• xBD 数据集:

  特点: 用于多类别灾害建筑变化检测的大规模数据集，包含19种不同类型的灾后卫星图像，总共22,068张图像，涵盖850,736座建筑物。
  下载链接: [xBD Dataset]（https://xview2.org/dataset）

• SECOND 数据集:

  特点: 用于MCD的基准数据集，包含来自不同平台和传感器的4662对图像，每张图像大小为512×512像素，包含六种主要的土地覆盖类别。
  下载链接: SECOND Dataset
  这些数据集覆盖了不同的应用目标，包括城市扩张、植被变化、农田变化和灾害评估等。

研究方法：

后分类变化检测（Post-Classification Change, PCC）:

• 特点: 首先独立地对不同时间的图像进行分类，然后通过比较分类结果来获取多类别变化图。
• 优势: 方法直观，易于理解。
• 劣势: 由于分类误差的累积，通常检测精度较低。

直接分类（Direct Classification, DC）:

• 特点: 直接对处理后的多时相图像进行分类，避免了误差累积，可以获得更高的检测精度。
• 优势: 避免了PCC方法中的误差累积问题。
• 劣势: 需要“从-到”变化样本，这通常难以获得，因为它们需要预先知道变化前后的土地覆盖类别。

基于深度学习的变化检测:

• 特点: 利用深度学习网络，如卷积神经网络（CNN），进行特征学习和分类。
• 优势: 强大的特征学习能力，可以处理复杂的图像变化。
• 劣势: 需要大量的标注数据，并且模型训练可能需要较长时间和较高的计算资源。

三元变化检测（Ternary Change Detection, TCD）:

• 特点: 检测变化并将其分类为正面变化和负面变化。
• 优势: 可以提供比传统二元变化检测更丰富的信息。
• 劣势: 研究仍处于初级阶段，应用实例较少。

多重变化检测（Multiple Change Detection, MCD）:

• 特点: 可以检测不同类型的变化，但没有语义变化信息。
• 优势: 能够区分多种变化类型。
• 劣势: 不提供变化的具体类别信息，即“从-到”信息。

语义变化检测（Semantic Change Detection, SCD）:

• 特点: 不仅能检测不同的变化类别，还能提供变化类别的具体信息，即“从-到”信息。
• 优势: 提供更详细的信息，适用于需要区分实际土地覆盖变化的不同类型变化。
• 劣势: 实践中更复杂，需要更多的标注样本。
  

未来研究方向：

根据文章的分析和以前的综述性文章，未来的研究方向可能包括：

• 多源数据的MCD: 利用多源数据（如多模态和多时相数据）进行MCD，解决图像缺失或分辨率不一致的问题。

• 长期时间序列图像的变化趋势分析: 使用长期时间序列的高分辨率图像观察变化趋势，为决策提供支持。

• 弱监督MCD: 由于MCD的样本标注工作繁琐且耗时，研究基于弱标注样本的MCD方法具有重要意义。

• 深度学习与传统方法的结合: 结合深度学习的强特征学习能力与传统方法的领域特定知识，可能会产生更准确和鲁棒的MCD方法。

• 提高检测精度和鲁棒性: 研究新的算法和技术，以提高MCD在复杂场景下的精度和鲁棒性。

• 实时和动态监测: 开发能够实时或近实时监测和分析地表变化的系统。

• 跨学科应用: 探索MCD在不同领域的应用，如环境监测、城市扩张评估、灾害响应等。