Multi-stage progressive change detection on high resolution remote sensing imagery

论文发表期刊、作者及发表年份:

ISPRS
Xiaogang Ning , Hanchao Zhang , Ruiqian Zhang , Xiao Huang 
2024

论文摘要:遥感图像的变化检测，特别是光学高分辨率和超高分辨率图像的变化检测，是有效识别对地观测变化的关键技术，在土地利用分析、城市规划、环境监测和灾害制图等领域有着广泛的应用。在这些应用中，变化检测主要用于城市化研究，以监测建设用地的发展变化。然而，明显的类不平衡和图像域之间的差异给变化检测的实现带来了巨大的挑战。针对这些问题，我们引入了反向变化发现的概念，将光学遥感图像中变化检测的模型学习的主要目标重新定义为稳定不变区域检测。根据这一概念，我们提出了一种专门用于城市化变化检测的新型多阶段渐进式变化检测网络(MSP-CD)，该网络集成了不变检测、知识蒸馏和粗到细的变化检测结构。为了验证该方法的有效性和鲁棒性，我们使用了两个被广泛认可的公共数据集，即Lebedev-CD和Levir-CD数据集进行了实验。MSP-CD网络在这些数据集上展示了最先进的性能。此外，为了进一步验证MSP-CD网络的性能，我们利用中国江苏省的遥感图像制作了一个特定应用的变化检测数据集(JS-CD数据集)，该数据集在注释方面与公共数据集不同。以扬州市区域城市化发展为例，利用本文提出的MSP-CD网络，进一步验证了本文提出的变化检测框架的适用性。

论文面对的问题及问题原因

        概述：该论文主要探讨了如何利用遥感技术进行土地变化检测，并针对长江三角洲地区进行了案例研究。论文面临的问题是确保遥感图像的高精度和可靠性，以及标准化不同卫星图像的分辨率，以便进行土地变化检测网络的训练。

        遥感图像的精度和可靠性：为了进行土地变化检测，需要确保遥感图像具有高精度和可靠性。这需要进行各种预处理操作和质量评估，如几何和辐射校正。

        不同卫星图像分辨率的标准化：由于使用的卫星图像来自不同的卫星，其空间分辨率不同，需要进行标准化处理。文中提到，为了使空间分辨率一致，使用ArcGIS软件将低分辨率的遥感图像重采样为0.5m的统一分辨率。

        传统方法与数据融合技术的对比：虽然文中提到了使用ArcGIS软件进行简单的重采样方法，但实际上，对于低分辨率图像，理想的做法是使用数据融合技术，如pan-sharpening，而不是简单的重采样。

        关注点从变化检测到不变性检测的转变：文章提出了将变化检测领域的关注点从识别变化区域转变为识别不变性区域的概念。虽然这是一个有意义的转变，但需要注意不变性检测并不是简单地忽略变化区域，而是从另一种角度去理解和识别土地变化。

针对性提出方法

        概述：通过识别稳定的恒定区域，来提高变化检测的效率和精度。这种方法的关键在于，它不直接关注变化的部分，而是寻找那些在各种情况下都保持不变的区域。通过这种方式，可以在人类解释之前提供稳定的恒定区域作为掩码，显著提高手动效率。同时，由于稳定恒定区域的类别在所有场景中都有明确的定义，这种方法可以为各种应用提供通用性。

不变检测网络(IDN)
观察初始遥感图像中稳定的不变区域，它采用了首要的变化检测训练和建模。在IDN，输入的成对图像基于连体结构共享权重，其中每个子分支由编码器、自我注意模型(SAM)和解码器组成。

知识蒸馏网络(KDN)
知识提炼网络(KDN)被部署为我们提出的MSP-CD方法中的第二阶段网络，以改善具有类别不平衡问题的粗略检测结果。神经网络中的知识提取过程广泛应用于模型压缩和集成学习中高熵模型对繁琐模型的泛化能力。在提出的网络中，IDN发现并消除稳定的未变化区域，输出变化检测图。基于来自IDN的粗略变化预测，所提出的方法观察到了变化和未变化的区域分布，这逐渐给KDN带来了细化变化检测结果的轮廓。

建立多阶段架构：该网络采用多阶段架构，逐步检测准确的变化区域。每个阶段都会利用知识蒸馏策略，将前一阶段学到的知识传递给下一阶段，以实现逐步提高检测准确性的目标。

定义稳定恒定区域：该方法首先通过将地面真实标签转移到恒定区域，来识别和定义这些区域。这种方法可以有效地解决应用中的瓶颈问题。

创新性网络设计：基于“反向变化发现”的概念，提出了多阶段渐进式变化检测（MSP-CD）网络。该网络通过多阶段架构和知识蒸馏策略，能够自动和精确地检测各种数据集中的变化区域，为未来的自动算法奠定了基础。

达到的效果

        在论文中，作者提出了一种基于深度学习的变化检测网络，并对其性能进行了评估。为了验证该网络的有效性，作者构建了一个特定于应用的变化检测数据集，名为JS-CD数据集。该数据集包含了来自三个城市（南通、盐城和台州）的图像对，这些图像对是从江苏省的各种卫星（包括北京二号卫星、高分二号卫星和RapidEye卫星）中随机选取的。这些图像的空间分辨率从0.5米到2米不等，且尺寸为1024×1024像素。
        该数据集被划分为训练集、验证集和测试集，其中包含4586、2330和1551个图像对。这些图像对被用于训练和验证网络，以检测城市区域中密集的人类建筑和农村地区广泛分布的农田和未使用的土地之间的变化。
        通过使用JS-CD数据集，作者成功地训练和验证了他们的变化检测网络。该网络在测试集上表现出了良好的性能，能够准确地检测出城市化和城市扩张的变化。此外，作者还探讨了城市化处理的过程，并分析了其在实践应用中的重要性。
        因此，论文的方法达到了准确检测城市化和城市扩张变化的效果，为进一步研究城市化过程提供了重要的数据和分析基础。

未来工作及不足

        模型的泛化能力：尽管该方法在某些任务上表现良好，但其泛化能力仍需进一步验证。未来的工作可以尝试在其他数据集或任务上评估模型的性能，以证明其泛化能力。
        计算效率和内存消耗：该方法可能存在计算效率和内存消耗方面的问题。在处理大规模数据集或复杂模型时，可能会遇到性能瓶颈。因此，未来的工作可以探索如何优化算法，提高计算效率和降低内存消耗。
        可解释性：该方法可能缺乏可解释性，使得人们难以理解模型是如何做出决策的。为了解决这个问题，未来的工作可以研究如何使模型更易于解释，从而提高模型的可信度和可接受度。
        数据隐私和安全：在某些情况下，该方法可能会涉及数据隐私和安全问题。未来的工作需要关注如何保护用户隐私和数据安全，以避免潜在的隐私泄露风险。
        缺乏全面的评估：目前对该方法的评估可能还不够全面，未来的工作需要更深入地研究其性能，并与其他方法进行更全面的比较。这有助于更好地了解该方法的优点和局限性。

引文格式

针对高分辨率遥感图像中的变化检测问题，提出了一种多阶段渐进式变化检测方法。该方法采用反向变化发现的概念，通过稳定不变区域检测来提高变化检测的准确性和稳定性。然而，该方法在处理大规模数据集时仍存在计算效率问题，未来需要进一步优化。