[论文笔记]Remote Sensing Change Detection using Denoising Diffusion Probabilistic Models

Remote Sensing Change Detection using Denoising Diffusion Probabilistic Models

代码链接：https://github.com/wgcban/ddpm-cd

摘要

人类文明对地球系统的影响越来越强大，而地球观测是评估和减轻负面影响的宝贵工具. 为此，观察地球表面精确定义的变化是至关重要的，我们提取了一种实现这一目标的有效方法. 值得一提的是，我们的变化检测（change detection, CD）方法提出了一种新的方法，通过去噪扩散概率模型，将通过不同的地球观测程序获得的数百万张现成的、未标记的遥感图像整合到训练过程中. 我们首先利用预先训练的去噪扩散概率模型，利用这些现成的、未管理的、未标记的遥感图像的信息，然后使用扩散模型编码器的多尺度特征表示来训练一个轻量级CD分类器来检测精确的变化. 在4个公开的CD数据集上进行的实验表明，该方法在F1、IOU和总体精度方面均显著优于最先进的方法.

Fig. 1: 由用现成的遥感图像训练出来的扩散模型生成的图像. 生成的图像包含了我们在真实遥感图像中常见的对象，如建筑物、数木、道路、植被、水面等，展示了扩散模型提取关键语义的强大能力，可进一步用于遥感变化检测.

1.引言

     发表在《华盛顿邮报》上的最近一项民意调查结果显示，世界各地的人们越来越关注气候变化，越来越意识到与全球气候相关的人类活动. 通过全球气候测量，如大气二氧化碳浓度、全球平均地表温度和海平面上升，现在可以观察到气候变化在全球范围内的变化.另一方面，准确预测当地土地覆盖变化，如森林砍伐、洪水、森林火灾、城市化和农业土地用地引起的变化，作为一个基本的气候变量，对气候变化缓减计划如UN-REDD+也至关重要.

     由美国国家航空航天局（NASA）、欧洲航天局（ESA）、美国地质调查局（USGS）和世界上许多其他政府/私人实体的各种卫星计划，我们现在见证了截止2021年的过去37年中超过2400万张公开的卫星图像，使遥感图像成为监测地球表面局部变化的有效和可靠的数据来源.

    尽管我们有数以百万计的遥感图像来监测当地的变化，但通过计算机视觉来预测感兴趣的变化是一项极具挑战性的任务，这是因为数据的高度多样性、地球表面的季节性变化、不同程度的太阳光照、不同的成像方法和传感器，光谱变化等. 此外，注释遥感图像的变化需要由人类专家对时间序列数据中的两个或多个图像进行比较，这确实是一个耗时而昂贵的过程，使得现有的CD数据集只有较少的注释训练图像（大多为几千张图像）可用于训练CD模型.

    因此，一个有效和健壮的CD模型不仅要关注利用有限的注释数据中的信息来训练模型，也要注重从数以百计的免费提供的、无标签的和未经整理的遥感图像中尽可能多地利用信息来提高CD的准确性和稳健性. 如何有效地利用这些未经整理的大量遥感图像中收集的信息是一个长期存在的问题，过去人们为回答这个问题付出了很多努力.

   遥感预训练是为此目的最广泛采用的技术之一. 随着大规模区域场景识别数据集的出现，如MillionAID、fMoW和BigEarthNet，人们可以预先训练CD模型的编码器，以捕获遥感图像的关键特征表示（即语义）. 然而，对图像级类标签的需求阻碍了其在数百万张无标签和无记录的遥感图像上进行训练的能力，这促使研究人员探索自我监督的预训练方法，例如SeCo，其中空中场景的季节性变化是用来确保正样本之间的一致性.

   与上述预训练技术不同的是，在本文中，我们证明扩散概率模型也可以用于提取遥感图像的关键语义.扩散模型是由马尔科夫链参数化的有向图形模型（见图2）.我们在大量现成的遥感图像上使用变分推理程序（variational inference procedure）来训练一个扩散模型，以在有限的时间内生成更接近真实图像的图像. 图1显示了由扩散模型生成的一些样本图像. 我们可以看到，生成的图像非常接近实际的遥感图像，并且包含了遥感图像中的关键物体，如建筑物、树木、植被、道路、水面等. 因此，扩散模型在提取给定图像的关键特征方面足够强大. 虽然任何生成模型（如VAEs或GANs）都可以被训练成以类似的方式学习关键语义. 但根据我们的实验，与扩散模型相比，VAE和GANs的表征能力是有限的，导致CD性能较低（详见补充材料）. 由于扩散模型可以对给定图像提取更好的语义，我们利用扩散模型的多尺度语义（即深度特征表示）作为输入，对具有有限像素级变化标签的轻量级CD分类器进行微调. 多个CD数据集进行的实验表明，提出的方法比最先进的CD方法取得了显著的性能改进. 证明扩散概率模型不仅可以用来对更接近训练数据分布的图像进行采样，而且还可以提取深度语义用于低级别的视觉任务.

Fig. 2: 扩散模型是一个有向图形模型.

2. 背景

2.1 扩散模型

扩散概率模型属于生成模型的范畴，一旦经过训练，我们可以用模型生成更接近训练数据分布的高质量图像. 与其他生成模型如生成对抗网络（GANs）、变分自动编码器（VAEs）、自回归模型和流不同，扩散模型的训练效率很高，并已被广泛应用，包括超分辨率、去模糊、分割、图像着色、绘制和语义编辑. 然而，尽管扩散模型在其他机器视觉应用中具有很高的潜力和巨大的成功，但仍然没有得到应用. 在这项工作中，我们证明了遥感CD也可以从扩散模型中受益，为未来探索遥感应用开辟了一个新的方向. 在下面的部分中，我们将提供扩散框架的简要概述.

高斯扩散过程（Gaussian Diffusion Process）.  扩散模型通过对具有T个时间步长的马尔科夫过程进行变分推理来学习训练数据的分布p(). 在前向过程中，我们逐渐将高斯噪声添加到干净的图像~p()中，直到图像被完全破坏，从而得到一个各向同性的高斯分布N(0, I). 正向过程中每个时间步长t的噪声操作定义如下：

其中(,,...,)表示T步马尔科夫链（见图2）.

2.2 扩散模型