基于图像重建损失的无监督变化检测

阅读翻译：Unsupervised Change Detection Based on Image Reconstruction Loss

Abstract:

为了训练变化检测器，使用在同一区域的不同时间拍摄的双时图像。然而，收集标记的双时相图像既昂贵又耗时。为了解决这个问题，已经提出了各种无监督的变化检测方法，但它们仍然需要未标记的双时态图像。在本文中，我们提出了基于图像重建损失的无监督变化检测，仅使用未标记的单个时间单个图像。图像重建模型被训练以通过接收源图像和光度变换的源图像作为一对来重建原始源图像。在推理过程中，模型接收双时间图像作为输入，并尝试重建其中一个输入。双时间图像之间的变化区域显示出高重建损失。即使仅使用单个时间单源图像，我们的变化检测器在各种变化检测基准数据集中也显示出显着的性能。代码和经过训练的模型将公开提供以进行重现。

1. Introduction

在地球视觉中，变化检测是一项检测来自不同时间和同一区域的两幅高空间分辨率 (HSR) 图像（即双时间图像）中语义变化的任务。变化检测是地球视觉领域中一项非常重要的任务，用于城市扩张、城市规划、环境监测和灾害评估[15,32]。

然而，两个 HSR 图像之间的手动比较和变化检测是一项非常劳动密集且成本高昂的工作。为了解决这个问题，最近提出了基于深度学习的变化检测方法 [5, 11]，结果很有希望。由于数据驱动的性质在深度学习方法中，双时间图像和相应变化标签的大规模训练数据集对于监督方法至关重要 [5,11]。挑战在于昂贵的数据集：收集正确配准的双时相 HSR 图像的成本很高，并且注释它们之间的变化比一般语义分割 [28] 或对象检测数据集 [31] 成本更高。另一个挑战是不平衡的数据集：变化检测数据集需要在同一区域的不同时间拍摄的两张图像，而在现实世界的场景中，变化很少，因此收集存在变化的变化检测数据集更加困难（例如类平衡）。

为了解决这个数据收集问题，已经提出了各种无监督变化检测 (UCD) 方法 [10,14,21,25]。 UCD 方法有效地解决了变化检测中昂贵的注释问题，但它们仍然需要正确配准的双时相 HSR 图像，或者与监督学习方法相比性能较低。

在现有的 UCD 设置中，由于没有明确地训练 change 和 unchange，因此预测结果在发生更改时和未发生更改时都是有噪声的。为了解决这个问题，大多数 UCD 方法都使用后处理。但是，他们没有透露如何进行后处理，或者他们对特定情况过度拟合。 （例如，小面积的像素被移除

受无监督异常检测研究的启发 [13, 20]，我们重新考虑了 UCD 设置。在变更检测和异常检测中，变更/异常情况在现实世界中很少见。无监督异常检测方法 [13, 20] 仅使用正态数据训练图像重建模型，并且模型适合正态分布。在推理过程中，正态输入将被很好地重构，因为它们属于正态分布；另一方面，异常输入将具有很高的重构误差，因为它们超出了正态分布。 UCD 可以使用无监督异常检测等重建错误吗？由于可以综合生成未更改的对，我们可以训练一个训练正态分​​布的图像重建模型。例如，如果变化检测器通过将 X t1 与自身配对在未更改区域上进行训练，则它可以在没有 X t2 图像或更改标签的未更改区域上进行训练。

在本文中，我们提出了基于图像重建损失（CDRL）的无监督变化检测，仅使用未标记的单时间单源图像。所提出的方法明确地解决了变化检测中数据收集的挑战，因为它不需要昂贵的双时间 HSR 图像、昂贵的注释，也不需要具有足够变化的平衡数据集。 CDRL 被训练以通过接收源图像和光度变换的源图像作为一对来重建原始源图像。光度变换的目的是创建模拟不变对的伪不变对，如图 1-(a) 和图 1-(c) 所示。在未更改的对中，根据定义没有结构变化，而只有样式变化或光度变化。伪改变对可用于训练 CDRL 而不是改变对。与无