自监督论文阅读笔记 Self-Supervised Change Detection in Multiview Remote Sensing Images

        摘要：

                从不同来源 和 不同时间 获取的大量未标记遥感（在本文中定义为多个视图）为变化检测提供了机遇和挑战。最近，已经提出了许多 基于生成模型 的方法，用于对此类未标记数据进行遥感图像变化检测。然而，学习到的特征的 高度多样性 削弱了 在无监督变化检测任务中 对相关变化指标的区分。

                此外，这些方法 缺乏对大量存档图像的研究。在这项工作中，提出了一种 基于未标记多视图 设置的自监督变化检测方法 来克服这一限制。这是通过 在多视图图像之间的 特征对齐中 使用 多视图对比损失 来实现的。在这种方法中，一个pseudo-Siamese网络 被训练 以回归其两个分支之间的输出，这些分支以 对比方式 在单传感器 或 跨传感器图像对的大型数据集上进行预训练。最后，利用 两个分支输出之间的特征距离 来定义 变化度量，可以通过 阈值化分析 得到最终的二进制变化图。

                实验在 两个单传感器 和 三个跨传感器数据集上进行。将所提出的方法与其他有监督和无监督的最先进的变化检测方法进行了比较。结果证明了对最先进的无监督方法的改进，并且所提出的方法缩小了无监督和监督变化检测之间的差距。

---

        Introduction：

                变化图是遥感最重要的产品之一，被广泛用于 包括 损害评估 和 环境监测 在内的许多应用中。空间和时间分辨率 对于 从多时相图像中 获得准确及时的变化检测图 起着至关重要的作用。在这种情况下，不相关的变化，如辐射和大气变化、植被的季节变化 和 建筑物阴影的变化，这些都是 多时相图像的典型特征，限制了变化图的准确性。

                在过去的几十年中，许多研究人员开发了 直接比较 多时相图像 的像素值 以从粗分辨率图像中 获取变化图的技术[1]-[3]，在假设 每个像素的光谱信息 可以 完全表征 各种潜在的土地覆盖类型的情况下。随着 遥感图像 空间和光谱分辨率 的提高，仅使用 光谱信息 往往不足以 准确地 区分土地覆盖变化。开发了许多有监督和无监督技术，通过 联合使用 空间背景 和 光谱信息 来确定土地覆盖变化。最近，深度学习技术，特别是卷积神经网络 (CNN) 方法 [4] 已广泛用于该领域。 CNN 允许人们根据 空间和光谱信息 对图像的高级特征进行建模，以监督的方式实现最先进的结果 [5]。

                过去的大部分作品都仅限于 使用单一模态图像。跨域变化检测 还没有得到足够的重视。当前的地球观测卫星 提供 来自不同传感器 和 不同时间的大量 多视图观测。一方面，不同类型传感器拍摄的图像可以提高时间分辨率，从而满足 具有严格约束的 特定应用的要求。一个可能的例子是联合使用 Sentinel-2 和 Landsat-8 图像对 烧毁区域 进行定期和及时的监测 [6]。然而，采集模式 和 传感器参数 的差异 对传统方法提出了很大的挑战。

                另一方面，多模态数据 与 单一模态图像的使用相辅相成，它们的使用变得至关重要，尤其是在某些特定场景中 只有来自不同传感器的图像可用时。这可能是应急管理的情况，例如，光学和 SAR 图像可以联合用于洪水变化检测任务 [7]。在这种情况下，能够 在尽可能短的时间内 从不同传感器的图像 计算变化图的方法非常有用。这导致了 多源变化检测方法 的发展，该方法可以处理 多传感器 或 多模态图像。

                最近深度学习技术在 变化检测 方面的成功 主要集中在 监督方法 [8]-[10] 上，这些方法通常受到 注释数据集 的可用性的限制。尤其是在 多时相问题 中，要获得 大量带注释的样本 来对变化类 进行建模 是很昂贵的，而且通常是不可能的。因此，在许多操作应用中，无监督方法优于有监督方法。对标记数据的有限访问 推动了无监督方法的发展，例如生成对抗网络 (GAN) [11] 和卷积自动编码器 (CAE) [12]，它们是目前 无监督变化检测 中最常用的深度学习方法之一任务。然而，一些研究表明，这种 生成模型 过度关注像素 而不是 抽象的特征表示 [13]。最近在 对比学习方面的研究 [14]、[15] 鼓励网络在 CV 任务中 学习更多可解释和有意义的特征表示，它们的表现优于对应的生成方法。 为了克服生成模型的缺点，本文在 多视图遥感图像变化检测中 利用对比学习。

                本文提出了一种新颖的通用方法，用于在 单传感器 和 跨传感器 场景中执行 无监督变化检测，该方法基于多视图对比学习方法 [14]。所提出的方法 不是在预定义的任务上 训练 生成模型，而是 通过最小化 直接来自双时图像的特征 之间的距离，在大型未标记图像上进行端到端训练。为此，训练了一个 pseudo-Siamese网络（利用 ResNet-34 作为主干），以回归两个分支之间的输出，这些分支通过 对比方式 在大型存档的多视图图像上 进行了预训练。此外，本文引入了一个 change score 变化分数，可以准确地 模拟 双时间图像之间的特征距离。当两个分支的特征向量之间存在显着差异时，就会识别出变化。

                本文的其余部分组织如下：第二节介绍了 多视图图像中无监督变化检测的相关工作，包括 单传感器 和 跨传感器图像。第三节通过描述 pseu