SSLChange: A Self-supervised Change Detection Framework Based on Domain Adaptation

基于域适应的自监督变化检测框架

摘要

• 传统的遥感图像变化检测 (RS CD) 任务需要大量手动标注，费时费力。
• 本文提出 SSLChange 框架，利用自监督对比学习，无需额外数据或标签，即可提高 CD 模型性能。
  [code](https: //github.com/MarsZhaoYT/SSLChange)
  paper

文章贡献

• SSLChange 框架概述：包含领域适配器和分层对比头两个模块，用于特征提取和对比学习。
• 领域适配器：将单时相样本转换为潜在空间，消除不同成像条件的影响，生成自然对齐的正样本对。
• 分层对比头：包含空间分支和通道分支，分别提取局部和全局特征，并进行特征对比和相似度计算。
• 下游微调：将预训练的特征与原始图像进行拼接，作为下游 CD 基线的输入，并进行监督微调。

相关工作

• 领域自适应：解决多时相遥感图像之间的域差异问题，主要方法包括分布度量一致性方法和对抗性方法。
• 自监督对比学习在 CD 任务中的应用：利用无标签数据预训练模型，提升模型对 CD 任务的适应能力。

方法

框架结构

SSLChange 框架主要由两部分组成：

领域适配器 (Domain Adapter): 将单时相样本转换为潜在空间，消除不同成像条件的影响，生成自然对齐的正样本对。这有助于模型更好地捕捉跨域特征，并消除成像条件的影响。

• 问题：传统的自监督学习方法依赖于手动数据增强来创建不同的嵌入视图，需要进行大量的试验和调整。
• 解决方案：SSLChange 框架利用领域适配器，将多时相遥感图像之间的域差异视为自然对齐的正样本对。
• 实现：使用基于 CycleGAN 的图像到图像翻译 (I2IT) 算法进行双向投影，生成具有相同内容但风格不同的图像对。

分层对比头 (Hierarchical Contrastive Head): 包含空间分支和通道分支，分别提取局部和全局特征，并进行特征对比和相似度计算。这有助于模型更准确地捕捉目标的几何和语义信息

下游任务
SSLChange 框架在下游任务中采用了 Fine-Tuning method with clipped pre-trained encoder 的方式，即将预训练编码器进行裁剪并冻结参数，然后连接一个轻量级的对齐模块，将特征恢复到原始图像的尺寸，并与原始图像进行拼接，作为下游任务网络的输入。

文章采用多种算法对本文算法在下游任务性能的提升方面进行了对比：

或许该方案是针对变化检测框架设计，并设计模块裁剪方案，文中并没采用CV领域经典的自监督预训练框架进行对比，目前大量变化检测算法论文采用默认的imagenet或经典的权重初始化方案进行模型权重的初始化。相信后续会持续有相关的变化检测预训练相关的论文出来