用于变化检测的基于transformer的连体网络

摘要

提出的方法在一个连体网络架构中统一了分层结构的transformer编码器和多层感知机（MLP）解码器，以有效地呈现多尺度长距离细节来得到精确变化检测。

1 介绍

变化检测(CD)旨在从在不同时间获取的一对配准图像中检测相关变化。变化的定义通常根据应用而变化。人造设施(如建筑物、车辆等)的变化。)、植被变化和环境变化(例如，极地冰盖融化、森林砍伐、灾害造成的损害)通常被视为相关变化。更好的CD模型是能够识别这些相关变化，同时避免由季节变化、建筑物阴影、大气变化和照明条件变化引起的复杂的不相关变化的模型。
BIT将transformer与ConvNet编码器(ResNet18)结合使用，以增强特征表示，同时保持基于ConvNet的整体特征提取过程不变。在本文中，我们表明这种对ConvNets的依赖是不必要的，具有轻量级MLP解码器的分级transformer编码器可以很好地工作于变化检测任务。

2 方法

如上图所示，提出的变换网络包括三个主要模块。
（1）在一个连体网络中的一个分级transformer编码器，用于提取二进制图像的粗略和精细特征。
（2）四特征差分模块，用于计算多尺度下的特征差异。
（3）轻量MLP解码器，用于融合这些多级特征差异并预测CD（变化检测）掩码。

2.1 分级transformer编码器

给定输入双时间图像，分级transformer编码器生成具有CD所需的高分辨率粗糙特征和低分辨率精细特征的多级特征，类似于ConvNet。给定分辨率为$H\times W\times 3$的变化前或变化后的图像，transformer编码器输出分辨率为$H/(2^{i+1})\times W/(2^{i+1})\times C_i$的特征图$F_i$，$i=1,2,3,4,C_{(}i+1)>C_i$。这些特征图将通过差分模块进一步处理，随后通过MLP解码器获得变化图。

2.2 差分模块

我们利用四个差分模块来计算分级transformer编码器的变化前和变化后图像的多级特征的差值。更准确地说，差分模块由Conv2D、ReLU、BatchNorm2d (BN)组成：

其中$F_{pre}^i$和$F_{post}^i$表示来自第$i$个分级层的变化前和变化后图像的特征图，Cat表示张量拼接。不是在BIT中那样计算$F_{pre}^i$和$F_{post}^i$的绝对差，我们所提出的差模块在训练期间学习每个尺度的最佳距离度量，从而产生更好的CD性能。

2.3 MLP解码器

我们利用具有MLP层的简单解码器聚集多级特征差异图来预测变化图。所提出的MLP解码器包括三个主要步骤：
（1）MLP&上采样。我们首先通过MLP层处理每个多尺度特征差异图，以统一通道维度，然后将每个多尺度特征差异图向上采样到H/4 × W/4的大小。
（2）连接&融合。通过MLP层连接和融合上采样的特征差异图。
（3）上采样&分类。我们通过利用S = 4和K = 3的2D转置卷积层将融合的特征图F上采样到H × W的大小。最后，通过另一个MLP层处理上采样的融合特征图，以预测分辨率为$H\times W\times N_{cls}$的变化掩码CM，其中$N_{cls}(=2)$是类的数量，即变化和无变化。