ChangeFormer(A Transformer-based Siamese Network for Change Detection)

ChangeFormer

论文地址：A Transformer-based Siamese Network for Change Detection
ChangeFormer的三个主要模块：
1.一个层次化的transformer编码器（用于提取双时相图片的粗细特征）
2.四个特征差异模块（计算不同尺度下的特征差异性）
3.一个轻量的MLP解码器（混合多层的特征差异以及预测Mask）

Hierarchical Transformer Encoder

Transformer Block

$Attention(Q,K,V)=Softmax(\frac{Q{K}^T}{\sqrt{}{d}_{head}})V$

上式是一般的self-attention模块，其计算复杂度为$O(H{W}^2)$。

加入Sequence Reduction处理（$R$为减少率）：

$\hat{S}=Reshape(\frac{HW}{R},C\ast R)S$

$S=Linear(C\ast R,C)\hat{S}$

其中$S$代表需要进行reduce的sequence，例如$Q,K,V$向量，$Reshape$为reshape操作，$Linear$代表线性层。
这一步操作能够将$Q,K,V$的size转为$(\frac{HW}{R},C)$。这将复杂度降到了$O(\frac{(HW{)}^2}{R})$。

位置信息编码

$F_{out}=MLP(GELU(Conv2D_{3\times 3}(MLP(F_{in}))))+F_{in}$

$F_{in}$是self-attention提取到的特征，$GELU$是Gaussian Error Linear Unit activation。

Downsampling Block

第一个Downsampling Block: $Conv2D(K=7,S=4,P=3)$
后面的Downsampling Block: $Conv2D(K=3.S=2,P=1)$

Difference Module

Difference Module用来计算不同时相图片在不同层特征的差异：

$F_{diff}^i=BN(RELU(Conv2D_{3\times 3}(Cat(F_{pre}^i,F_{post}^i))))$

Cat代表 tensor concatenation。

MLP Decoder

MLP Decoder用来将前面提取到的多层特征聚集在一起来进行预测change map。
MLP主要包含3步：
MLP & Upsampling
先通过一个MLP layer将不同层的特征图的通道维统一，然后将每个上采样到size: $H/4\times H/4$:

${\hat{F}}_{diff}^i=Linear(C_i,C_{ebd})(F_{diff}^i)\forall$

${\hat{F}}_{diff}^i=Upsample((H/4,W/4),"bilinear")({\hat{F}}_{diff}^i)$

其中$C_{ebd}$代表embedding dimension

Concatenation & Fusion
这一步通过MLP layer将不同特征图concat和融合:

$F=Linear(4C_{ebed},C_{ebed})(Cat({\hat{F}}_{diff}^1,{\hat{F}}_{diff}^2,{\hat{F}}_{diff}^3,{\hat{F}}_{diff}^4))$

Upsampling & Classification

用一个卷积将特征图F上采样为$H\times W$:
$Conv2D(K=3,S=4)$
最后，将得到的特征图通过另一个MLP layer来预测change mask CM($H\times W\times N_{cls}$)
$N_{cls}$代表类别数即change 和 no-change :

$\hat{F}=ConvTranspose2D(S=4,K=3)(F)$

$CM=Linear(C_{ebd},N_{cls})(\hat{F})$