阅读笔记
这是iccv2021的一篇关于遥感影像变化检测的论文。变化检测要求指出同一地方不同时刻(paired)的变化区域,即公式1。目前的方法通常使用双时相数据(paried bitemporal images)进行监督学习(图1a),本文提出一种使用单时相数据的方法进行监督训练(图1b),即训练时使用不同区域的图片(unpaired single-temporal images)。这样,需要的工作是如何从unpaired images 中构造监督信号用于训练。
图1
min
θ
L
(
F
θ
(
X
t
1
,
X
t
2
)
,
Y
t
1
→
t
2
)
(
1
)
\min _{\theta} \mathcal{L}\left(\mathbf{F}_{\theta}\left(\mathbf{X}^{t_{1}}, \mathbf{X}^{t_{2}}\right), \mathbf{Y}^{t_{1} \rightarrow t_{2}}\right) \ \ \ \ (1)
θminL(Fθ(Xt1,Xt2),Yt1→t2) (1)
变化检测一个直接的思路是:使用图像分割算法对双时相图片检测出感兴趣的区域(如建筑),再进行对比得到变化区域,同时取消paried的约束,即公式2。但这种方式就单纯依赖图像分割算法。
min
θ
L
(
F
θ
(
X
i
,
X
j
)
,
compare
(
Y
i
,
Y
j
)
)
(
2
)
\min _{\theta} \mathcal{L}\left(\mathbf{F}_{\theta}\left(\mathbf{X}^{i}, \mathbf{X}^{j}\right), \text { compare }\left(\mathbf{Y}^{i}, \mathbf{Y}^{j}\right)\right) \ \ \ \ (2)
θminL(Fθ(Xi,Xj), compare (Yi,Yj)) (2)
本文使用单时相图片构造伪双时相图片(pseudo bitemporal image),即公式3
min
θ
L
(
F
θ
(
X
t
1
,
π
X
t
1
)
,
Y
t
1
⊕
π
Y
t
1
)
(
3
)
\min _{\theta} \mathcal{L}\left(\mathbf{F}_{\theta}\left(\mathbf{X}^{t_{1}}, \pi \mathbf{X}^{t_{1}}\right), \mathbf{Y}^{t_{1}} \oplus \pi \mathbf{Y}^{t_{1}}\right) \ \ \ \ (3)
θminL(Fθ(Xt1,πXt1),Yt1⊕πYt1) (3)
π
\pi
π是对batch 的索引变换,图2a,2b两列为同一组图片,但顺序不一样,
π
\pi
π就是训练时对一组单时相图片打乱顺序。图2c是变化区域掩码,掩码由图2a与图2b的分割掩码异或得到。图2中一行就是一个训练样本。
图2
因为用到图像分割,所以训练损失有两部分,二元分割损失和变化检测损失,使用的都是二元交叉熵损失。
L
=
L
seg
+
L
change
(
4
)
\mathcal{L}=\mathcal{L}_{\text {seg }}+\mathcal{L}_{\text {change }} \ \ \ \ (4)
L=Lseg +Lchange (4)
L
binary
(
p
,
y
)
=
−
y
log
(
p
)
+
(
1
−
y
)
log
(
1
−
p
)
(
5
)
\mathcal{L}_{\text {binary }}(p, y)=-y \log (p)+(1-y) \log (1-p) \ \ \ \ (5)
Lbinary (p,y)=−ylog(p)+(1−y)log(1−p) (5)
因为变化区域在时间上是没有方向的,因此是一个对称损失,缓解过拟合问题。
L
change
=
1
2
[
L
b
i
n
a
r
y
(
F
θ
(
X
t
1
,
π
X
t
1
)
,
Y
t
1
⊕
π
Y
t
1
)
+
L
b
i
n
a
r
y
(
F
θ
(
π
X
t
1
,
X
t
1
)
,
Y
t
1
⊕
π
Y
t
1
)
]
(
6
)
\begin{aligned} \mathcal{L}_{\text {change }} &=\frac{1}{2}\left[\mathcal{L}_{\mathrm{binary}}\left(\mathbf{F}_{\theta}\left(\mathbf{X}^{t_{1}}, \pi \mathbf{X}^{t_{1}}\right), \mathbf{Y}^{t_{1}} \oplus \pi \mathbf{Y}^{t_{1}}\right)\right.\\ &\left.+\mathcal{L}_{\mathrm{binary}}\left(\mathbf{F}_{\theta}\left(\pi \mathbf{X}^{t_{1}}, \mathbf{X}^{t_{1}}\right), \mathbf{Y}^{t_{1}} \oplus \pi \mathbf{Y}^{t_{1}}\right)\right] \end{aligned} \ \ \ \ (6)
Lchange =21[Lbinary(Fθ(Xt1,πXt1),Yt1⊕πYt1)+Lbinary(Fθ(πXt1,Xt1),Yt1⊕πYt1)] (6)
整个方法的训练过程如图3
图3
实验部分主要与弱监督方法PCC对比,还有超参数的选择和消融实验。
最后是本文方法与使用图像分割对比的方法在训练时的收敛情况对比,如图4。((0, 40] epochs)时完分割比较的方法性能更好, ((40, 60] epochs)性能持平,之后 ,本文方法更好。说明该方法可以学习到额外的对比信息辅助变化检测。
图4