Learning to Measure Changes: Fully Convolutional Siamese Metric Networks for Scene Change Detection

原文：https://arxiv.org/abs/1810.0911

Code：https://github.com/gmayday1997/ChangeDet

 

Abstract

提出了一种全卷积孪生度量网络 fully Convolutional siamese metric Network(CosimNet) 。可以通过自定义隐式度量来度量变化。 要了解更多判别指标，我们利用对比损失（contrastive loss ）来减少未更改特征对之间的距离，并扩大已更改特征对之间的距离。 提出了阈值对比损失（TCL），并采用了一种更宽容的策略来惩罚噪声变化。 在CDnet，PCD2015和VL-CMU-CD数据集上进行了实验。

1.Introduction

怎么定义一个dissimilar function或者metric去定义变化呢？

从变化的角度来看，它包含interest变化（称为语义变化）和nuisance变化（称为噪声变化）。 给定一对图像，变化检测旨在识别不同时间的语义变化。 但是，存在着如照明，阴影和相机视点差异所产生的噪声变化，这些噪声很难与语义变化区分开来，由于噪声变化和语义变化，使得变化难以定义和度量。 直觉上，如果要探索语义变化并抑制嘈杂的变化，一种可行的方法是学习更多的判别性度量来测量变化，使得语义变化的值大，而噪声变化或不变化的值较小。

CosimNet主要包含两个部分：用全卷积孪生网络提取特征和定义的距离度量

 

文章主要贡献如下：

1.将变化检测任务转换为implicit metric learning problem，第一次提出端到端的度量学习方法

2.提出一种 Thresholded Contrastive Loss (TCL) 来解决large camera viewpoint differences导致的噪声变化。

3.在PCD2015和VL-CMU-CD取得了最好的性能。

4.把距离度量和FCN结合了起来。

 

2.PROPOSED APPROACH

B Learning an Implicit Metric

最受欢迎的距离度量标准是欧式距离和余弦相似度。 选择合适的预定距离度量标准会严重影响模型的性能，并取决于相应的任务。 例如，人脸识别通常使用欧几里得距离，而余弦相似度则适合于文本处理任务。

C. Learning Discriminative Metric

（1）对比损失：采用对比损失（旨在扩大类间差异并同时减少类内差异）来监督CosimNet，以学习良好的隐式度量。 对比损失的公式如下：

（2）阈值对比损失：

我们的目标是在任何具有挑战性的室外条件下（尤其是在由于相机旋转或变焦而导致视点差异较大的情况下），稳定地测量变化。 在这种情况下，原始的对比损失会受到诸如性能不佳和优化过程中收敛速度慢等缺点的困扰。 主要原因是存在以下两个矛盾：一方面，由于未配准，较大的视点差异很容易激活太多不相关的信息，导致 changed pair 和 unchanged pair 特征纠缠在一起； 另一方面，本来没有变化的区域由于视点差异而产生了变化，这些点也会趋向于0。

导致此矛盾的关键问题是，使 semantic dissimilar feature-pair（ a large viewpoint difference easily activates too much irrelevant information due to heavily unregistration）的特征对之间的距离等于0是不合理的。为此，作者提出了阈值对比损失TCL，通过设置一个margin，使得距离不会变为0.

D. Training Policy

使用了MultiLayer Side-Output (MLSO)训练策略，这种策略基于两种观点：

（1）在训练阶段，反向传播过程中，the supervised information of single-layer loss 逐渐减少，导致中间层的判别特征较少。

（2）在测试阶段，上层特征的表示能力取决于中层特征的辨别能力。

因此，引入了伴随损失函数（ companion loss function），以监督中间层的特征学习，这可以看作是对上层隐藏层的附加约束。在训练过程中，为了平衡各层的loss，设置参数​（ layer-balancing weights）

where ​​  denotes the loss between the distance map and the ground truth.

在测试阶段，对不同的层采用了不同的置信阈值，最终预测结果为各个层的输出取平均。