Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images

论文地址：https://sci-hub.ren/10.1109/lgrs.2017.2738149

Abstract

提出了一种基于深度孪生卷积网络的新型有监督变化检测方法，用于光学航空图像。 我们使用加权对比损失训练孪生卷积网络。 该方法的新颖之处在于，可以学习孪生网络以直接从图像对中提取特征。 与传统的变化检测方法使用的手工特征相比，提取的特征更加抽象和强大。 此外，由于加权对比损失函数的优势，这些特征具有独特的属性：变化后的像素对的特征向量彼此相距较远，而未变化的像素对的特征向量则相近。 因此，我们使用特征向量的距离来检测图像对之间的变化。 距离图上的简单阈值分割甚至可以获得良好的性能。 为了进行改进，我们使用KNN来更新初始结果。 

I. INTRODUCTION 

主要贡献：

1.  We learn a siamese CNN to extract features directly from the images pixel by pixel. 

2. 为了更有效地区分变化和未变化的像素，并减少变化检测中不平衡数据的影响（即变化和未变化的像素数量变化很大），我们使用加权对比损失，目标函数中不仅考虑了未变化的像素，还考虑了变化的像素。

II. PROPOSED METHOD 

A. Siamese Convolutional Neural Network

图 1

《Learning to Compare Image Patches via Convolutional Neural Networks》中提出了三种模型，如图1所示。本文使用了“two branches of the siamese network share the same weights”的结构，原因是：

they extract features from the two patches using the same approach. As the two input images we used for change detection are both optical images, in other word homogeneous, which are captured by the same type of sensor (both optical sensors) and have similar characteristics, it is natural to extract features in the same way. 

 本文中，网络结构如下

 Because our goal is to extract features pixel by pixel, the pooling and fully connected layers are not yet used in our designed network. 

B. Contrastive Loss Function

Let X1 and X2 be two coregistered aerial images，Let  be the output feature tensor, where X is the input image. Let  be the distance map between X1 and X2。定义为欧式距离：

 Then, the loss function in its general form is

 其中，Y是ground truth，y(i, j)为0代表unchanged，为1代表changed。i是第k个标记的训练样本对， and are the partial loss functions for a pair of unchanged and changed pixels，P是训练样本对的数量。

where m > 0 is a margin. Changed pixel pairs contribute to the loss function only if their parameterized distance is within this margin . m is set to 1.

在本文所提的方法中，用了weighted contrastive loss，因为changed pairs往往比unchanged pairs多得多，所以加权是必要的。

the final loss function is 

其中和分别表示未改变和改变像素对的权值。

使用 average frequency balancing，

 其中和是未更改和更改的像素对的频率，是平均类频率。这里只有两类（changed and unchanged），所以 = 0.5。这种平衡意味着，如果改变的像素对小于未改变的像素对，那么权值大于1，对损失的贡献也就更大。

 C. Detailed Detection Scheme 

首先，利用直方图匹配对两幅配准图像进行辐射校正；将两图像输入网络，得到输出Feature tensor F1, F2。由（1）式得到Distance map D，经过阈值分割得到 Initial change map T（The threshold getting the best performance can be computed on the training sample pairs.）。阈值分割后，通过k近邻(k-NN)方法对 initial change map 进行改进，得到 Final change map M。

III. EXPERIMENTS 

A. Implementation Details 

在 SZTAKI AirChange Benchmark Set上训练

B. Results and Evaluation