【论文笔记】Selecting change image for efficient change detection

论文

论文题目：Selecting change image for efficient change detection

发表于：IET Signal Processing 2021

论文地址：https://ietresearch.onlinelibrary.wiley.com/doi/10.1049/sil2.12095

论文代码：GitHub - rfww/EfficientChangeDetection: Selecting change image for efficient change detection

Abstract

变化检测（CD），旨在从两次观测中检测变化的目标。以往基于CNN的CD方法通过从两幅图像中提取多尺度深度卷积特征来检测变化。但固定相机的“Query”图像总会发生变化，也意味着可以从单个图像检测粗变化先验。

本文提出一种有效的CD方法，检测已变化图像中的精确变化。

1. 首先，设计一个变化图像选择器，来识别包含变化的图像；
2. 其次，提出一种粗变化先验图生成器，用于在表示变化位置之前生成粗粒度变化；
3. 然后，引进一个简单的多尺度CD模块来细化粗粒度的变化检测。

多尺度CD模块只使用一张图。检测性能较好，速度较快。

1 Introduction

变化检测(Change detection, CD)旨在发现同一地点同一时间跨度的两个观测值之间的差异。

观测有2个： 参考图像X（conference image X） 和 查询图像Y（query image Y）。

Alcantarilla et al.将X和Y拼接成6通道图像，使用全卷积网络检测变化。

但大多数真实场景下，变化总发生在单个图像中。从图像对检测变化需要从观察图提取特征，会浪费计算资源。

ADCDnet，基于图像对，两图视角差异较大，效果不够好，还可能由于两次观测时间跨度较大，会存在相机姿态、光照差异等影响。

本文旨在解决从已变化图像中检测变化的问题。为此，

1. 首先，提出一个变化图像选择器（change image selector，CIS），识别包含变化的图像；CIS是一种基于SPP（空间金字塔池化）的结合两幅观测图像特征的二值图像分类器。
2. 然后，提出一种粗变化先验图生成器（coarse prior map generator，CCPMG），利用两幅图像的绝对差值来生成粗变化先验图Mp（coarse change prior map Mp），以表示变化位置。
3. 再利用多尺度CD模块提取的特征对Mp进行细化。

在不结合其他图像特征的情况下，该方法有3个优点：

• 不需要学习卷积层来融合两幅图像的特征；
• 可以缓解不变图像所带来的不良影响；
• 效率高。

main contribution

• 提出从包含变化的图像中检测变化。为此，提出一个变换图像选择器来识别包含变化的图像，和一个粗变化先验图生成器来生成变化线索。
• 利用变化线索，能在多尺度CD模块中仅仅使用变化图像的特征，并采用自底向上的方式进行细化。该方法在不使用两幅图像特征的情况下是高效的。
• 虽然在多尺度CD模块仅使用变化图像特征，但效果比使用两张图像的CD方法更好。

2 Related work

Traditional CD methods：传统的CD方法采用手工制作的特征和精心设计的算法来产生像素级的差异。不需要大量训练图像，且易于实现。但受相机姿态变化和光照差异影响。

Deep learning based CD methods：CNN通过同时学习特征提取器和分类器来提高各种计算机视觉任务的性能。可以从图像中提取有效的特征，克服摄像机姿态变化和光照差异，获得很好的效果。

本文提出一种有效的CD方法，通过选择变化图像和生成粗变化先验图来检测变化，可以缓解不变图像的不良影响。

3 Method

 为从变化图像检测变化。首先需要识别变化图像和生成一个粗粒度变化先验图。使用简单的网络结构作为变化图像选择器和粗变化先验图生成器。再设计一个多尺度变化检测模块，从变化图像中检测变化。

Basic feature extraction

基本特征提取，可以使用任何图像分类网络作为特征提取骨干，文中采用VGG16作为基本特征提取网络。它有5个卷积模块，标记为Conv1，…，Conv5。每个卷积模块中最后一个卷积层的输出是我们的基本特征。分别表示从X和Y中提取的第一个卷积模块的特征。

对于CIS和CCPMG，只使用X和Y中第一个卷积模块的特征。

得到变化图像后，从中提取5个不同尺度的特征。。

为提高特征表示能力，对特征进行融合， 将（i+1）层的融合卷积特征与第i层的卷积特征拼接起来。因此，底层的特征可以编码高级的语义信息。 计算公式如下：

change image selector

 识别变化图是重要组成部分。将拼接起来，生成三层全连接网络的特征。再采用SPP生成固定长度的特征向量。CIS架构如下图。

• 第一层是输入层。以SPP生成的1344维特征向量作为输入。
• 第二层是隐藏层，有128个神经元。
• 最后一层由两个神经元组成，计算选择X或Y作为变化图像的概率。

若第一个概率大于第二个概率，则选择X作为变化图像；否则选Y作为变化图像。

图中，用0表示X被选中，1表示Y被选中。

Coarse change prior map generator

以往CD方法使用图像差值和阈值来生成变化图。但相机姿态和照明差异会导致不好的CD效果。

高层卷积特征可以提取语义信息，但高层计算成本相较更高，影响检测器效率。

CCMPG网络如图4所示，是一个简单的孪生网络。它有三个卷积块，将的分辨率降低到80*80、40*40、20*20，捕捉变化目标的多尺度信息。然后将对应级别的特征减去卷积得到绝对差值特征。这些特征先调整尺寸，再拼接生成。

 其计算公式如（2）所示。还有Mp的生成公式如（3）所示，生成一个两通道图。

 GT与粗变化先验图Mp示例。

Multi-scale change detection

Mp只描述变化的粗略位置，需要进一步细化。根据的尺寸调整的尺寸，并通过卷积层将其与融合。利用所得到的特征Fi对变化对象进行编码。提出一种具有自底向上特征增强的多尺度变化检测模块。自底向上的融合特征计算公式如（4）所示。利用融合特征生成预测Pi，最终将多个Pi拼接再卷积生成最后的预测结果Pf。

 Training policies

4 Experiment

Baselines：将该方法与5种CD方法比较：MFCNET, FCN, ARPPNET, SEU-Net2 and ADCDnet。 

Datasets：VL-CMU-CD 和 CDnet。

Criteria：F1-measure (F1), precision (Pre), recall (Re), specific (Sp), false positive ratio (FPR), false negative ratio (FNR) and percentage of wrong classification (PWC)

Results on VL-CMU-CD

Results on CDnet

Running time

单图预测时间与F1值关系。

5 Ablation study

使用不同卷积层特征的CIS精确度与耗时比较。

 CCPMG使用不同尺度特征的效果比较。

 融合特征图的可视化。

 是否使用的有效性比较。

多尺度CD模块中是否使用自底向上的特征增强的效果比较。

6 Conclusion

• 提出一种基于变化图像的有效变化检测方法。
• 该方法包含变化图像选择器、粗变化先验图生成器和多尺度变化检测。
• 利用简单的网络结构，很容易得到变化图像和变化的粗粒度位置。然后，利用多尺度CD模块从变化图像提取的特征，对粗变化图进行细化。
• 在多尺度CD模块中，并没有使用两幅图像的特征，可以缓解不变图像带来的不良影响。
• 在CL-CMU-CD和CDnet两个数据集上取得较好效果。