c++ 图像 变化检测_遥感数据的场景变化检测

来源：IEEE TGRS 2017
原文： https:// ieeexplore.ieee.org/abs tract/document/7817860
论文题目：Kernel Slow Feature Analysis for Scene Change Detection

---

Introduction

场景分类是计算机视觉领域的一个重要课题，它将图像场景分配正确的语义标签。场景分类已经广泛应用于许多实际应用中，包括图像检索、基于内容的图像过滤和图像理解。遥感影像的场景分类由于其在语义层次上解释城市土地利用分布的巨大潜力，也引起了人们的广泛关注，特别是高分辨率遥感数据能够根据图像中所编码的场景分布和结构模式，将工业区、商业区、居住区等具有语义性土地利用标签的图像场景进行分类。

当前许多研究都是针对单一图像的场景分类，但很少有研究关注多时相图像场景的场景变化检测。但是对于遥感数据来说，覆盖同一区域、不同时间采集的多时相图像场景的标签变化可以从语义层面反映土地利用的变化。例如，住宅区和商业区的出现可能预示着城市的发展。此外，由于不变的场景更可能属于同一类别，因此在城市发展研究和扩张监测中，检测场景变化和识别场景变迁（identifying from-to transition types）都是非常有用的方法。对于多时相遥感图像，现有的变化检测方法主要分为三类：

1）图像代数，用于计算多时相图像之间的差异；

2）图像变换，将多时相数据转换为新的特征空间，以提取信息并进行比较；

3）基于分类的方法，在独立分类后比较相应场景的分类标签，或者将场景变化分为一个类。

然而，传统的变化检测方法只检测场景的变化，不能有效地识别图像场景的类别变化，因为图像中主题目标的变化并不能直接修改图像场景的语义类。因此一个语义层面的场景变化检测的方法是很必要的。当前的场景变化检测方法，例如：视觉词袋模型（BOVW）结合后分类的方法（变化向量分析CVA）等方法。但是这些方法忽略了时间相关性，会导致错误分类和错误累积。

慢特征分析（SFA）是一种有效的无监督学习算法，它能够从快速变化的输入信号中提取时间不变的特征。SFA也通过学习不变样本的不变性特征，以突出真实变化场景中的特征差异。由于在高维特征空间中，图像场景的特征表示十分复杂。因此本文提出了一种结合监督训练的KSFA用来确定非线性的高阶特征表示。

本文提出了一种新的基于KSFA和后分类融合的场景变化检测方法。图像场景首先用BOVW模型表示，利用支持向量机（SVM）对独立场景进行分类。然后利用带有直方图交集核（HIK）的KSFA来获得多时相场景对的变化概率。最后，采用后分类融合结合贝叶斯理论或基于规则的方法，精确地确定用于变化检测的场景对的的标签组合，并且融合由KSFA获取的的独立分类和时间相关性。

Method

本文中作者提出的整体框架如下，主要分为五步：

1）用BOVW模型对多时相图像场景进行编码，得到频率特征；

2）对具有代表性特征的图像场景进行分类，采用支持向量机算法得到类概率；

3）实施KSFA变化检测算法，获取多时相场景对的变化概率；

4）采用后分类融合，将类概率与变化概率相结合，得到最优类组合；

5）输出场景变化检测和场景转换识别的结果。

Procedure of the proposed scene change detection method.

视觉词袋模型（BOVW）​blog.csdn.net

对于上述的（1）和（2）使用BOVW进行编码，然后使用SVM进行标签分类。

SFA慢特征分析算法​blog.csdn.net

然后使用KSFA获取多时相场景对的变化概率。最后，作者使用后分类融合方法获得最终的结果。后分类融合主要分为两个方面

（1）贝叶斯理论

（2）基于规则的方法：在传统的基于分类的方法中，一个主要的问题是，由于多时间数据中分类边界的变化，具有相似特征的不变样本会被错误地检测为变化类。因此，作者提出的基于规则的方法中，如果两个多时相场景的变化概率很小，它们属于同一语义类。因此，我们对不变的candidates（由KSFA特征的L2-norm或者chi-squared决定）提出了一些规则。在满足规则的情况下，不同类标签的不变candidates被指定为两个多时相场景之间的类概率较高的类。Rule1：对应的多时相场景的最大类概率中至少有一个低于50%。如果两者都大于50%，说明场景分类是确定的，不需要进行修正。Rule2：当

（场景1）的类标签变为

（场景2）的

类时，

的第二最大概率的

类应与

的

类相同。该规则假定，虽然

的分类不准确，但正确的类也应具有较高的类概率。Rule-based1=Rule1；Rule-based2=Rule1+Rule2；Rule-based3=0；Rule-based4=Rule2。

Experiment

Pseudocolor images of the Hankou area of the city of Wuhan, acquired in (a) 2002 and (b) 2009.

作者在真实的多时相遥感数据集上验证方法的有效性，通过场景变化检测（scene change detection）、场景变迁识别（transition identification）和分类（classification）的Kappa系数判定方法的有效性。具体的训练样本和测试样本选择细节和实现效果如下所示：可以发现本文提出的KSFA结合HIK，在Rule-based1，2，4有更好的表现。

Number of traning and testing samples and each“from-to”transition type.

(a) Kappa for the first data set from 2002. (b) Kappa for the second data set from 2009. (c) Kappa for scene transition identification. (d) Kappa for scene changedetection.

总的来说，当前遥感图像场景变化检测一般先使用传统的场景分类获得图像标签，通过标签对比获得变化结果，最后定义基于规则的方法优化最终的变化检测结果图。