Change Detecion文献综诉

最新推荐文章于 2024-05-12 23:25:56 发布

Nevermore93117

最新推荐文章于 2024-05-12 23:25:56 发布

阅读量968

点赞数 4

文章标签：计算机视觉算法神经网络机器学习

本文链接：https://blog.csdn.net/qq_40515258/article/details/112486022

版权

Change Detecion文献综诉

介绍：

一般应用：航拍图像，街道场景

难点：季节、光照因素的影响。摄像机拍摄造成的视点差异

1.Change Detection from a Street Image Pair using CNN Features and Superpixel Segmentation（2015）

基本思想：在CNN网络中，其上层代表并编码输入图像的高度抽象信息，即语义、对象级别上的信息；而低级视觉特征（如边缘、纹理等）由下层表达。这篇文章将CNN特征与输入图像的超像素分割相结合。具体来说，该方法首先将输入图像分割成粗网格，通过比较网格单元在不同时间的CNN特征来估计每个网格单元场景变化的可能性。接下来，该方法将网格单元上检测到的变化投影到超像素段，以获得变化的精确边界。总的来说，文章致力于对由车载摄像头拍摄的街景全景图的进行语义层面上的变化检测，精确度并不高。

步骤：1.使用VGG网络的池化层对一对图片进行对分割网格的特征提取，其中网格数量与池化层元素数量一致；通过计算一对图片特征的距离得到change maps

2.对数据图片进行超像素分割（Pedro F Felzenszwalb and Daniel P Huttenlocher. Efficient graph-based image seg-mentation. International Journal of Computer Vision, 59(2):167–181, 2004.），进行这一步的目的是缓解池化操作带来的分辨率降低

3.通过几何背景估计天空和地面差异并加以去除，最后得到change score

创新点：使用VGG网络的池化层将图片网格化提取不相似性特征，并结合超分辨率分割减轻由于池化操作造成的分辨率下降问题

2.Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images（2017）

基本思想：首先，使用直方图匹配对两张共配准的图像进行辐射校正。然后，将处理后的图像X1和X2输入到训练好的siamese CNN中，在网络顶部处得到两个特征张量Gw(X1)和Gw(X2)(记为f1和F2)。然后由(1)生成距离图Dw(X1, X2)(为方便起见，记为D)。在距离图D中，值越大，越有可能改变对应的像素对。因此，通过对d进行简单的阈值分割，可以得到一个初始的变化图(记为T)，在训练样本对上计算得到性能最好的阈值。阈值分割后，通过k-近邻(k-NN)方法对初始变化图进行改进(M)。

因为我们的目标是一个像素一个像素地提取特征，池化和完全连接的层在我们设计的网络中还没有使用。网络设计中的另一个重要问题是每个卷积层的核大小的选择。除了最后一个，我们在卷积层上应用一系列逐渐增大的核。这种策略保证了接受野的扩大，可以作为池化层的功能替代。最后一个卷积层作为特征映射的选择器，其内核大小为1。

创新点：采用Siamese网络同时训练两张图片；采用由小到大的卷积核（最后一层为1x1，效果上与全连接层相同）逐渐扩大感受野；采用knn对网络结果进行微调（代替直接用阈值分割）；

附：在论文《Learning to Compare Image Patches via Convolutional Neural Networks Sergey》中提到了基于Siamese网络的三种基本架构如下图所示，在后面的文章有所体现：

其不同之处在于，双通道网络是将两张图象并行输入双通道图片，它的训练速度很快，但通常在测试时，它更昂贵，因为它需要所有补丁的组合以蛮力方式进行测试。

SIamese网络与伪Siamese网络为对称结构，前者共享权值，后者不共享。伪Siamese网络可以被认为是介于暹罗网络和双通道网络之间的网络。更具体地说，它具有上述siamese网的结构，只是两个分支的权值是不耦合的，即不是共享的。这增加了可以在训练期间调整的参数数量，并提供了比受限的暹罗网络更大的灵活性，但不像下面描述的2通道网络那样多。另一方面，它保持了siamese网络在测试时的效率。

3.A Deep Convolutional Coupling Network for Change Detection Based on Heterogeneous Optical and Radar Images（2018）

概要：基于光学传感器和雷达在不同日期获取的两幅异构图像，我们提出了一种无监督深度卷积耦合网络用于变化检测。现有的变化检测方法大多基于同质图像。由于光学传感器与雷达传感器的互补性，基于异质图像(光学图像和合成孔径雷达图像)的变化检测越来越受到人们的关注。该网络是对称的，每边由一个卷积层和几个耦合层组成。将连接到网络两侧的两幅输入图像分别转换到特征空间中，使其特征表示更加一致。在这个特征空间中，计算不同的地图，然后应用阈值算法得到最终的检测地图。通过优化耦合函数来学习网络参数。学习过程是无监督的，不同于现有的基于异构图)的变化检测方法。

我们提出了一种对称卷积耦合网络(SCCN)用于异构图像的变化检测。SCCN有三个主要特征。首先，该网络具有对称结构，两侧各由卷积层和耦合层组成，用于特征提取和转换。其次，通过最小化耦合函数，从网络的两侧同时通过分层耦合层进行特征转换，该函数测量像素级差异对不变像素的求和。第三，首先使用分层特征提取器对网络参数进行初始化，并结合图像的某些噪声模型，以减少噪声的影响，提取有用的特征，方便学习过程。与上述基于异构图像的变化检测方法不同，本文方法是完全无监督的，在学习过程中自动识别并利用不变的像素点。

本文主要是通过无监督方法（DAE+Siamese）对异质图像（光学图像和合成孔径雷达图像）进行相似性比较，具体步骤如下：

1.先使用去噪自编码器对两张图片进行预训练更新网络参数集 $\Theta$

2.优化耦合函数（其实就是Siamese与伪Siamese的结合），也就是网络训练过程，对不变区域进行对齐

3.将图片输入训练好的网络，差异图为两张特征图直接进行距离计算

创新点：

1.输入图片先利用去噪自编码器配合概率模型（光学图像用高斯噪声，SAR用散斑噪声）进行去噪

2.由于SCCN是双边的，使损失函数中耦合函数关于 $P_{u}$ 和θ的最小值可能导致退化的特征表示，即h1(x, y)≡h2(x, y)≡C, C是一个常数。

解决：首先将DAE应用到SCCN的每一边。然后，由DAE推导出的一侧网络参数是固定的。然后，以DAE获得的参数为起点，学习另一侧的网络参数，并通过反向传播进行 $P_{u}$ 最小化。无监督学习生成的一致特征空间可以很好地表示输入图像。同时，通过无监督特征学习方法对网络进行预训练，以此初始化网络参数，便于后续的反向传播算法。

4.Automatic Change Detection in Synthetic Aperture Radar Images Based on PCANet（2016）

概要：本文提出了一种新的基于PCANet的多时相合成孔径雷达图像变化检测方法。该方法使用PCA滤波器作为卷积滤波器，利用每个像素的代表性邻域特征。因此，该方法对散斑噪声具有更强的鲁棒性，可以生成噪声点较少的变化图。给出两幅多时间图像，利用Gabor小波和模糊c均值来选择感兴趣的像素，这些像素被改变或保持不变的概率较高。然后，以感兴趣的像素为中心生成新的图像补丁，并利用这些补丁训练PCANet模型。最后，利用经过训练的PCANet模型对多时相图像中的像素进行分类。

1)步骤1：预分类:使用log-ratio算子生成log-ratio图像。然后，利用Gabor小波和FCM算法对有较大概率发生变化或不变的兴趣点进行选择。剩下的像素将在步骤3中进一步确定。

2)步骤2:PCANet模型训练:生成以感兴趣像素为中心的新图像块。PCANet模型使用这些补丁进行训练。

3)步骤3变化和不变像素分类:使用训练好的PCANet模型，将步骤1中剩余的像素进一步划分为变化和不变类。然后，将PCANet分类结果与预分类结果相结合，形成最终的变化图。