2023-5 一种基于特征差分卷积神经网络的变化检测方法

文章标题：A Feature Difference Convolutional Neural Network-Based Change Detection Method

作者：Min Zhang and Wenzhong Shi

摘要：

该方法使用CNN从遥感图像中学习深度特征，然后使用迁移学习组成具有共享权重的双通道网络，生成多尺度、多深度的特征差异图进行变化检测。该网络使用本文提出的变化幅度引导损失函数进行训练，只需使用少量像素级样本进行训练即可生成变化幅度图，这有助于去除一些伪变化。

1 引言

变化检测方法总体分两类：

1. 基于差分图像（DI:difference image）。通过图像差分、图像比、主成分分析(PCA)[3]或变化矢量分析(CVA)[4]生成。

不足：存在很多伪变化例如阴影变化和植被颜色变化，有监督的分类可以最好地解决这一问题但是要求大量先验知识。

2. 另一种是基于分类的，可以提供一个完整的变化方向矩阵。

基于卷积神经网络的分类和监督变化检测方法与传统的监督方法相比可以实现良好的效果但要求更多的训练样本和更长的训练时间。但在实际应用中获取大量遥感图像训练样本是困难的，尤其是高精度像素级样本。这里的像素级样本是指每个像素都有一个对应的ground truth，例如用于图像语义分割的样本。所提到的场景级样本意味着整个图像对应于一个标签，例如用于场景分类的样本

最理想的情况是，基于cnn的方法的训练样本应该包括至少两张不同时间获取的RS图像和对应的像素到像素的变化信息，或者包括单周期RS图像和对应的像素级分类ground truth。现有的公开数据集大多不能达到这一要求。通过人工解译获取这样的数据集费时费力，且无法保证样本的质量。

在本文中，我们提出了一种基于CNN架构的新方法，称为特征差分CNN (FDCNN)，用于从高分辨率RS图像中生成变化检测地图。FDCNN只需要很少的像素级样本来训练CNN，可以有效地减少伪变化的检测。

贡献：

1. FD-Net ：使用一个场景级分类CNN从不同传感器获取的不同空间分辨率的遥感图像中获取深层特征，在此基础上设计了一个特征差分网络（FD-Net），作为FDCNN的一部分来生成不同尺度和深度的特征差分图。它基于预训练的CNN和提出的特征差分方法。它能够在不需要可训练参数的情况下提供不同尺度下有价值的地面覆盖变化信息。

2. FF-Net：为了减少对像素级训练样本的需求，避免训练阶段的过拟合问题，我们设计了一个特征融合网络(FF-Net)作为FDCNN的一部分。FF-Net是轻量级的，可以通过很少的像素级训练样本从特征差异图中学习变化检测的知识。

3. 为了加快网络训练速度和提高准确率，我们提出了一种新的损失函数用于FDCNN训练，该函数使用每个像素的变化幅度作为先验知识。

2 以往的工作：

分两类

1：基于后分类（postclassification）。包含两步：训练一个CNN来对两个时间的RS图像进行分类，然后对两个分类结果进行比较来获取变化信息。

2：之间在斑块级或像素级的变化检测采样上训练神经网络。对于斑块级方法，变化和无变化预测通过将两个时间段的图像分割为许多组斑块，变成了一个相似度检测过程。像素级方法使用像素级样本来训练网络，需要设计良好的结构和许多高精度的像素级样本。

3 方法

逻辑上分三步：

首先，训练VGG16来在场景级遥感图像数据级上学习深度特征。第二，在提出的变化幅度导向损失函数的基础上，FDCNN通过与用少量像素级变化检测样本训练好的VGG16共享模型参数来进行训练。第三，在FDCNN生成的变化幅度图的基础上，用阈值方法获得二值变化图。

A.深度特征学习

深度特征可以根据是否考虑邻接关系分为两类。一种是由深度信念网络(DBN)和堆叠自编码器(SAE)表示的深度神经网络。他们的输入基于1-D数据，这是一个从输入图像或图像补丁转换而来的列向量，失去了空间信息。另一种是考虑空间关系，使用二维数据作为输入，典型代表是CNN。与前者相比，CNN通过局部连接和共享权值分层提取特征。从局部特征到全局特征，从低级特征到高级特征，它们可以非常抽象和概念化，更接近人类视觉的原则。因此，CNN在图像处理中得到更广泛的应用。

深度特征学习不同于浅特征学习。

方法降低特征的维数，但同时也会丢失地物的信息，使得复杂场景下的图像处理变得困难。稀疏编码可以获得图像的稀疏表示，减少存储和计算资源，但在处理大量数据时，计算复杂度更高。因此，具有强大特征提取能力的cnn已成为遥感数据处理中的热门研究课题。

在RS图像的分类和变化检测任务中，最理想的情况是提供像素级的样本，直接实现端到端网络。然而，与计算机视觉任务中的图像不同，RS图像具有不同的传感器类型、分辨率和成像条件，导致物体边界模糊和“混合”像素;不同物体具有相同的光谱，这使得难以获得像素级的GT。

B.特征差分CNN

使用一个简单的带有少量tp的CNN来学习如何选择和组合这些差异特征图，称为FF-Net。

但是，在训练样本数量不平衡的情况下，网络倾向于将像素预测到样本数量最多的类，这样在训练时损失较小，但在预测时准确率较低。

变成

对样本数据进行加权[53]或手动平衡样本数量可以有效缓解这一问题。

此外，变化的阈值具有模糊性和不确定性，即使人工解释也难以界定变化和不变化的界限。

为了解决这个问题，我们在本文中使用每个像素的变化幅度作为学习的先验知识，并根据样本数量使用权重损失函数。改进后的交叉熵损失公式如下:

生成变化幅度图的方法：CVA,MAD,IR-MAD,ITPCA.本文用了CVA

A：不确定的变化像素 B：确定的变化像素 C:确定的伪变化像素 D：不确定的伪变化像素

C.二值化