TGRS 2023.12基于矢量多边形和深度学习的高分辨率遥感影像土地覆盖变化检测

首先，采用增强型简单线性迭代聚类(SLIC)算法对同一区域的双时相图像进行分割。随后，使用多尺度提取、裁剪和绘制方法生成带注释的数据集。接下来，分使用时态前和时态后图像的数据集进行训练和测试，并使用双分类器交叉验证对训练集进行纯化。最后，改进的面向对象卷积神经网络(CNN)模型进行细粒度场景分类。然后结合变化规则和后处理方法来识别变化的矢量多边形。

我的收获：这篇论文没有提出一个网络，而是提出一套流程，对于矢量的处理也只是生成超像素，没有编码。

贡献：

1)提出了一种基于高分辨率遥感影像和深度学习的矢量多边形变化检测框架。该框架实现了从预处理图像到变化检测的端到端应用，只需要双时相遥感图像和与前时相图像对应的土地覆盖矢量数据。

2)在数据集构建方面，提出了一种基于超像素分割和矢量多边形的样本库构建策略。首先，采用一种融合矢量多边形约束和纹理特征的改进SLIC算法进行分割。利用这些超像素和相应的土地覆盖矢量数据，设计了一种多尺度样本种植和补片方案。在DeepFill v2模型和自动净化器的支持下，可以收获大量高质量的样品。

3)为了提高遥感场景分类的精度，采用改进的面向对象CNN (IOCNN)模型对超像素裁剪单元进行分类。通过对一阶和二阶特征的整合，实现了更具判别性的特征表示，从而提高了模型效率和分类精度。此外，还引入了一个包含各种变更规则的变更决策者。该决策者将样本预测结果与土地覆盖矢量数据进行比较和后处理，从而有效提取变化的矢量多边形。

工作流程。(a)矢量多边形辅助图像分割。(b)自动生成和纯化样品。(c)细粒度分类。(d)变化检测和后处理。

该方涉及四阶段：最初，我们使用双时相高分辨率遥感图像和土地覆盖矢量数据作为输入。使用改进的SLIC算法对这些进行超像素分割。接下来，通过基于每个超像素单位的多尺度裁剪生成高质量的样本，并通过图像着色和样本纯化进一步细化。然后通过IOCNN将这些样本用于细粒度图像分类。最后，变更决策者应用各种规则来识别和定位矢量多边形内的变更。

A.图像分割

新方法: 利用向量边界作为先验知识的结合纹理特征的边界约束SLIC算法，如图2所示，分三步骤：初始化聚类中心、迭代、连接组件（最终目标是得到超像素）。

向量约束区域SLIC的步骤(以草地为例)。(a)原始图像和相应的土地覆盖矢量多边形。(b)初始化种子点。(c)微调种子点。(d)集群。

1)初始化聚类中心:给定超像素K个数，迭代放置种子点，使每个种子点到区域边界和其他种子点的距离最大化，实现种子点在区域内的均匀放置。种子点(P)的计算公式为

其中y表示区域边界上的点和放置的种子点的坐标，x表示未放置的种子点的坐标。N为矢量区域内像素总数，C0为分割尺寸标准。假设每个超像素是一个大小均匀的正方形，其边长可以用S表示，S = m ×C0, m是一个常数来测量超像素的大小，则超像素个数K = N∥(m ×C0)²

(2)迭代更新:计算区域内每个像素点与K个种子点之间的距离。然后用六维向量来表示距离：

SLIC算法的距离度量用一个5维特征向量表示，表示为Dk =[lk, ak, bk, xk, yk]T。其中，lk、ak和bk表示三通道的颜色分量，而xk和yk表示像素坐标。

在这五个基础上，引入纹理特征度量LBP k。它的基本原理是将中心像素的灰度值与周围像素的灰度值进行比较。然后将比较结果编码为二进制形式，作为当前像素的局部纹理特征。LBP算法的计算公式如下:

P表示邻域内采样的像素个数，R表示邻域半径，gp表示邻域像素的灰度值，gc表示中心像素的灰度值。

6维特征向量D'k =[lk, ak, bk, xk, yk, LBPk]T，同时考虑了空间、颜色和纹理特征，具体测量公式如下:

为了提高聚类收敛速度和保证分割质量，我们在种子点周围定义了一个半径为2S的圆形搜索区域。然后，我们计算该区域内每个像素点与种子点之间的最短距离。此外，我们使用k -means++算法应用迭代聚类方法，直到达到最大迭代次数或实现收敛。

(3)连接组件:经过迭代优化，可能仍然存在多连接或某些超像素过小的问题。为了提高连通性，必须采用区域增长方法过滤掉碎片化的、特别小的超像素，然后将它们与相邻的具有最相似灰度值的超像素合并。该方法利用矢量边界约束超像素分割，并进一步考虑纹理特征。同时，通过继承矢量多边形的土地类属性。

（B）自动生成，修复和纯化图像样本（为了对每个超像素进行场景分类）

目前，获取场景分类样本数据的方法大多是利用网络爬虫等生成样本，然而这不可靠。本研究提出一种有效的自动样本生成方法：利用超像素的质心作为样本裁剪的中心，并将其与矢量多边形中相应的地理位置和陆地类别信息相结合。

当沿着图像边缘裁剪样本时，超出图像边界的区域采用了图像绘制技术：样本内属于其他土地覆盖类型或为空值的区域首先根据矢量多边形的边界填充零。随后，使用预训练的生成式对抗网络(GAN)模型DeepFill v2模型生成该部分的修复图像。

然而，矢量多边形的土地覆盖类型以及GAN生成样本不准确，因此，需要纯化过程：用由两个预训练的分类网络ResNet-50和EfficientNet V2-S用于分类。只有三个完全一样，样本才被认为是“纯的”，并保留用于最终训练。纯化操作仅适用于训练数据。前时间图像中样本分别用于遥感场景图像分类的训练，后时间用于测试。

（C）采用改进的面向对象CNN (IOCNN)模型对超像素裁剪单元进行分类（略，就是细粒度的场景分类网络的训练和测试，前面讲了训练和测试数据的获取）。

（D）变化检测和后处理

利用与变化数据集相关联的矢量多边形对变化区域进行定位和识别，从而完成变化检测任务。在实际应用中，不同的任务对于不同的地面类的变化可能有不同的标准。例如,特定的应用需要耕地上没有建筑，但允许一些草的存在。为了适应不同的需求，我们使用决策者执行后处理。

在应用各种后处理规则后，选择满足变化规则的矢量多边形。我们以数据库格式存储样本预测结果，包括名称、预测类别、预测概率、初始类别和其他属性。随后，利用向量多边形的唯一标识符FFID，将同一向量多边形内的样本分组为一个单元，滤除初始类别与预测类别不一致的样本。最后，根据决策者定位改变后的矢量多边形。