DEEP FEW-SHOT LEARNING FOR BI-TEMPORAL BUILDING CHANGE DETECTION

拒绝省略号

已于 2022-04-14 11:36:32 修改

阅读量528

点赞数 1

分类专栏：论文文章标签：深度学习神经网络 pytorch

于 2021-09-11 17:19:19 首次发布

本文链接：https://blog.csdn.net/qq_49030008/article/details/120193146

版权

论文专栏收录该内容

7 篇文章 1 订阅

订阅专栏

论文地址

介绍

下图显示了从光学图像检测建筑物变化的不同挑战，例如小变化(参见图 a)、复杂屋顶(参见图 b)、多尺度变化(参见图 c)和无变化(参见图 d)。
在这里插入图片描述
双时态数据的构建变化检测方法需要在不同区域进行分析，并进行不确定性估计。
因此，尽管以前的方法试图通过深度学习模型和大规模数据集从小区域提取建筑变化，而不使用不确定性估计，但在本文中，重点对位于多个城市的不同区域的一小部分建筑变化进行建筑变化检测分析。在这项研究中，为了在遥感中建立通用和有效的建筑物变化检测模型，开发了深度小样本学习方法，并被证明是小训练数据中的一种稳健方法。

模型

在本文中，提出了一种新的深度小样本学习方法(deep few-shot learning method)，用于使用 Monte Carlo dropout 和遥感观测构建变化检测算法。模型的结构如下所示：
在这里插入图片描述

Few-Shot CNN

在建筑物变化检测等实际应用中，注释图像非常昂贵。这个问题在像素级分类任务中变得更加重要，其中密集的标签更难注释。

few-shot learning 在构建变化检测中的目标是在给定几对包含相同变化类的支持和查询图像以及支持图像的二进制真值图的情况下学习出一个相似函数，从而在新的输入样本中判断出每个像素的类别，并生成变化类的二值图。为了在构建变化检测中构建通用深度学习模型，已经开发了deep few-shot learning模型，并被证明是少量标记数据中的强大工具，一种有效的方法是微调预训练的网络。
在这项研究中，使用了 MultiScale-Net 作为专门的骨干网络，因为其强大的建筑物检测能力。

关于这个网络结构的相关论文我没找到，回头找到了补充。
简而言之——首先使用来自ImageNet的预训练模型，然后采用few-shot learning的学习方法在少量的样本上进行学习，学习出一个可以判断哪些像素是变化类的的函数。
few-shot learning

Depth Dropout

在卷积神经网络中使用残差块，尽管提高了精度，但显着增加了计算成本。假设卷积块包括两个卷积滤波器，输入值通过两个滤波器，然后与初始值相加。这个过程使得在编码解码网络中使用这些层变得困难。为了促进残差块在编解码网络中的使用，本研究采用了一种新的方法，称为卷积残差块，基于depth dropout 方法。
depth dropout 就是对于每个残差块进行dropout 处理，而不再是对某一层 dropout 。
depth dropout。

Uncertainty Estimation

不确定性估计是评估遥感检测任务中deep few-shot learning模型稳健性的关键步骤，尤其是在应用于风险敏感领域时，例如建筑物变化检测，因为对于这种检测任务，数据是在很远的位置拍摄采集的，数据本身的噪声（偶然不确定性）很大，并且模型的检测能力也会有很大不确定性。所以了解我们的模型对建筑物变化检测的信心对于遥感决策非常重要。之前提出了一些深度学习的不确定性估计方法，但大多数方法需要多次采样，这对双时态图像检测具有破坏性。在本文中使用了 Monte Carlo dropout 用于建筑变化检测中的不确定性估计，即——使用 Monte Carlo dropout 作为任意不确定性和认知不确定性的估计器来检测建筑变化。

具体方法就是——在测试的时候，打开 dropout层进行 $T$ 次测试，然后对这 $T$ 个结果计算信息熵，信息熵越大，表示模型的不确定性越大。
从下面的图我们也可以看出，对于变化区域的边界，模型得到的不确定性较大，说明对模型进行不确定性估计是十分必要的。
在这里插入图片描述 Monte-Carlo Dropout（蒙特卡罗 dropout），Aleatoric Uncertainty，Epistemic Uncertainty

实验

为了评估Few-Shot CNN，从研究区域中选择了四十张测试图像。这些测试图像的特点包括变化小、屋顶复杂、多尺度变化和无变化(上面说的4种挑战)。预训练权重已经在 MultiScale-Net 模型训练的基础上进行了训练，其中包含 2868 个非常高空间分辨率的图像块，用于来自不同光学传感器的建筑物检测。Few-Shot CNN 使用 ADAM 优化器，并使用默认参数进行训练，批次大小为 64，共训练250轮。使用的数据集包括来自 LEVIR-CD 的 190 张双时态 RGB 图像，大小为 512 × 512 像素，空间分辨率为 0.5 m，覆盖美国不同城市。

使用联合交集 (IoU)（用于变化图）和熵（用于不确定性图）的评估指标评估所提出方法的性能。所有场景的平均 IoU 和熵分别约为 92.4% 和 0.12。使用 LEVIR-CD 数据集的结果表明，Few-Shot CNN 在使用小训练数据构建变化检测方面取得了更合理的准确度。

结论

在这项研究中，使用 few-shot CNN、depth dropout 和 Monte Carlo dropout 的融合，提出并实现了一种新方法，用于从双时态 RGB 图像构建变化检测。然后，所提出的网络在四个具有高空间分辨率和不同制图挑战的遥感数据集上进行了测试。本研究的目的是研究该算法在变化检测领域的能力。这一点很重要，因为一些国家获得高空间分辨率遥感图像远比其他国家更好、更容易，这种方法可以利用相对便宜的遥感数据源实现自动制图过程，并完全覆盖不同的区域。