一种遥感影像多类变化检测方法

多任务学习孪生网络的遥感影像多类变化检测

马惠1, 刘波2, 杜世宏2

1.河南省国土空间调查规划院,郑州 450016

2.北京大学遥感与地理信息系统研究所,北京 100871

摘要:

精确掌握土地覆盖/利用的变化及变化类型对国土空间规划、生态环境监测、灾害评估等有着重要意义,然而现有大部分变化检测研究主要关注二值变化检测。为此,该文首先提出了一种多任务学习深度孪生网络用于遥感影像的多类变化检测。首先提出面向对象的无监督变化检测方法,选择出新、旧时相影像中最有可能发生变化和最不可能发生变化的区域,并作为多任务学习深度孪生网络的样本; 其次,采用多任务学习深度孪生网络模型同时对新、旧时相的土地利用图以及新、旧时相的二值变化图这3个任务模型进行学习和预测; 最后,基于模型预测的新、旧时相土地利用图及新、旧时相的二值变化图获取最终的多类变化检测结果。采用第三次全国国土调查的影像数据和相应的土地利用图斑数据对多任务学习深度孪生网络模型进行了测试,结果表明所提出的方法适用于这种在没有变化、未变化样本而有历史专题图的变化检测场景中。

0 引言

人类所生存的地表环境无时无刻不在发生着变化,这些变化有些是对人类有益的,有些则是会对自然资源产生严重的破坏。因此,精确掌握这些变化十分必要。自20世纪60年代至今,遥感技术经过几十年的发展,已经可以获取高空间分辨率、高时间分辨率、高光谱分辨率和高辐射分辨率的遥感影像,利用遥感技术来对地表变化进行检测是一种行之有效的方法。目前,基于遥感的变化检测已经在城市规划、植被变化、灾害监测、地图更新和生态环境保护等多个领域得到了广泛的应用。

当前,用于变化检测的方法主要有传统机器学习方法和最新的深度学习方法。传统机器学习方法包括支撑向量机(support vector machine,SVM)、决策树、随机森林(random forest,RF)、人工神经网络(artificial neural networks,ANN)、水平集、马尔可夫随机场(Markov random field,MRF)、条件随机场(conditional random field,CRF)等,相比于早期的图像差分法、代数法、变换法等变化检测方法,这些方法显著提高了遥感变化检测的精度。而近年来,各种基于深度学习的变化检测方法层出不穷,其中孪生网络模型在基于深度学习的变化检测方法中有着重要位置,通过合适的方法结合孪生网络中2个子网络所提取的不同时相的深度特征,可以有效提升变化检测的精度。相比于传统机器学习方法,深度学习方法可以同时提取2个时相影像的深度特征,从而更好地完成变化检测任务。

但是,在基于深度学习的遥感影像变化检测方法中,大部分都只关心某一类别的变化,也大量使用标准数据集进行模型测试,这严重限制了其应用范围。城市规划、地图更新等应用领域不仅需要关注发生变化的区域,也要关注发生变化的类型。对于多类变化检测来说,常用策略有2种: 一是分类后检测法,即对2个时相影像单独进行分类,然后直接对比分类结果,检测同一区域类型是否发生变化; 二是直接分类法,即直接训练一个模型将变化的类型直接区分开来。首先,分类后检测法完全依赖于各个时相的分类结果,只要有一个时相的分类出现错误就会导致错误的变化结果; 而直接分类法需要考虑的类别数过多,若地物有N类,则使用直接分类法需要考虑N(N-1)种变化类型,这种含有变化类型的变化样本难以获取,模型也难以训练。其次,无论上述哪一种变化检测策略,都需要较多的样本对模型进行训练,而这在实际应用中较难获取,尤其是直接分类法所需要的包含变化类型的样本。对于数据集来说,现有的大部分研究都采用了标准数据集,尽管获得了较高的检测精度,但针对标准数据集所设计的变化检测模型在面对实际应用时可能并不适用,这就需要在对模型设计和测试时使用真实场景的数据集。

本文针对上述多类变化检测存在的问题,提出了一种基于多任务学习深度孪生网络的遥感影像变化检测方法。首先,针对分类后检测法和直接分类法存在的没有考虑双时相影像相关性及需要考虑的变化类型过多的问题,本文提出了一种多任务学习法来综合分类后检测法与直接分类法,即构建一个深度学习模型同时对双时相影像进行分类和二值变化检测,最后可通过二值变化检测的结果来判断发生变化的区域和类型。其次,本文没有使用标准数据集对所提出的模型进行测试,而是使用了更符合实际应用的第三次全国国土调查(以下简称“三调”)数据,并根据“三调”数据自动挖掘出潜在的变化样本用于多任务深度孪生网络训练。

1 实验数据

本文研究区为河南省汝州市西部,使用的影像数据为“三调”所采用的高分二号影像。2景高分二号影像的获取时间分别为2019年11月和2020年6月,空间分辨率为1 m,影像大小为31 084像素×44 553像素,包含红、绿、蓝3个波段。除了影像数据之外,还使用到了“三调”的图斑数据,该图斑数据反映了2019年11月的土地利用情况。影像数据和图斑数据如图1所示。

图1   本文所用数据

在图1(a)和图1(b)中,除了土地利用的变化而导致影像光谱变化外,季节变化也导致耕地、林地、草地、园地等在2景影像中的光谱表现不一致。因此,在进行变化检测时,容易产生一些误检。本文实验数据中不包含变化图斑,而只有一个时相的土地利用图斑。因此,现有的针对标准数据集所提出的各种变化检测方法是不适用的。本文提出一种基于多任务学习深度孪生网络的遥感影像变化检测方法来解决这一问题。为了检验本文所提方法进行多类变化检测的精度,人工选择了实验区域的变化图斑,包含了变化的类别信息。通过人工选择的变化图斑进行统计,发现有55.66%的图斑是由耕地变化为建设用地,有29.54%的图斑是由动土变化为建设用地,还有7.24%的图斑是由耕地变化为动土,这说明了在2019年11月—2020年6月期间,实验区有大量农田被侵占用于建设用地。

2 研究方法

2.1 技术路线

遥感影像变化检测流程如图2所示。首先,利用旧时相影像和新时相影像在特征上的差异进行非监督变化检测,得到最可能变化的区域及最可能未变化的区域,在保证这2种类型区域精度足够高的情况下将其作为二值变化检测所需的样本,同时基于旧时相样本和最可能未变化的区域可以得到新时相的样本。随后,利用所得的旧时相样本、新时相样本、二值变化样本以及旧时相影像、新时相影像训练构建好的多任务学习深度孪生网络,从而利用该网络得到新、旧时相的土地利用分类结果以及二值变化检测结果。最后,基于二值变化检测结果,可以得知哪些位置发生了变化,而基于新、旧时相的土地利用分类结果可以得知变化的类型,并且通过人工目视解译得到的地表真实变化图斑对最终变化检测结果进行精度评价。

图2   遥感影像变化检测流程

2.2 面向对象的无监督变化检测

为了能够自动从影像中获取二值变化样本,并基于该二值变化样本和旧时相土地利用样本获取新时相土地利用样本,本文采用了面向对象的无监督变化检测方法。相比于基于像素的方法,面向对象的方法能够很好地保证检测出来的变化区域及未变化区域的完整性。面向对象的无监督变化检测方法基本思路是通过对比新旧时相影像对象在光谱、纹理特征上的差异。对于每一类地物来说,差异较大的影像对象被看作发生变化的影像对象,而差异较小的影像对象被看作未发生变化的影像对象。面向对象的无监督变化检测流程如图3所示。

首先,新、旧时相影像在旧时相样本的约束下联合分割得到影像对象集,影像分割方法采用多分辨率分割法。随后,在影像对象的基础上分别提取新、旧时相影像对象的特征。然后,通过在特征空间上对新、旧时相影像对象特征距离的度量,得到基于影像对象的新、旧时相影像的差异。最后,对于每一类土地利用类型,差异最大的一些影像对象属于最可能变化的区域,而差异最小的一些影像对象则属于最可能未变化的区域,这2个区域构成了二值变化样本。

在整个面向对象的无监督变化检测过程中,对结果影响较大的参数有2个,即划分为最可能变化区域的阈值MLc以及划分为最可能未变化区域的阈值ML