2023-2 超高分光学图像变化检测综述（更关注VHR）

文章题目：Change Detection From Very-High-SpatialResolution Optical Remote Sensing Images

作者：DAWEI WEN, XIN HUANG

简介：从方法、应用、未来方向的角度综述变化检测，（更关注VHR图像）

1. 多时相VHR图像具有光谱信息有限、光谱固有变异性、空间位移和信息丢失等独特特性，限制了传统变化检测方法的有效性。

2. 有限的光谱信息:与粗分辨率和中分辨率传感器相比，VHR传感器捕获的图像通常提供更少的波段。在光谱信息有限的情况下，由于类间方差小，很难分离具有相似光谱特征的类。在有限的光谱信息下，很难实现高精度的变化检测。这可能会抑制直接使用传统的基于频谱的变化检测方法，例如变化向量分析(CVA)[22]。因此，在VHR变化检测中，通常采用其他类别的特征来增强光谱信息

3. 光谱变异性：VHR图像存在高度的光谱变异性。例如，建筑物具有复杂的外观，有各种各样的屋顶上层结构，如烟囱、水箱和管道;这导致VHR图像的光谱特征明显不均一。地理物体内部的高光谱变异性增加了类内方差，这不可避免地导致基于光谱的图像解译方法的不确定性。大气条件、物候阶段、太阳角度、土壤湿度、潮汐阶段和水浊度等，都可能使不变的物体的光谱特征在时间上发生变化，从而导致它们被错误地识别为变化了的物体。此外，在VHR图像中可见的临时对象(如道路上的汽车)也会影响使用VHR图像的传统基于光谱的变化检测方法的性能。

4. 空间位移：高灵活性的光学卫星的成像方式使得获取相同或相近视角的多时相图像进行准确的变化检测变得极其困难。

5. 信息丢失：VHR图像由于云/雾霾、云影以及地形、建筑物和树木投下的阴影而遭受严重的信息损失。地形、建筑和树木投下的阴影在VHR图像中似乎不可避免，尤其是在城市地区。虽然阴影信息在建筑物检测和高度估计中很有用，但在更大范围的变化检测中却成为一个问题。由于阴影的方向和长度依赖于图像采集时太阳的方位角和仰角，因此在多时相图像中阴影影响区域是不同的。此外，在垂直结构(如高层建筑和树木)遮挡的情况下，信息丢失的问题可能更加复杂。在多时相图像中，使用不同的观察几何图形，倾斜效果的大小和方向会有所不同，如图2所示。总的来说，受阴影和遮挡影响的区域可能在多时段VHR图像中变得不可见和不同。

6. 变化检测方法基于两个步骤：1）特征提取 2）变化检测

1. 特征提取：变化检测方法依赖于有效的多时相特征表示来指示是否发生了变化以及发生了什么变化。人们一致认为，基于频谱的方法在处理VHR变化检测面临的挑战时变得无效。在过去的几十年里，大量的图像特征被提取出来，可以弥补VHR图像中包含的有限的光谱信息，提高对图像变化信息的辨别能力。

为VHR变化检测设计的图像特征分为以下类别:纹理、深度、基于对象和角度

1. 纹理特征：

用于VHR变化检测的纹理特征可以分为统计的、结构的、基于模型的和基于转换的。

统计纹理描述了局部窗口灰度之间的关系。

结构纹理有助于研究区域的几何、形状和边缘，凸和凹组件被擦除，以保留相关结构的几何信息，削弱不重要的细节

基于模型的纹理目的是通过随机过程来表示纹理。MRF模型通过基于图的图像表示来表示空间上下文，其中图的节点和边分别表示像素及其与连接节点的关系。分形模型可以通过捕获自相似和自仿射模式来描述纹理的粗糙度和复杂性

基于转换的纹理目标是将图像转换为一个新的空间，以捕捉相应的尺度，定位和方向的局部结构

2. 深度特征

与传统的手工特征不同，更高层次的抽象(线性和非线性特征)可以通过多层神经网络自动提取和优化，它可以保留关键的变化，并丢弃不相关的差异，用于变化检测任务。通过交叉卷积层和池化层，cnn可以有效地提取中高层抽象特征。深度学习方法依赖于大量的训练数据，这可能不适用于多时相VHR遥感图像。同时，由于天然红绿蓝(RGB)图像与遥感数据在光谱性质和图像背景上存在较大差异，导致精细化模型提取的深层特征不能完全代表遥感图像的本质特征。因此，在模型学习过程中，少量遥感数据集与大量自然图像之间的对比可能会阻碍利用深度特征进一步改进VHR变化检测

3. 基于目标的特征

基于对象的特征是指对象尺度上的光谱、几何、纹理、范围和上下文信息，而不是内核过滤器/移动窗口中的单个像素或像素组。通过这种方式，图像对象被视为变化检测的处理单元。一个对象是一组空间相邻的像素，这些像素在光谱上相似，可以通过图像分割来提取。总的来说，基于对象的特征在VHR变化检测中是有效的，因为它们减轻了辐射差异、光谱可变性和错配错误。然而，需要确定适当的分割参数，这往往依赖于主观和费力的试错实验。

1)单时相图像分割，2)堆叠多时相图像分割，3)独立多时相图像分割 需要仔细选择。具体来说，几何变化(例如，大小和形状)不能被1)和2)捕获。此外，策略2)也可能导致图像错配导致的“条子物体”。对于策略3)，需要建立多时间对象之间的空间对应关系。

4. 角度特征

多角度图像中编码的空间和光谱变化可以提取为变化检测的新信息源。具体而言，多角度观测可以捕获双向反射率特征和垂直结构(如树木和建筑物)的信息，从而补充传统的光谱和空间特征

现有的基于多角度VHR图像的变化检测研究大多采用隐式角度特征。另一方面，显式角度特征旨在描述多角度图像中包含的差异

2. 变化检测

1. VHR变化检测器可以分为基于代数、转换和基于机器学习的指示器

CVA是应用最广泛的代数方法之一，它通过测量双时间多特征向量之间的差异来推导VHR图像的变化向量

基于变换的方法，如主成分分析和多元变化检测，试图在变换后的特征空间中抑制无变化区域，强调变化信息。

在机器学习社区中，变化检测通常被视为一个分类问题。在传统的基于分类的VHR变化检测中，分别实现了光谱空间特征提取和检测器(如支持向量机和随机森林）。最近的热点，即深度学习，可以将这两个操作集成在一个联合学习框架中，因此在VHR变化检测方面很有前景。

发展前景：

1. 高分辨全球变化检测：

长期以来，遥感图像因其覆盖面积大、访问方便、重访频繁等优点，一直被认为是全球变化检测的有效数据源。以前的土地覆盖和专题变化探测的多时相全球地图往往以相对粗糙的分辨率生成。目前的趋势是，全球产品正在以更精细的空间和时间分辨率开发，可以更准确地描述异质和混合地区的特征。此外，谷歌地球引擎(谷歌Earth Engine)和亚马逊网络服务(Amazon Web Services)等云计算平台可以促进大量卫星图像的处理，加快VHR全球测绘的发展

2. 高光谱变化检测

然而，有关VHR高光谱变化检测的研究非常有限，即使是现有的方法也是基于合成数据开发的

3. 城市功能区变化检测