小样本下遥感影像处理

小样本下遥感影像处理

1 为何存在小样本问题

1.1 智能提取很难

在遥感影像上的深度学习智能提取算法 精度无法满足生产需要，在实际的生产作业中目前基本还是靠人工或者人机交互（计算机利用算法处理完，人工修改），

1. 对于不同的遥感数据源来说

   光谱数量不统一、光谱的波段取值不统一、空间分辨率多样化。

2. 对于相同的遥感数据源来说

   不同地区的影像颜色不一致、纹理有偏差等等。

3. 对于需要提取的地物来说

   如果地物有固定的形状，比如飞机、船舶、房屋等，提取的精度还说得过去，一旦提取不确定形状、不确定纹理的地物时就会产生很大的偏差，比如林地，稠密的和稀疏的纹理是不同的。

1.2 遥感影像数据不足

1. 遥感数据的特殊性。

   遥感数据的空间分辨率，时间分辨率，光谱分辨率以及辐射分辨率互相制约，使得满足一些学科的遥感数据是不足的。无法在满足高空间分辨率的同时满足高的光谱分辨率… …

2. 遥感影像内容敏感性。

   卫星的定标参数都是不公开的，同事不同卫星平台的影像对相同地物的光谱响应值都不是一致的，也对算法的迁移能力有影响。还有一些军事目标的识别样本，军方做出来了也不公开。

3. 遥感影像数据集制作成本高昂且通用性不强。

   遥感影像属于特殊的图像，对图像的预处理工作较多。

1.3 遥感影像公开数据集

对数据集的说明以及下载链接：https://zhangbin0917.github.io/遥感数据集/。以影像分类和目标检测为例

1.4 小样本图像分类算法

常用的小样本公开数据集主要有：Omniglot、CIFAR-100、Mini-ImageNet、Tiered-ImageNet和CUB-100。

Omniglot 数据集包含来自 50 个不同字母的 1623 个不同手写字符；

CIFAR-100有100个类，每个类包含600个图像，每类各有500个训练图像和100个测试图像。CIFAR-100中的100个类被分成20个超类（包含动物、植物、静物、车辆、家具、自然场景，人类）。每个图像都带有一个“精细”标签（它所属的类）和一个“粗糙”标签（它所属的超类）。

Mini-ImageNet取自ImageNet中，包含100个类别，每个类别中包含600个样本数据。其中64个类别数据作为训练集，16个类别数据作为验证集，20个类别数据作为测试集。

Tiered-ImageNet同样取自ImageNet，共有34个大类别(category)，每个类别包含10到30个类别(class)。这些分为20个训练，6个验证和8个测试类别；

CUB-100数据集包含训练集包含100个类别，验证集包含50个类别，测试集包含50个类别。对于312维度的元向量，模型对鸟类的种类、颜色、羽毛等属性进行编码得到。

2 遥感影像处理一般过程

2.1 深度学习应用于遥感影像处理

主要包括三个主要部分：输入数据、核心深度网络和预期的输出数据。输入输出数据对依赖于特定的应用程序，比如对于基于像素的分类，就依赖于光谱空间特征及其特征表征(无监督)或标签信息(监督)。

中间的网络结构可以依据需要进行选择，如CNN（由多个特征提取阶段组成，每个阶段由卷积层、非线性层、池化层组成）、RNN（有一个循环单元，网络状态依赖于输入以及上一时刻的状态，常用于处理序列相关的问题）、AE（自编码，一种用于学习的对称神经网络，以无监督方式从数据集获得的特征通过最大限度地减小重构误差将数据放在编码层，将其重构放在解码层）、ResNet（加入残差学习单元即短路机制，输入可以直接连接到输出，使得整个网络只需要学习残差，可解决梯度消失问题）等等。

（通用的总体框架）

2.2 遥感影像预处理

受数据采集时遥感系统和传感器的限制以及大气的影响，所观测到的遥感影像与真实状况有一定差距。因此，在下一步的分类识别任务之前，需要进行预处理以提高影像数据质量。而类似去噪、去模糊、超分辨率和泛锐化方法大多是基于信号处理界标准的图像处理技术，而我们更希望是通过模型去进行辐射校正、几何校正等预处理步骤。事实上，如果我们能通过一组训练样本有效地对输入(观测数据)和输出(理想数据)之间的内在相关性建模，那么同样的模型就可以增强观测到的RS图像。根据上一节的基本技术，DL可以有效地探索这种内在关联。

2.3 基于像素的分类

（常见类别）

基于遥感影像像素的分类方案主要包括三个步骤：数据输入、层次DL模型训练、分类。

输入矢量可以是光谱特征（光谱信息通常包含丰富的鉴别信息）、空间特征（土地覆盖在空间域上是连续的，相邻像素很可能属于同一类，利用空间特征可以显著提高分类精度）或光谱-空间特征；对于隐层，设计一个深层网络结构来学习输入数据的期望特征表示；最后利用在第二步(DL网络的顶层)中学习到的特征进行分类。

（基于像素分类的总体流程）

2.4 目标识别

舰船、飞机、车辆等遥感影像中的目标识别由于目标体积小、数量多，且邻近环境复杂，容易导致识别算法将不相关的地物误当成目标物。对于复杂环境下的目标识别，性能依赖于从目标中提取的特征。通过深度学习方法可以以高频率提取底层特征，比如物体的边缘、轮廓等，无论目标的形状、大小、颜色或旋转角度如何；还可以从输入的影像或图像块中学习层次表示，比如由低层特征组成的目标部分，使遥感目标的识别具有辨别性和鲁棒性。

2.5 场景理解

从遥感数据中有效地表示和理解场景。框架由四部分组成:1)patch提取，2)feature提取，3)feature表示，4)classification

关于特征提取，可以使用学习的特征提取器从训练图像和测试图像中提取特征

上述过程最终都需要对数据进行标注

2.6 小样本下遥感影像处理

主要还是考虑迁移学习、数据增强和应用注意力机制。

利用迁移学习可以减小模型训练的代价，同时达到让卷积神经网络适应小样本数据的目的。迁移学习是在图像特征提取阶段实现的。

若基于特征迁移需找出基类数据和新类数据之间共同的特征，通过特征变换的方式将基类数据的知识进行迁移，用于新类数据分类。若基于关系迁移则建立基类数据和新类数据之间相关知识的映射, 通过这种关系映射来进行学习。基于共享参数的迁移需要找到基类数据模型和新类数据模型之间的共享参数或者相同的先验分布，利用这些参数或者先验分布进行知识迁移。

小样本学习的训练样本量较少, 提取到的信息相对有限, 可以利用注意力机制在有限的训练样本下，提取到对图像具有表示性更强的特征，并且使得该特征能够显著影响分类效果。小样本学习从本质上讲是想让机器学会人类的学习方式以及泛化能力，人类能够在图像识别任务中很好的利用注意力机制，此外，注意力机制能够提高神经网络的可解释性。其直观性、通用性以及可解释性能够对小样本图像分类任务提供重要帮助。