Hyperspectral Image Classification With Deep Feature Fusion Network

摘要

高光谱图像(HSI)分类已成为遥感领域的一个热点问题。一般来说，高光谱数据的复杂性使得对此类数据的准确分类成为传统机器学习方法的挑战。此外，高光谱成像常常处理捕获的光谱信息与相应材料之间固有的非线性关系。近年来，深度学习被认为是一种有效解决非线性问题的强大的特征提取工具，广泛应用于一些图像处理任务中。在这些成功应用的激励下，深度学习也被引入到HSIs的分类中，并显示出良好的性能。本文对基于深度学习的HSI分类文献进行了系统的综述，并对几种分类策略进行了比较。具体来说，我们首先总结了传统机器学习方法无法有效克服的HSI分类的主要挑战，并介绍了深度学习的优势来处理这些问题。然后，我们构建了一个框架，将相应的工作划分为光谱-特征网络、空间-特征网络和光谱-空间-特征网络，系统地回顾了基于深度学习的HSI分类的最新成果。此外，考虑到遥感领域现有的训练样本通常非常有限，训练深度网络需要大量的样本，我们提出了一些提高分类性能的策略，可以为今后这一课题的研究提供一些指导。最后，我们在真实的HSIs上进行了几个有代表性的基于深度学习的分类方法的实验。

简介

高光谱成像是遥感领域的一项重要技术，它将可见光到近红外波段的电磁波谱进行采集。高光谱成像传感器通常从地球表面的同一区域提供数百个窄光谱波段。在高光谱图像(HSIs)中，每个像素都可以看作是一个高维向量，其分量对应于特定波长的光谱反射率。高分辨光谱具有分辨细微光谱差异的优点，在许多领域得到了广泛的应用。
HSI分类是高光谱群落中最活跃的研究领域，在遥感领域引起了广泛的关注。在HSI分类任务中，存在两个主要的挑战:1)光谱特征的大空间变异性;2)有限的训练样本相对于高光谱数据的高维性。第一个挑战通常是由许多因素带来的，如光照、环境、大气和时间条件的变化。第二个挑战会导致一些方法出现不适定问题，降低分类器的泛化能力。

背景

在本节中，我们将简要介绍几种在HSI分类领域中得到广泛应用的深度网络模型。这些深层网络包括堆叠自编码器(SAEs)、深层信念网络(DBNs)、卷积神经网络(CNNs)、递归神经网络(RNNs)和生成对抗网络(GANs)。

模型

由于光谱混合的存在和光谱特征的空间变异性，高光谱特征识别通常具有非常复杂的空间光谱特征。一般来说，只有几个卷积层不能充分提取HSIs更多的判别特征来进行准确的分类。然而，过度增加网络深度会给传统CNN带来一些问题(如过拟合、梯度消失、精度下降等)。此外，考虑到传统的CNN是由多个层次层次构成的，在以往的工作中并没有充分利用不同层次层次之间的强互补而又相互关联的信息。在本文中，我们提出了一个新的DFFN模型来解决上述两个问题。一方面，通过引入残差学习优化多个卷积层作为身份映射，我们构建了一个非常深入的网络，在不降低性能的前提下提取出更多的区分特征。另一方面，我们进一步采用融合机制来充分利用网络的多层特性。
接下来，我们将描述基于所提出的DFFN的HSI分类的整个框架。首先对高光谱数据进行主成分分析，提取信息量最大的成分，降低了计算成本。然后，建立以标记像素为中心的训练图像块，对DFFN进行训练。最后，利用训练后的网络对测试像素的标签进行预测。图1给出了基于DFFN的HSI分类的总体流程图。根据卷积滤波器的数目，整个架构可以分为三个阶段。具体来说，在阶段1、阶段2和阶段3中分别有16、32和64个卷积滤波器。总的来说，分类的主要步骤分为以下三个步骤：

A.构建非常深的网络

接下来，我们将描述基于所提出的DFFN的HSI分类的整个框架。首先对高光谱数据进行主成分分析，提取信息量最大的成分，降低了计算成本。然后，建立以标记像素为中心的训练图像块，对DFFN进行训练。最后，利用训练后的网络对测试像素的标签进行预测。首先，我们要构建一个非常深的网络提取更多HSIs的鉴别特征。具体来说，该网络由多个残差块组成，每个块包含两个卷积层。在之后，使用批量归一化来加速网络在每次卷积之后和激活之前的收敛。设F(X)为两个卷积层要学习的原始底层函数。
（残差块内容忽略，不懂的看Resnet)

B.融合多层特征

近年来，特征融合的思想被应用于许多视觉任务中。具体来说，Long等人将深层语义特征与浅层外观特征相结合，产生准确而详细的分割。Chaib等人的有效地融合了从第一和第二全连通层提取的深层特征，用于非常高分辨率的遥感场景分类。针对复杂事件识别，提出了一种融合多种语义线索的DL策略。在本文中，我们引入了特征融合机制，利用不同层次之间的强互补和相关信息进行HSI分类。考虑到不同的层可能有不同数量的feature map，我们使用了dimension-matching function(即尺寸匹配函数)。在特征融合之前，保证它们具有相同的光谱维数。具体地说，假设FL、FM和FH分别表示低层、中层和高层层的输出，它们分别有16、32和64个特征图。然后，我们可以使用64个大小为1×1的内核来卷积它们。通过这样的卷积运算，FL, FM, FH的feature map的数量都变成了64。最后，用元素求和的方法可以方便地进行特征融合。整个过程可以用下式表示:

C. 高光谱分类

将融合后的特征通过几个全连通层进行处理，转化为输出特征向量。
然后，将特征向量输入到sof tmax层，计算每个类的条件概率。
对于特征向量z，其概率分布可以表示为:

经过几层完全连接处理后，熔融将特征转化为输出特征向量。然后,将特征向量输入到一个softmax层中进行计算每个类的条件概率。对于特征向量z，概率分布可以表示为：

个人感想

本文就是Resnet+特征融合，把网络做深，没什么可说的。