A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Classification

A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Classification高光谱分类框架阅读

论文链接

代码链接

1. 内容
   提出了一种端到端快速密集谱空间卷积（FDSSC）的HSI分类框架。采用不同卷积核大小分别提取光谱和空间特征，采用有效卷积方法降低高维。密不可分的连接结构每个卷积的输入由所有先前卷积层的输出组成，用于深入学习特征，导致非常精确的分类。为了提高速度和防止过度拟合，FDSSC框架使用动态学习率、参数校正线性单元PRELU、批处理规范化NP和丢失层dropout。这些属性使得FDSSC框架能够在80个时期内实现精确性。

2. 框架
   

3. 解析：图中最下面一行表示每个图形的意义；高光谱分类分为两部分的处理：光谱和空间的处理。最上面一行表示高光谱在空间特征上的处理，第二行表示高光谱在光谱特征上的处理。

   空间特征上的处理：最上面一行，左边输入9x9xL的光谱信息，L表示维数。经过1x1x7，filters=24的卷积核（valid卷积）得到9x9xb，24个通道的图像,然后经过三个3DConv的卷积（卷积核1x1x7，filters=12，每个卷积都采用批处理规范化NP和PRELU参数校正线性单元用来加快网络收敛，采用same卷积保持卷积后图像大小相同，其中每个卷积层的输入都等于前面所有层的输出之和，这样可以深入学习空间特征，提高分类率），得到9x9xb，60个通道的图像。经过1x1xb，filters=200的卷积核（valid卷积）得到9x9x1，200个通道的图像，reshape成最后9x9x200，1个通道的图像，成功学习了空间特征。

   光谱特征上的处理：第二行，由以上分析可知第二行输入为第一行的输出（9x9x200的光谱图像），经过3x3x200，filters=24的卷积核（valid卷积）得到7x7x1，24个通道的图像，在方框内也是经过3个3DConv的卷积层（处理过程和前面一样都是same卷积，然后也是每个卷积层的输入等于前面所有层的输出之和，卷积核大小为3x3x1，filters=12）得到7x7x1，60个通道的图像，经过卷积核（7x7x1，filters=1，valid卷积）后得到1x1x1,60个通道的图像，学习了图像的光谱特征，经过flatten将图像平铺，经过dropout层使得网络不会过拟合，通过FC（softmax）输出1x1xC将图像分类。

   数据预处理
   采用的是Indian_pines_corrected.mat（高光谱图像数据集145x145x200，145x145表示每个像素的值，每个像素有200维，表示不同波长下的值）和Indian_pines_gt.mat（数据集标签145x145，145x145表示每个像素点的标签，其中有些为0也就是没有标签，一共有16个类别）,首先先将数据集预处理，将145x145通过0填充变成153x153的大小，可以使得每个像素点都变成9x9x200的大小图像（类似于卷积），这样就有145x145=21025个数据集，但因为一些是0标签，要去除掉，所以最后就有10249个带标签的数据，用2：1：7的比例来分别训练、验证和测试数据集。
   将图像9x9x200大小作为输入，经过前面讲的fdssc框架，其中的BN，PRELU，动态学习率和早停使得网络的训练时间大大减少；而dropout、早停和cross-validation（交叉验证）使得网络不会出现过拟合；网络层数的密集排列加深了网络的深度，减少了梯度消失，使得分类精度达到了很高的水平。

参考文献：

1.Wang, Wenju; Dou, Shuguang; Jiang, Zhongmin; Sun, Liujie. 2018. “A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Classification.” Remote Sens. 10, no. 7: 1068.