A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Classification高光谱分类框架阅读
-
内容
提出了一种端到端快速密集谱空间卷积(FDSSC)的HSI分类框架。采用不同卷积核大小分别提取光谱和空间特征,采用有效卷积方法降低高维。密不可分的连接结构每个卷积的输入由所有先前卷积层的输出组成,用于深入学习特征,导致非常精确的分类。为了提高速度和防止过度拟合,FDSSC框架使用动态学习率、参数校正线性单元PRELU、批处理规范化NP和丢失层dropout。这些属性使得FDSSC框架能够在80个时期内实现精确性。 -
框架
-
解析:图中最下面一行表示每个图形的意义;高光谱分类分为两部分的处理:光谱和空间的处理。最上面一行表示高光谱在空间特征上的处理,第二行表示高光谱在光谱特征上的处理。
空间特征上的处理:最上面一行,左边输入9x9xL的光谱信息,L表示维数。经过1x1x7,filters=24的卷积核(valid卷积)得到9x9xb,24个通道的图像,然后经过三个3DConv的卷积(卷积核1x1x7,filters=12,每个卷积都采用批处理规范化NP和PRELU参数校正线性单元用来加快网络收敛,采用same卷积保持卷积后图像大小相同,其中每个卷积层的输入都等于前面所有层的输出之和,这样可以深入学习空间特征,提高分类率),得到9x9xb,60个通道的图像。经过1x1xb,filters=200的卷积核(valid卷积)得到9x9x1,200个通道的图像,reshape成最后9x9x200,1个通道的图像,成功学习了空间特征。
光谱特征上的处理:第二行,由以上分析可知第二行输入为第一行的输出(9x9x200的光谱图像),经过3x3x200,filters=24的卷积核(valid卷积)得到7x7x1,24个通道的图像,在方框内也是经过3个3DConv的卷积层(处理过程和前面一样都是same卷积,然后也是每个卷积层的输入等于前面所有层的输出之和,卷积核大小为3x3x1,filters=12)得到7x7x1,60个通道的图像,经过卷积核(7x7x1,filters=1,valid卷积)后得到1x1x1,60个通道的图像,学习了图像的光谱特征,经过flatten将图像平铺,经过dropout层使得网络不会过拟合,通过FC(softmax)输出1x1xC将图像分类。
数据预处理
采用的是Indian_pines_corrected.mat(高光谱图像数据集145x145x200,145x145表示每个像素的值,每个像素有200维,表示不同波长下的值)和Indian_pines_gt.mat(数据集标签145x145,145x145表示每个像素点的标签,其中有些为0也就是没有标签,一共有16个类别),首先先将数据集预处理,将145x145通过0填充变成153x153的大小,可以使得每个像素点都变成9x9x200的大小图像(类似于卷积),这样就有145x145=21025个数据集,但因为一些是0标签,要去除掉,所以最后就有10249个带标签的数据,用2:1:7的比例来分别训练、验证和测试数据集。
将图像9x9x200大小作为输入,经过前面讲的fdssc框架,其中的BN,PRELU,动态学习率和早停使得网络的训练时间大大减少;而dropout、早停和cross-validation(交叉验证)使得网络不会出现过拟合;网络层数的密集排列加深了网络的深度,减少了梯度消失,使得分类精度达到了很高的水平。
参考文献:
1.Wang, Wenju; Dou, Shuguang; Jiang, Zhongmin; Sun, Liujie. 2018. “A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Classification.” Remote Sens. 10, no. 7: 1068.