用于提取高光谱图像特征提的深度哈希神经网络

**

用于提取高光谱图像特征提的深度哈希神经网络（Deep Hashing Neural Networks for Hyperspectral Image Feature Extraction）论文详解

**

首先我先来简单说一点高光谱图像理论点，光谱分辨率在101数量级范围内的光谱图像称为高光谱图像(Hyperspectral Image)。光谱分辨率高、波段众多，能够获取地物几乎连续的光谱特征曲线，并可以根据需要选择或提取特定波段来突出目标特征；高光谱图像（HSI）通常包含从可见光到红外光谱的数百个光谱带，利用丰富的光谱信息，HSI分类将每个高光谱像素基于其光谱特征分类为特定类，已成为一项活跃而重要的任务，并在遥感领域引起广泛关注。

摘要

在本篇论文中，作者考虑到HSI具有非常复杂的谱空间特性，例如，大的类内变化和小的类间变化，这些基于深度网络的语义信息（即标签信息）可能无法有效地应对上述问题，因此作者提出了深度哈希神经网络（DHNN），用于学习HSI分类的相似性且保留深度特征。首先，引入良好预训练的网络以同时提取一对输入样本的特征。其次，在全连接层后插入一个新的哈希层将实值特征转换为二进制特征，这可以显着加快特征距离的计算。然后，精心设计损失函数以最小化相似对的特征距离并最大化汉明空间中不相对的特征距离。最后，通过训练的DHNN提取的相似性且保留深度特征被馈送到用于HSI分类的支持向量机（SVM）分类器中。网络架构如图一：

本文主要两大亮点

1.迁移学习

我们首先提一下迁移学习的定义：迁移学习（Transfer Learning）目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。给大家推荐一篇迁移学习较好的综述链接（迁移学习–综述 https://blog.csdn.net/vvnzhang2095/article/details/79882013 ）。言归正传，在本文中，作者引入迁移学习的目的是为了减轻训练样本的负担，因为从头开始训练深度网络需要大量样本来学习模型参数。然而，获得标记数据是昂贵且耗时的。具体来说，我们迁移了CNN-S [24]的网络参数到深度哈希神经网络（DHNN）中,其中CNN-S [24]是在ImageNet ILSVRC [25]上预训练和PASCAL VOC [26]进行fine-tune得到的，一共包括前五个卷积层和两个完全连接的层。具体的网络细节在表一中展示：

2.哈希

在哈希算法中，通常的目标是将样本表示成一串固定长度的二值编码（通常使用0/1或-1/+1表示其中的每个bit），使得相似的样本具有相似的二值码（使用Hamming距离度量二值码之间的相似性）。由于其较低的计算成本和较高的存储效率，是图像搜索和视频搜索中最常使用的技术之一。若想了解更多哈希算法的内容可参考以下博客：Deep哈希算法介绍 https://blog.csdn.net/LeeWei4939/article/details/78806677

本文中，在预训练CNN最后一个全连接层之后插入哈希层，将高维和实值特征转换为低维和二进制特征，可以显著加快特征距离的计算。学习到的二进制编码既能保持图像之间的相似关系，同时又能和标签信息保持一致。

实验部分

实验数据集作者选取的是University of Pavia and Salinas scenes。

第一个实验是在University of Pavia图像上进行的，每组200个样本随机选择作为训练样本，其余样本作为测试样本。实验结果如下：

其中SPDF*-SVM是作者使用欧几里德距离而不是汉明距离来约束一对图像的相似性，作为比较方法。

第二个实验是在第二个实验是在Salinas图像上进行的。训练集包括每班200个样本，其余部分样本被视为测试集。实验结果如下：

在最后，作者又讨论了三个超参数对最终分类性能影响的实验分析，三个超参数分别是k(the length of hashing layer)、q(patch size)、β(regularization parameter),实验结果如下：

小结

本篇论文将它将哈希学习结合到CNN中，用于HSI特征提取。更具体地说，训练好的的CNN用于提取HSI的深层特征，保留了原有的相似信息空间。为了有效地计算特征距离，在最后一个完全连接的层之后插入新的哈希层，以将实值特征转换为二进制特征。之后，通过DHNN提取的特征用于训练用于HSI分类的线性SVM分类器。两个众所周知的高光谱数据集的实验结果表明，所提出的分类方法即SPDF-SVM可以极大地提高分类性能。