论文阅读笔记：《Hyperspectral image classification via a random patches network》（ISPRSjprs2018）

论文阅读笔记：《Hyperspectral image classification via a random patches network》（ISPRSjprs2018）

论文下载地址：https://www.sciencedirect.com/science/article/pii/S0924271618301473

论文代码地址：https://github.com/YonghaoXu/RPNet

一、论文简介

由于深度学习方法在计算机视觉领域取得了显著的成果，越来越多的研究将这些强大的工具应用于高光谱图像（HSI）分类。

存在问题：

到目前为止，这些方法大部分都是先经过预处理，再经过微调来提取深层特征，这不仅非常耗时，而且很大程度上依赖于大量的训练数据。

motivation：

（1）由于大多数现有的基于深度学习的方法在训练期间都是很费时的（例如，对深度神经网络的训练或针对深度特征的训练字典），可以设计一个深度框架来以更有效的方式提取层次特征吗？

（2）由于现有深度网络的高度复杂性，需要确定很多参数，因此深度学习方法通​​常需要大量的训练样本。我们是否可以设计一个更简单的深度架构，即使在有限的训练样本下也能获得令人满意的性能？

（3）请注意，传统的深度学习方法仅利用最深层的特征对图像进行分类，因此，上述所有方法（如SAE，DBN，CNN）都只具有固定的感受野。在分类阶段将浅层特征和深层特征组合在一起是否有帮助？

为此，作者提出一种高效的基于深度学习的HSI分类方法，即Random patch Network（ RPNet)。该方法直接将从图像中获取的随机patch作为卷积核，不经过任何训练。RPNet结合了浅层和深层卷积特征，具有多尺度的优势，对于HSI分类具有较好的适应性。

主要贡献：

（1）作者提出了一种有效且高效的深度学习框架，即RPNet，与现有网络相比，它具有更简单的体系结构和更少的时间。据作者所知，这是第一次对卷积内核加前缀用于HSI分类的深层框架。

（2）RPNet揭示了random patch的潜在价值，在HSI分类中通常会忽略它们。

（3）与仅利用最深层特征完成分类的传统深度学习方法不同，所提出的RPNet在分类中结合了浅层和深层卷积层，并具有多尺度的优势。该策略可能是一种在分层特征提取过程中处理信息丢失的有前途的方法。

二、论文内容

2.1 Introduction

手工制作的特征（EMP等）已经建立了纹理和几何图形的有用表示，但它们也具有以下缺点：

（1）手工制作的特征被认为是较浅的特征，当面对复杂的情况时缺乏高度的鲁棒性。在复杂的情况下，成像环境变化很大，即使在很短的时间间隔内图像也可能发生很大变化。

（2）手工制作的特征在很大程度上取决于设计者的经验信息和经验公式，导致对不同数据集的适应性较差。

从深度学习的角度来看，图像的组成部分是分层的。具体而言，首先组装像素以形成边缘。然后将边缘组装成零件；零件最终组装成不同的物体。因此，深度学习的基本理论是以分层方式学习深度特征。与浅层特征相比，高级特征具有表示更多抽象和复杂结构信息的能力，因此，对于图像的局部变化具有更大的鲁棒性和不变性。

如图1所示，基于深度学习方法的HSI分类的一般框架可分为两部分：

（1）深度特征提取，通常包括空间特征和频谱特征（请注意，微调操作并非对所有深度学习方法都必不可少，因此用虚线表示）;

（2）通过硬分类器（如SVM）或软分类器（如逻辑回归）进行分类。

2.2 RPNet and its two variants

2.2.1 Random projection

random projection可参考：https://www.cnblogs.com/luofeel/p/11188378.html

                                           https://www.cnblogs.com/LittleHann/p/6558575.html

传统随机矩阵是由随机值（例如高斯分布值）生成的。在作者提出的方法中，使用从图像中获取的随机斑块来形成随机矩阵R。该策略背后的最初灵感来自一篇论文，在k均值聚类阶段，利用随机补丁来初始化空间字典，因为人们认为随机补丁包含一些有价值的纹理和几何信息。

2.2.2 Hierarchical feature extraction

与传统的深度学习方法不同，在传统的深度学习方法中，先进行预训练，然后进行微调来学习深度特征，而RPNet中的特征提取阶段没有任何训练操作。取而代之的是，通过将从图像中获取的随机patch视为卷积核，RPNet可以有效地提取深度特征。如图2所示，RPNet采用级联结构，仅由几种常见成分组成，包括主成分分析（PCA），白化，random patch，卷积和ReLu（即整流线性单位）。

PCA可参考：https://blog.csdn.net/program_developer/article/details/80632779

Whitening可参考：https://blog.csdn.net/qq_37692302/article/details/95169193

从经过PCA、Whitening的数据中随机选择k个像素。然后，在每个像素周围，选取w*w*p个patch，得到k个随机色块。对于分布在图像边缘的那些像素，我们通过镜像图像来填充邻居的空白像素。之后，将所有的k个随机色块都视为卷积核，通过将白化数据与随机色斑进行卷积，我们可以获得k个特征图。

2.2.3 Classification via SVM

与传统的深度学习方法不同，传统的深度学习方法仅利用网络中的最深层特征对整个图像进行分类，但RPNet中的浅层和深层特征是结合在一起的一起完成分类。

如图3所示，由于在特征提取阶段进行卷积运算，随着层数越深，RPNet中的感受野将越大。经过三次卷积后，第3层中的1x1像素将对应于输入图像中的7x7像素。通常，可以将接收域（RF）与RPNet中层数l（具有固定的内核大小w）之间的关系概括如下：

其中w（1）-表示每个卷积运算的RF增量。请注意，建议的RPNet中没有池化操作。尽管合并操作可以使卷积特征更趋于图像变形，但也导致细节损失，尤其是对于狭窄目标（如道路）的边界区域。由于我们的任务是按像素分类，因此我们希望RPNet中的特征图具有与原始HSI一致的大小。因此，不采用合并操作。取而代之的是，我们利用全卷积架构来扩大接收范围。

最后，所有功能都可以通过SVM（带有RBF内核）分类器来预测类标签。提议的RPNet的整个实现细节如算法1所示。

2.2.4 Two variants of RPNet

RPNet-single与RPNet共享相同的过程，不同之处在于RPNet-single仅在分类阶段像传统的深度学习方法那样利用堆积有最原始特征的最深层特征。

RandomNet，与RPNet共享相同的体系结构，但是按照标准的高斯分布用随机滤波器替换随机补丁（随机滤波器的大小与RPNet相同）。具体地说，与从白化数据中随机选择k个wwp××大小的RPNet的RPNet不同，在RandomNet中，我们随机生成p个大小为高斯分布且均值为0和标准的高斯滤波器。偏差为0.1。通过堆叠p个高斯滤波器，对于RandomNet，我们可以得到一个大小为w w p××的高斯核。以类似的方式，我们可以生成所有k个高斯核。

2.2.5 Comparison with SAE, DBN and CNN based methods

如图4所示，在SAE的空间特征提取阶段，第一层的接收场等于相邻区域w的大小。但是，随着层变得更深，网络中的接收场将保持恒定而不是变大。出现这种现象的原因是，在第一层之后，基于SAE和DBN的方法不再具有空间意义。假设在所有网络中将内核大小w设置为3，表1中显示了不同网络的接收场与层数之间的关系。正如我们所看到的，通过组合浅层特征和深层特征，接收力RPNet和RandomNet字段具有多尺度的优势（因为我们将这三层的所有特征堆叠在一起，因此分类阶段的RF将包括3、5和7），这更适合于HSI分类，其中不同的对象往往具有不同的比例（例如，建筑物和道路在遥感数据中通常具有不同的大小）。对于SAE，DBN和RPNet-single，由于它们仅在分类期间利用最深层中的功能，因此它们的尺度与最深层一样大。对于基于CNN的方法，由于在CNN中除了卷积操作之外，还存在池化操作，因此接收域的扩展速度将比RPNet更快。然而，传统的基于CNN的方法仅利用最深层的特征对图像进行分类（Zhao和Du，2016），因此，上述所有方法（如SAE，DBN，CNN）仅具有固定的接收场。

此外，尽管深层中的要素拥有更多的抽象和健壮的结构信息，但它们也丢失了一些有价值的信息分层特征提取期间包含在浅层中的信息。因此，结合浅层特征和深层特征的策略可能有助于模型减少特征提取阶段的信息损失。

2.3 Experimental setup and results

图9显示，随着PC数量的增加，所有数据集的分类精度都有先上升然后稳定的趋势。作为准确性和计算费用之间的折衷，根据经验将所有数据集的参数p设置为3。

由图10可知：

（1）在大多数情况下，RPNet表现出最佳性能（除了Indian Pines数据集，当网络深度达到7时，RandomNet会超过RPNet），并且随着层的加深，总体精度会逐渐提高，这表明随机从HSI提取的patch确实包含有关分类任务的有益信息。但是，太深的体系结构（大于5）将无助于提高准确性。

（2）当网络中只有一层时，RandomNet不能很好地执行，这是可以理解的。因为在卷积核中只有随机的高斯值。但是，随着网络的不断深入，它逐渐接近RPNet的性能。此处的主要贡献来自拟议网络的精心设计的结构，该结构在分类阶段将浅层特征和深层特征结合在一起，即使使用随机内核，也可以获得令人满意的性能。

（3）但是，对于RPNet-single，整体准确性略有提高（对于Pavia University和Indian Pines数据集），但是随着网络的深入，其准确性会迅速下降。对于KSC数据集，整体精度随深度的增加而单调下降。这种现象背后的原因有两个方面。首先，单个RPNet仅利用网络中最深的功能，从而导致大型对象和小型对象之间的不平衡。其次，随着层的不断深入，网络不仅会提取更多的抽象和健壮特征，还会带来信息丢失。因此，可以得出结论，将所提出的网络中的浅层特征和深层特征相结合具有重要意义。

2.4 Conclusion and discussion

（1）网络中的随机性是一种可靠的技术，在产生HSI分类中具有令人满意的性能方面具有很大的潜力。

（2）RPNet和RandomNet之间的比较表明，从图像中获取的随机色块可能比随机的高斯核具有更好的鲁棒性。

（3）通过比较RPNet和RPNet-single，我们可以看到在HSI分类中结合浅层特征和深层特征的巨大潜力。

三、总结

考虑到上述特征，建议的RPNet可以作为研究人员在处理HSI分类时评估更复杂的深度网络的有效性的简单方法。由于RPNet主要关注深层空间特征提取，因此我们未来的工作将尝试考虑深层光谱特征。此外，RPNet的泛化也是一个非常有趣的话题。由于这项研究的主要重点是关于HSI分类，因此RPNet是否可以在其他卫星图像数据集上产生良好的性能也值得将来研究。