【论文阅读】Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery

论文地址

1、论文
2、源码

摘要

最近，通过利用基于深度卷积神经网络（DCNN）的先进机器学习技术，单个灰度/RGB图像超分辨率重建任务得到了广泛的研究和显着的进展。然而，由于高维和复杂的光谱模式，在单个高光谱图像超分辨率方面的技术发展受到了限制。
本文通过研究如何使基于最新残差学习的单个灰度/RGB图像超分辨率方法适应计算高效的单个高光谱图像超分辨率（SSPSR），向前迈出了一步。具体地，我们引入一个空间-光谱先验网络（SSPN）来充分利用高光谱数据的空间信息和光谱之间的相关性。考虑到高光谱训练样本稀缺和高光谱图像数据的光谱维度非常高，训练一个稳定和有效的深度网络是不容易的。因此，我们提出了一个组卷积（具有共享网络参数）和渐进上采样框架。这不仅可以缓解由于高维度高光谱数据而产生的特征提取困难，还可以使训练过程更加稳定。为了利用空间和光谱先验，我们设计了一个空间-光谱块（SSB），它由一个空间残差模块和一个光谱注意力残差模块组成。在一些高光谱图像上的实验结果表明，所提出的SSPSR方法增强了恢复的高分辨率高光谱图像的细节，并超越了现有技术。源代码可在https://github.com/junjun-jiang/SSPSR上获得。

关键词——高光谱遥感，图像超分辨率，深度卷积神经网络（DCNN），空间-光谱先验。

一、引言

与人眼一样，高光谱成像只能暴露在可见光下，是一种收集和处理整个电磁频谱范围信息的成像技术[1]。高光谱成像最重要的特点是成像技术与光谱检测技术的结合。在对目标的空间特征进行成像时，高光谱图像中的每个空间像素被分散形成数十个甚至数百个窄光谱带，用于连续光谱覆盖。因此，高光谱图像具有很强的光谱诊断能力，可以区分与人类看起来相似的材料。然而，由于入射能量的限制，高光谱成像系统经常受到影响。实际成像过程的空间分辨率和光谱分辨率之间总是存在折衷。随着光谱特征的增加，如果保持其他所有因素不变以确保高信噪比（SNR），空间分辨率将不可避免地成为牺牲品。因此，如何获得可靠的高分辨率高光谱图像仍然是一个非常具有挑战性的问题。超分辨率重建可以从一个或连续观察到的低分辨率图像中推断出高分辨率图像[2]。它是一种不需要修改硬件的后处理技术，因此可以突破成像系统的限制。根据是否利用辅助信息（如全色、RGB 或多光谱图像），高光谱图像超分辨率技术可分为两类：基于融合的高光谱图像超分辨率（有时称为高光谱图像全色锐化）和单超- 光谱图像超分辨率 [3]。前者将观测到的低分辨率高光谱图像与空间分辨率较高的辅助图像合并，以提高观测到的高光谱图像的空间分辨率。这些基于贝叶斯推理、矩阵分解、稀疏表示或最近先进的深度学习技术的融合方法近年来蓬勃发展，并取得了可观的性能 [4]、[5]、[6]。然而，大多数这些方法都假设输入的低分辨率高光谱图像和高分辨率辅助图像很好地配准。在实际应用中，即使不是不可能，也很难获得如此良好的配准辅助图像 [7]、[8]、[9]。与基于融合的高光谱图像超分辨率相比，单张高光谱图像超分辨率获得的较少由于高光谱图像中的光谱模式且没有额外的辅助信息，因此进展有限。为了利用连续光谱带之间丰富的光谱相关性，已经开发了几种基于稀疏和字典学习或低秩近似的单一高光谱图像超分辨率方法 [10]、[11]、[12]、[13]。然而，这些手工制作的先验只能反映高光谱数据的一个方面的特征。最近，深度卷积神经网络（DCNN）已经展示了对低分辨率图像和高分辨率图像之间的关系进行建模的非凡能力，即单个灰度/RGB 图像超分辨率任务 [14]、[15]、[16]。这些方案中的实践原理可以总结如下：给定大量原始图像及其损坏版本的示例对，可以学习深度网络以将退化图像恢复到其源。具体而言，与基于深度学习的单灰度/RGB图像超分辨率，在单幅高光谱图像超分辨率任务中，训练一个计算效率高且有效的深度网络并非易事。这主要是由于以下原因：一方面，高光谱图像不像自然图像那样受欢迎，可用的高光谱图像数据集的训练样本数量极少。即使我们可以收集到很多图像，高光谱图像也可能由不同的高光谱相机获得。光谱波段数量和成像条件的差异将增加建立统一深度网络的难度。另一方面，高光谱图像数据本身的光谱维数非常高。与传统的灰度/RGB 图像不同，高光谱图像通常有数百个连续的光谱带，这需要更大的数据集来保证训练过程。否则容易造成过拟合问题。为了解决上述由于数据不足而无法充分挖掘高光谱数据中的空间信息和空间相关性特征而导致的问题，提出了一种组卷积（with shared network parameters）和progressive upsampling框架，可以大大减小模型的尺寸，使其在小数据条件下获得稳定的训练结果成为可能。为了利用高光谱数据的空间和光谱相关特性，我们精心设计了空间光谱先验网络（SSPN），它级联多个空间光谱块（SSB）。对于每个 SSB，它包含一个空间残差模块和一个频谱注意力残差模块。前者由一个标准残差块组成，用于利用高光谱数据的空间信息，而后者由一个光谱注意残差模块组成，用于提取光谱相关性。通过短和长的跳跃连接，在残差结构中形成残差，使得空间光谱特征提取更加高效。图1显示了我们基于空间光谱先验网络的超分辨率网络（SSPSR）的网络结构。输入的低分辨率高光谱图像首先被分成几个重叠组。对于每个组，应用分支网络来提取输入分组高光谱图像（整个高光谱谱系的子集）的空间光谱特征，并使用较小的非采样因子（与最终目标相比）对其进行放大。然后，将所有分支的输出特征连接起来并馈送到以下全局空间光谱特征提取和上采样网络。请注意，为了让分支网络和全局网络中的 SSPN 共享相同的结构，我们在每个分支上采样模块之后插入一个“重建”层。与许多以前的超分辨率网络类似，我们还采用了全局残差便于目标预测的结构。因此，在提出的 SSPSR 网络中，通过设计这些短（指剩余空间/频谱块）、长（指空间-频谱先验网络）、全局跳过链接，信息流的传输非常灵活。在训练阶段，我们在所有组中共享每个分支的网络参数，这避免了繁重的计算成本并简化了复杂的优化过程。综合消融研究证明了每个组件的有效性以及所提出方法中使用的融合策略。在两个公共数据集上与最先进的单高光谱图像超分辨率方法的比较结果证明了所提出的 SSPSR 网络的有效性。我们将本文的主要贡献总结如下。考虑到高光谱训练样本的有限性和光谱带的高维性，很难通过一步上采样来学习从低分辨率空间到高分辨率空间的映射关系。受一些通用图像超分辨率方法的思想启发，逐步进行超分辨率，我们将渐进上采样方案应用于单幅高光谱图像超分辨率任务并验证其有效性。此外，我们提出了一种光谱分组和参数共享策略，以大大减少模型的参数并减轻特征提取的难度。受高效残差学习和注意机制的启发，我们开发了一个空间光谱特征提取网络，以充分利用高光谱图像的空间光谱先验。本文的其余部分组织如下：第二部分介绍了高光谱图像的相关工作超分辨率。在第 III 节中，我们详细介绍了 SSPSR 网络架构和 SSB。然后，第四节报告了网络配置和实验结果，包括消融分析。最后，在第五节中得出了一些结论。

二 相关工作

在本节中，我们简要回顾了一些与我们的工作最相关的方法，包括基于融合的高光谱图像超分辨率、单幅高光谱图像超分辨率和单幅灰度/RGB 图像超分辨率。 Jiang 收集的高光谱图像超分辨率资源列表可以在 [17].A 中找到。 Fusion based Hyperspectral Image Super-Resolution遥感图像融合是一个非常具有挑战性的问题，历史悠久。一般来说，这个问题可以分为两类，全色锐化和超分辨率。为了提高多光谱图像的空间分辨率，之前的一些工作通过混合具有更高分辨率的全色图像，将融合问题转化为变分重建任务。这通常称为全色锐化。基于全色锐化的融合方法的分类可以在文献 [18]、[19]、[20]、[21] 中找到。最近，基于空间分辨率的低分辨率高光谱图像和高分辨率多光谱图像融合常被称为高光谱图像超分辨率的改进技术受到广泛关注。例如，横谷等人。 [5]提出了一种基于耦合非负矩阵分解（CNMF）的方法，用一对高分辨率多光谱图像和低分辨率高光谱图像推断高分辨率高光谱图像。为了利用谱域中的冗余和相关性，已经提出了一些利用稀疏性[22]、非局部相似性[23]、[24]、超像素引导自相似性[25]、聚类流形结构的方法[26]，张量和低秩约束 [27]，[28]。最近，一些基于深度学习的方法因其优越的性能和较少的图像先验假设而逐渐流行起来 [29]、[30]、[31]、[32]。受基于观测模型的迭代优化的启发，一些基于融合的深度展开网络的高光谱图像超分辨率方法近年来变得流行[33]、[34]、[35]。上述基于融合的高光谱图像超分辨率方法的共同思想是从高分辨率辅助图像中借用高频空间信息，并将这些信息融合到目标高分辨率高光谱图像中。尽管这些方法取得了非常好的性能，但它们的主要缺点是需要具有更高分辨率的良好配准辅助图像。然而，即使在实际应用中并非不可能，但获得如此良好的配准辅助图像将是艰巨的 [7]、[8]、[9].B。单幅高光谱图像超分辨率在没有配准辅助图像的情况下，单幅高光谱图像超分辨率方法在现实中仍然引起了相当大的关注。开创性的工作是由 Akgun 等人提出的。 [36]，其中高光谱图像采集模型和投影到凸集（POCS）算法[37]被应用于重建高分辨率高光谱-跟踪图像。通过结合低秩和组稀疏约束，Huang 等人。 [10] 开发了一种新方法来解决未知的模糊问题。最近，稀疏表示的变体和基于字典学习的方法得到了广泛的研究[12]，[38]。然而，这些方法有一些缺点。首先，他们通常需要在测试阶段解决一些复杂且耗时的优化问题。其次，图像先验通常是手工制作的，并且基于内部示例，而不考虑来自外部样本的任何外部信息。由于在许多计算机视觉问题上的优越性能，深度学习技术最近也被引入到单张高光谱图像超分辨率任务中。例如，Yuan 等人。 [39] 和谢等人。 [40] 首先基于 DCNN 对高光谱图像进行超分辨，然后应用非负矩阵分解 (NMF) 来保证中间结果的光谱特性。本质上，他们利用 DCNN 和矩阵分解以非端到端的方式分别利用空间和光谱特征。在 [41] 中，Mei 等人。引入了 3D 全卷积神经网络来提取高光谱图像的特征。虽然 3D 卷积可以很好地利用光谱相关性，但计算复杂度非常大。李等。 [42] 通过设计组递归模块并将其嵌入到全局残差结构中，提出了分组深度递归残差网络（GDRRN）。这种分组卷积和递归结构可以保证它可以产生非常好的性能。在我们之前的工作[43]中，设计了一个特征金字塔块来提取高光谱图像的多尺度特征。最近，Sidorov 等人受到 [44] 工作的启发，该工作指出图像先验可以在 CNN 本身中找到。 [45] 开发了一种有效的单一高光谱图像恢复算法。总的来说，这些深度方法比传统方法取得了更好的结果。但由于高光谱有限训练样本和光谱波段的高维性，难以充分利用高光谱数据的空间信息和光谱之间的相关性。单一灰度/RGB 图像超分辨率最近，基于 DCNN 的方法在单一灰度/RGB 图像超分辨率问题上取得了出色的性能。董等人的开创性工作。 [14] 提出了一种用于端到端图像超分辨率（SRCNN）的三层卷积神经网络，并且比传统的基于非深度学习的方法取得了更好的性能。受益于残差学习，在 VDSR [46] 和 DRCN [47] Kim 等人中。为图像超分辨率引入了非常深的网络，取得了比三层 SRCNN 更好的结果。然后在 LapSRN [48]、DRRN [49] 和 EDSR [15] 中采用了残差结构。通过简单地附加残差块、引入反馈或将非局部操作合并到循环神经网络中，提出了 RDN [50]、DBPN [51] 和 NLRN [52]。受 SE 块 [53] 的启发，Zhang 等人。通过结合通道注意模块 [16]，开发了一个名为 RCAN 的非常深的网络。最近，Dai 等人。引入了非局部块并提出了一个二阶注意网络（SAN）来捕获远程依赖性[54]。尽管已经取得了令人着迷的结果，但这些方法是为只有一个或三个通道的灰度/RGB 图像设计的。当直接将这些方法应用于高光谱图像时，它们会忽略高光谱数据光谱之间的光谱相关性，从而阻碍网络的表示能力。此外，对于单灰度/RGB图像超分辨率，当使用单通道或三通道图片作为网络输入时，为了提取特征，通常使用64（或更多）通道的特征图。同样，如果我们将这种20倍（或更多）的参数增长网络设计方案也应用到具有数百个通道的高光谱图像中，将导致参数的急剧增加。然而，没有足够的高光谱数据来支持灰度/RGB 图像的模型训练。

III. 拟议的 SSSPSR 方法

A 网络架构

图1、展示了所提出的SSPSR方法的网络架构。它主要由分支网络和全球网络两部分组成。对于每个分支网络或全局网络，包括浅层特征提取、广谱深度特征提取、上采样模块和重建部分。我们表示ILR∈Rh×w×C表示输入的低分辨率高光谱图像，ISR表示∈RH×W×C表示相应的输出高分辨率高光谱图像，IH R ∈ RH表示×W ×C表示输入图像ILR的地面真相（原始高分辨率高光谱图像）。我们的目标是通过所提出的端到端超分辨率重建网络，从输入的低分辨率高光谱图像ILR中预测高分辨率高光谱图像ISR，

其中 HN et (·) 表示所提出的 SSPSR 方法的函数。与以前的方法不同，将高光谱图像视为多个单通道图像（分别重建它们）或作为一个整体，我们将整个高光谱图像划分成一些组。这样，我们不仅可以利用高光谱图像相邻光谱带之间的相关性，还可以降低每组特征的维数。受最近提出的残差网络结构的成功启发，该结构在图像恢复领域取得了非常好的性能，我们专门设计了一种基于残差网络结构的SSB。如图 1 所示，拟议的 SSPSR 网络包含多个分支网络和一个全局网络。对于每个分支网络和全局网络，他们首先提取浅层特征并将它们馈送到 SSPN，然后使用中间上采样因子对 SSPN 的输出进行放大。通过将并行分支网络与全局网络级联，我们可以以从粗到精的方式对输入的低分辨率高光谱图像进行超分辨。下面分别给出分支网络和全局网络的细节。
1）分支网络：具体来说，输入的低分辨率高光谱图像ILR首先被划分为S组，ILR = {I(1) , I( 1) , · · · , 我(S)}。需要注意的是，LRLR LR 在我们的设置中相邻组可能有重叠。有关设置的更多详细信息可以在实验部分找到。对于每个组 I(s)，我们直接应用一个卷积层来获得其浅层特征 F(s)，如在之前的工作 [15]、[16] 中所研究的那样。

其中HF E（·）表示卷积操作，即特征提取层。然后使用F（s）0通过提出的SSPN进行深度特征提取。因此，我们可以进一步拥有

其中 HSSP N (·) 表示所提出的 SSPN 的函数，其中包含 R 个 SSB，我们将在下面介绍其详细信息。SSPN 的输出可以视为一组高光谱图像的深层特征。为了减轻最终超分辨率重建的负担，我们采用渐进式超分辨率重建策略。特别是，我们在网络中间添加了一个上采样模块（在将分支 SSPN 的输出馈送到全局 SSPN 之前），这已被证明是一种非常有效的技术，尤其是在放大倍数很大的情况下。因此，通过上采样模块，我们获得了上采样模块，

其中 HUP (·) 和 F (s) 分别表示上采样模块和 UP 上采样特征。在本文中，我们利用 PixelShuffle [55] 运算符进行上采样过程。在将放大后的特征提供给以下全局 SSPN 之前，我们在每个分支上采样后添加一个 Conv 层模块将特征通道的数量减少到每个输入组的光谱数量。因此，分支网络的输出将与输入分组的高光谱图像具有相同的通道，我们将这一层称为“重建”层，

其中 Hrec（·） 表示“重建”层（这里我们使用小写术语“rec”来表示伪重建操作）。通过此 Conv 层，可以将每个分支视为一个超分辨率重建子网。设计这一层的另一个目的是使分支SSPN和全局SSPN具有相同的网络结构.

2）全局网络：从具有分支网络的不同组中提取特征后，我们从所有分支中将它们连接在一起（如图1的“连接（1）（2）（S）运算符”所示），即FC = [Frec，Frec，···，Frec]。需要注意的是，如果相邻群存在重叠，则可以根据其原始光谱波段位置和对重叠波段中的特征值求平均值来生成集成特征图。与局部分支类似，在将接触的特征馈送到全局 SSPN 之前，我们应用一个 Conv 层来提取“浅层特征”，

其中HGF E（·）类似于HF E（·），用于提取所有分支网络的输入接触特征的相应“浅层特征”。然后，我们进一步将FG0馈送到全局SSPN中，其结构与局部结构相同，

其中HGSSP N（·）是指HSSP N（·）的全局版本。通过这种方式，我们提取了输入高光谱图像的空谱特征FGSSPN。为了将获得的特征放大到目标大小，这里我们再次应用上采样模块（逐步重建）来生成放大的空间光谱特征图，

其中HGU P是指HU P的全局版本。然后可以通过一个重建层获得最终的超分辨率高光谱图像，方法是馈送放大空间光谱特征和放大输入高光谱图像，

其中ILR ↑是指输入低分辨率高光谱图像的双三次上采样版本，HGFE2（·）类似于HGFE（·），用于提取输入双三次升频高光谱图像的浅层特征进行残差学习，HGREC（·）是具有一个Conv层的重建操作。这里，“+HGFE（ILR ↑）”被称为残差学习。

B.空间光谱先验网络（SSPN）

图像超分辨率是一个非常不适定的问题，需要额外的先验（正则化）来约束重建过程。传统方法都尝试手动设计复杂的正则化项，例如总变差 (TV)、稀疏、低秩 [22]、[23]、[25]、[26]、[27]。因此，这些算法的性能在很大程度上取决于设计的先验是否能够很好地表征观察到的数据。对于高光谱图像的超分辨率问题，有效利用高光谱图像的内在特性，即空间上的非局部自相似性和跨光谱的高相关性是至关重要的。以前手动设计的约束不足以准确恢复高光谱图像。在本文中，我们提倡空间光谱特征提取网络（SSPN）来利用空间和光谱先验。特别是，SSPN 级联 R 个空间频谱块 (SSB)，可以表示为：

其中HSSBr（·）是指第r个SSB的函数，F（s）是第r个SSB的输入，F（s）是SSBr−1 SSBr提取的特征。请注意，我们使用来自本地分支网络的符号来演示本地 SSPN 的详细设计，并且全局 SSPN 与本地 SSPN 相同。为了便于对目标的预测，在SSPN中进一步引入了长跳跃连接。这将导致电流特征的低频特征直接传递到最后，让电流残余体更加关注高频信息。因此，SSPN的输出可以通过F(s)=H(H(···H(F(s))···))+F(s)得到。

SSPN SSBR SSBR−1 SSB1 0 0(11) 这里，“+F(s)”称为残差学习（下同）。残差结构中的残差可以实现快速和稳定的训练。在本文中，我们专门设计了 SSB 以利用高光谱图像中的空间光谱信息。特别地，每个 SSB 都有两个部分，即空间残差模块和频谱注意残差模块。 SSB 的架构如图 2 所示。对于空间残差模块，我们利用具有 3×3 卷积的标准残差块来提取空间特征，

F(s) = F(s) + HSSBr−Spa(F( s) ), (12) Spar SSBr−1 SSBr−1 其中HSSBr−Spa(·)指的是第r个SSB的空间残差模函数，FSpar是第r个SSB的空间特征。标准残差块可以很好地提取高光谱图像的空间信息。然而，由于高光谱图像光谱之间的强相关性，标准残差卷积网络无法有效提取光谱依赖性。光谱相关性，其特征是高光谱图像的相邻光谱波段之间存在很强的相关性，已被广泛用于高光谱图像的重建和分析[5]，[56]。为了利用这种相关性，我们可以使用所有光谱带 x1, x2, …, xC ‘’ 来获得新重建的光谱带 xi，即 xi = wi,1x1 + wi,2x2 + … + wi,C xC。 wi = [wi,1, wi,2, …, wi,C ] 是线性组合（重建）权重。如果相似的光谱带具有相似的权重，则相关信息将被嵌入到重建的光谱带中，从而利用高光谱图像的相邻光谱带之间的相关性。如果我们将权重放宽到任何可学习的参数，这将等于学习一组权重向量 {wi }i ，从而获得高光谱图像的新表示。从数学上讲，这可以通过一些 1×1 过滤器（瓶颈层）来实现，其权重为 {wi }i 。通过设计具有 1×1 滤波器的光谱网络，我们可以期望充分利用不同光谱带之间的相关性。值得注意的是，我们进一步应用 ReLU 层来增强其表示能力。因此，SSB 的结构被设计为空间残差模块和频谱注意残差模块的组合，如图 2 所示。因此，我们有

其中HSSBr−Spc（·）表示第r个 SSB.To 的谱网络，进一步提高光谱信息以及整个网络的表示能力，我们受到Zhang等人[16]的启发，引入了信道注意力机制，通过对特征谱之间的相互依赖性进行建模，自适应地重新缩放每个信道特征。具体地，将全局平均池化层应用于先前谱网提取的特征图，得到全局上下文嵌入向量。然后，两个薄完全

具有简单门控机制（通过 sigmoid 函数）的连接层用于学习光谱之间的非线性相互作用。然后我们得到最终的通道缩放系数向量T∈R1×1×C，用于对提取的特征图进行重新加权。频谱注意力残差模块的输出由 C 简单计算。损失函数

F(s) SSBr= F(s) Spar+ THSSBr−Spc(F(s) )。 (14) Spar

C 损失函数

为了衡量超分辨率性能，研究了几个成本函数，使超分辨率结果接近地面真值高分辨率图像。在目前的文献中，l2、l1、感知和对抗损失是最常用的损失函数。与可能恢复原始图像中不存在且在遥感领域不受欢迎的细节的感知和对抗性损失相比，l2 和 l1 损失更可信。至于 l2 损失，它鼓励寻找通常过于平滑的似是而非的解决方案的像素级平均值。由于 l1 loss 可以有效地惩罚小错误并在整个训练阶段保持更好的收敛性，我们采用 l1 loss 来衡量网络的重建精度。具体来说，l1 损失由所有重建图像和地面实况之间的平均绝对误差 (MAE) 定义：

其中HNet（InLR）和InHR分别为第n个重建高分辨率高光谱图像和真实高光谱图像。N 表示一个训练批次中的图像数量，Θ 表示我们网络的参数集。
然而，上述损耗主要用于一般图像恢复任务。尽管它们可以很好地预先提供超分辨率结果的空间信息，但由于忽略光谱特征之间的相关性，重建的光谱信息可能会失真。
为了同时保证重建结果的空间和光谱可信度，我们引入了空谱全变分（SSTV）[57]。它扩展了传统的总变化模型，并考虑了空间和光谱相关性。
在本文中，我们将SSTV添加到l1 同时施加空间和光谱平滑度的损失，

其中，Δh、Δw和Δc是计算I n SR的水平、垂直和光谱的梯度的函数。总之，所提出模型的最终目标损失是两个损失的加权和

其中α用于平衡不同损失的贡献。在我们的实验中，我们将其设置为常数，α = 1e - 3。在表 I 中，我们报告了使用不同损失时的重建结果（根据客观测量）（有关实验设置的更多详细信息可以在实验中找到部分）。显然，l1 loss 更适合我们的任务，因为它可以有效地惩罚小错误并在整个训练阶段保持更好的收敛性。通过引入SSTV约束，可以取得稍微好一点的结果。

D．实现细节

我们使用 Pytorch 库 1 来实现和训练所提出的 SSPSR 网络。我们训练不同的模型以通过随机初始化对比例因子 4 和 8 的高光谱图像进行超分辨。我们使用初始学习率为 1e-4 的 ADAM 优化器 [58]，当达到 30 个纪元时，该优化器会衰减 10 倍。在我们的实验中，我们发现需要 40 个 epoch 才能达到稳定的性能。模型的训练批次大小为 32。与之前的许多工作一样，我们也应用双三次插值对高分辨率高光谱图像进行下采样，以获得相应的低分辨率高光谱图像。除非另有说明，在以下实验中我们将每组的光谱带数 § 设置为 8，相邻组之间的重叠 (o) 设置为 2。为了有效地处理“边缘”光谱带，我们采用了所谓的“回退”划分策略。当最后一组的光谱波段少于 p 个时，我们选择最后 p 个波段作为最后一组。因此，组数可以通过以下等式获得， C − o S=ceil p−o , (18) 其中 ceil(·) 是将 的元素四舍五入为最接近的整数的函数。在 SSPN 中，空间光谱块 ® 的数量设置为 3。我们将所有 Conv 层的大小设置为 3×3，但在光谱残差模块中，内核大小设置为 1×1 .为了确保不改变特征图的大小，对这些内核大小为 3×3 的 Conv 层应用零填充策略。浅层特征提取和 SSPN 中的 Conv 层具有 C = 256 个滤波器，通道缩小中的滤波器除外，即在分支网络处放大特征后的重建网络（请参阅等式（5））。

四、实验和结果

在本节中，我们对我们在三个公共高光谱图像数据集上的方法进行了详细的分析和评估，其中包括两个遥感高光谱图像数据集，即 Chikusei 数据集 [59]2 和帕维亚中心数据集 3，以及一个自然高光谱图像数据集，即 CAVE 数据集 [60]4。我们将所提出的方法与八种比较方法进行比较，包括四种最先进的深度单灰度/RGB 图像超分辨率方法，VDSR [46]、EDSR [15]、RCAN [16] 和 SAN [54] ，以及四种具有代表性和最相关的深度单高光谱图像超分辨率方法，TLCNN [39]、3DCNN [41]、GDRRN [42] 和 DeepPrior [45]。我们仔细调整这些比较方法的超参数以达到最佳性能。引入双三次插值作为基线。评估措施。六个广泛使用的定量图片质量指标（PQI）被用来评估我们方法的性能，包括互相关（CC）[61]、光谱角度映射器（SAM）[62]、均方根误差（RMSE）、 erreur relative globale adimensionnelle de synthese (ERGAS) [63]、峰值信噪比 (PSNR) 和结构相似性 (SSIM) [64]。对于重建的高光谱图像的 PSNR 和 SSIM，我们报告了所有光谱带的平均值。 CC、SAM和ERGAS是HS融合任务中广泛采用的三个质量指标，而其余三个指标是常用的定量图像恢复质量指标。这些指数的最佳值分别为 1、0、0、0、+ ∝ 和 1。

A 消融研究

提出的 SSPSR 方法包含四个主要组成部分，包括分组策略 (GS)、渐进上采样 (PU)、参数共享 (PS) 和频谱注意 (SA)。为了验证这些组件的有效性，我们修改了我们的模型并比较了它们的变体。我们使用来自 Chikusei 数据集的训练图像作为训练

设置并评估来自 Chikusei 数据集的四个测试图像的超分辨率性能（根据平均客观结果）（有关 Chikusei 数据集实验设置的更多详细信息，请参见以下小节）。表 II 列出了所提出方法的四种变体，其中 d 表示上采样比例。下面，我们将对它们进行详细的分析。

Grouping Strategy (GS)。为了有效地利用高光谱图像相邻光谱带之间的相关性并减少模型的参数，我们设计了一种分组策略，将输入的高光谱图像划分为一些重叠组。为了验证该策略的有效性，我们去掉了分组策略，将它们视为一个组。如表二所示，丢弃分组策略的“Our - w/o GS”变得越来越差。分组策略可显着提高性能，例如，×4 为 +0.17 dB，×8 为 +0.45 dB。至于其他客观指标，收益也相当可观。除了上面有/没有 GS 比较之外，我们还报告了参数和 FLOP 的数量以及我们方法在一些典型的光谱带数设置下的六个 PQI（ p) 每个组和相邻组之间的重叠 (o)。组号 S 由等式计算。 (18).
如表 II 所示，当 p = 128 且 o = 0 时，我们的方法将所有光谱带视为一个整体（S = 1）并且没有分组策略，即“Our - w/o GS”的情况”。当 p = 1、o = 0 和 S = 128 时，我们的方法会将每个光谱波段视为一个组，这可以看作是一种特殊情况，即按波段分组。
从结果中我们可以看出，无论我们将所有光谱作为一个整体对待还是单独对待它们，它们的性能都无法与我们提出的分组策略进行比较。比较这两种方案时，由于分组和参数共享的结合，带式方案获得了更好的性能。但是，它也会大大增加计算开销（请参考FLOPs）。因为模型的分支越多，需要的计算就越多。我们还报告了所提出的方法在相邻组之间重叠的不同设置下的性能，即 p = 8 和 o = 0,2,4,6。随着重叠度的增加（从 o = 0 到 o = 6），我们的方法的性能会逐渐提高，但模型的计算量也在不断扩大。值得注意的是，由于我们采用了参数共享的策略，当我们固定光谱波段数 p 并改变重叠度 o 时，模型的参数是相同的。为了实现在参数数量和FLOPs与客观结果之间的平衡，在本文中，我们将p和o分别设置为8和2。

Progressive Upsampling (PU)。为了了解低分辨率输入和高分辨率输出之间的端到端关系，有两种常用的上采样框架，前上采样超分辨率和后上采样超分辨率。它们要么增加网络的参数，要么增加训练的难度。受拉普拉斯金字塔超分辨率网络 [48] 的启发，我们利用了渐进式上采样超分辨率框架。通过这种方式，它将一个困难的任务分解为一些简单的任务，从而不仅大大降低了学习难度，而且获得了更好的性能。

在表 II 中，我们报告了在没有 PU 策略的情况下所提出的 SSPSR 方法的性能，即“Our - w/o PU”。我们删除了分支网络中的上采样模块并获得了我们方法的变体。我们可以看到我们的 PU 方法在所有六个指标上都取得了更好的性能，包括空间重建保真度（例如 RMSE、PSNR 和 SSIM）和光谱一致性（CC、SAM 和 ERGAS）。尤其是当上采样因子很大时，这种策略显得尤为重要。例如，×8 的 CC 和 PSNR 改善大于×4，例如，×4 为 +0.045 和 +0.45 dB，×8 为 +0.181 和 +0.58 dB。

参数共享（PS）。在提出的 SSPSR 方法中，为了使训练过程更高效，我们在所有组中共享每个分支的网络参数。
在表 II 中，我们列出了使用和不使用参数共享策略时所提出的 SSPSR 方法的比较结果。显然，通过参数共享，我们大大降低了模型的计算复杂度。参数共享策略虽然减少了模型的参数，但并没有削弱模型的表示能力。通过参数共享策略5，我们可以充分利用不同分支提供的训练样本（只用一个分支网络参数训练“更多”的数据），从而得到更稳定的模型。从结果中我们可以看出，在 d=4 和 d=8 的所有六个 PQI 上，参数共享策略的整体性能甚至优于参数不共享方法。

Spectral Attention (SA)。为了利用空间光谱先验，我们应用瓶颈网络（具有 1×1 滤波器）来提取高光谱图像的相邻光谱带之间的相关性。此外，还引入了注意力模块来对高光谱数据的光谱之间的相互依赖性进行建模。为了验证 SA 模块的有效性，我们比较了有和没有 SA 模块的性能。如表二所示，使用 SA 机制，与没有 SA 机制的“Our - w/o SA”相比，我们的方法取得了轻微的性能提升。通过加入SA模块，虽然各个客观指标的提升相对较小，但光谱置信度（即SAM）的提升比空间重建置信度（即PSNR）的提升更明显，d为2.2% vs. 0.43% = 4 and 11% vs. 1.3% for d = 4。这证明SA的引入将更有利于光谱特征的表示。

B． Results on Chikusei Dataset

Chikusei数据集由Headwall Hyperspec-VNIR-C成像传感器拍摄，是2014年7月29日在日本茨城县Chikusei的一个市区。它有128个光谱波段在363 nm到1018 nm的光谱范围内，总共2517×2335个像素。由于边缘信息缺失，我们首先裁剪图像的中心区域以获得2304×2048×128像素的子图像，这进一步分为训练数据和测试数据。具体地，提取该图像的顶部区域以形成测试数据，其具有四张非重叠的512×512×128像素的高光谱图像。此外，我们从子图像的剩余区域中提取重叠块作为用于训练的参考高分辨率高光谱图像（包括 10% 的训练数据作为验证集）。当上采样因子 d 为 4 时，我们让提取的块为 64×64 像素（有 32 像素重叠）；当上采样因子 d 为 8 时，我们让提取的块为 128×128 像素（有 64 像素重叠）。这里我们对不同的因素使用不同的块大小主要是出于以下考虑：如果因素很大而补丁大小很小，则输入信息非常有限，这将阻碍网络的训练。因此，我们对大因子使用大补丁大小。请注意，低分辨率高光谱图像是通过双三次下采样（Matlab 函数 imresize）生成的，因子为 4 或 8。

表 IV 报告了所有比较算法的四个测试图像的平均客观性能，其中粗体表示最佳结果，下划线表示次优。我们可以很容易地观察到，所提出的 SSPSR 方法在所有客观评价指标方面都明显优于其他算法。我们方法的平均 PSNR 值比第二好的方法高 0.30 dB 以上。作为两步法（首先对高光谱图像进行超分辨，然后进行分解），TL-CNN [39] 可以很好地重建目标高光谱图像。与我们的方法类似，GDRRN [42] 也采用组策略，并且因此可以很好地利用光谱信息（它在 SAM 方面取得了第二好的结果）。 DeepPrior [45] 是一种非常新颖的方法，但是它需要花费很多时间来调整结果并且没有更好的策略来确定何时停止迭代。 RCAN [16] 和 SAN [54] 得到相似的结果，并且略好于 EDSR [15]。这可能是由于前两者考虑了通道注意力，因此可以很好地捕捉高光谱数据的光谱特征。图 3 和图 4 分别显示了 Chikusei 数据集中一张测试高光谱图像的重建合成图像，采用不同的上采样因子 d = 4 和 d = 8 的比较方法。我们还可以很容易地观察到，所提出的 SSPSR 方法比其他算法表现更好，可以更好地恢复细粒度纹理和粗粒度结构（请参阅红色框标记的区域）。在这些视觉比较结果的底部，我们还报告了重建合成图像的 PSNR 和 SSIM 值。我们的方法 SSPSR 仍然具有相当大的优势。

C 帕维亚中心数据集的结果

帕维亚中心数据集由反射光学系统成像光谱仪（ROSIS）传感器拍摄，是2001年在意大利北部帕维亚中心区域上空的飞行活动。它有102个光谱波段（水蒸气吸收并且从最初的 115 个光谱带中去除了噪声光谱带）和总共 1096×1096 个像素。需要注意的是，在 Pavia Center 场景中，不包含任何信息的区域被移除，留下一个 1096×715 像素的有意义区域。为了评估所提出的 SSPSR 方法，我们裁剪图像的中心区域以获得 1096×715×102 像素的子图像，该子图像进一步分为训练数据和测试数据。具体地，提取该图像的左侧部分以形成测试数据，该测试数据具有四张非重叠的223×223像素的高光谱图像。此外，我们从子图像的剩余区域中提取重叠块作为用于训练的参考高分辨率高光谱图像（包括 10% 的训练数据作为验证集）。与之前的设置类似，相应地生成了补丁大小和低分辨率高光谱图像。

表 V 列出了所有竞争方法的四个测试图像的六个 PQI 方面的平均性能。我们可以很容易地观察到，所提出的 SSPSR 方法在几乎所有客观评价指标方面都明显优于其他算法。我们方法的平均 PSNR 值对于 ×4 为 0.3 dB，对于 ×8 为 0.2 dB，高于第二好的方法。作为最具竞争力的通用灰度/RGB图像超分辨率方法，EDSR、RCAN和SAN可以取得相当令人满意的结果。然而，与这些单一的高光谱图像超分辨率方法，即 3DCNN [41] 和 GDRRN [42] 相比，它们的 SAM 指数相对较差。图。图 5 和图 6 分别显示了上采样因子 d = 4 和 d = 8 的六种最具竞争力的方法的 PaviaCenter 数据集中一张测试高光谱图像的重建合成图像和误差图。 EDSR [15]、3DCNN [41] 和 GDRRN [42] 的结果非常模糊，而 RCAN [16] 和 SAN [54] 似乎引入了一些噪声。所提出的 SSPSR 方法可以维护主要结构信息。从这些方法的误差图中，我们可以注意到所提出的方法不包括图像的明显轮廓信息，这表明我们的方法可以很好地恢复这些信息。需要注意的是，与 d = 4 的情况相比，上采样因子 d = 8 的视觉效果更差。此外，当我们比较图 4 和图 6 的视觉结果时，我们还注意到 Pavia Center 数据集上的重建结果比 Chikusei 数据集上的重建结果差。我们认为这主要是由于帕维亚中心数据库的训练样本数量有限。这也是这些基于深度学习的方法的主要缺点。也就是说，它们需要大量的训练样本，否则很难训练出具有良好泛化能力的模型。

D． CAVE 数据集上的结果

前面的实验是在 Chikusei 和 Pavia Center 数据集上进行的，这些数据集都是遥感高光谱图像。为了进一步验证所提出的 SSPSR 方法的有效性，我们还进行了比较对自然场景的高光谱图像进行实验。具体来说，我们使用 CAVE 多光谱图像数据库，因为它广泛用于许多多光谱图像恢复任务。该数据库由32个空间大小为512×512的日常物体场景组成，包括31个光谱波段，范围从400nm到700nm，步长为10nm。为了准备训练样本，我们从数据库中随机选择 20 张高光谱图像（随机选择 10% 的样本进行评估）。当上采样因子d为4时，我们提取64×64像素（32像素重叠）的patches进行训练；当上采样因子 d 为 8 时，我们让提取的块为 128×128 像素（有 64 像素重叠）。相应的低分辨率高光谱图像由因子为4或8的双三次下采样生成。数据库中剩余的12张高光谱图像用于测试，其中原始图像被视为地面真值高分辨率高光谱图像，而低分辨率超光谱输入的生成与训练样本类似。对于这个数据集，我们将每个组的光谱带数（p）设置为4，相邻组之间的重叠（o）设置为1。由于Cave数据集可以提供更多的训练样本，我们使用更大的R（R = 8）来设计我们的网络。我们将所提出的 SSPSR 方法与一些非常有竞争力的方法 EDSR [15]、RCAN [16]、3DCNN [41] 和 GDRRN [42] 进行了比较。

CAVE 数据集上不同上采样因子的竞争方法的CC、SAM、RMSE、ERGAS、PSNR 和 SSIM 结果的平均性能报告在表 VI 中。从这些结果中，我们注意到3DCNN 方法比其他方法表现更差。显然，所提出的 SSPSR 方法优于所有其他竞争方法。所提出的 SSPSR 方法比专注于利用空间先验的 EDSR [15] 和 RCAN [16] 表现得更好。平均而言，所提出的上采样因子 d = 4/8 的 SSPSR 方法的 PSNR 和 SSIM 值分别比第二好的方法高 0.3/0.4 dB 和 0.002/0.012。

图 7 和图 8 显示了在 480nm、580nm 和 680nm 处重建的 HR 高光谱图像和相应的误差图，测试图像填充玩具和真假苹果的竞争方法具有上采样因子 d = 4 和 d = 8 ， 分别。从视觉重建结果可以看出，所有比较方法都可以很好地重建高光谱图像的高分辨率空间结构。在这些误差图中，我们了解到所提出的方法和 RCAN 方法在恢复原始高光谱图像的细节方面实现了最佳的重建保真度。比如棋盘的边缘，狗耳朵和苹果的轮廓（请参考红框标注的区域）。在子图 (g) 中，我们还报告了竞争方法的每个频谱带的 RMSE、PSNR 和 SSIM 结果。显然，所提出的 SSPSR 方法在大多数情况下表现最佳。为高光谱图像设计的 3DCNN [41] 和 GDRRN [42] 在某些情况下可以取得良好的结果，但在重建不同的光谱带时它们的性能似乎不稳定。

五、结论

在本文中，引入了一种基于空间光谱先验网络（SSPN）的新型深度神经网络来解决单幅高光谱图像超分辨率问题。特别是，为了发现高光谱数据的空间和空间相关性特征，我们精心设计了一个空间光谱先验网络（SSPN），以充分利用不同光谱特征之间的空间信息和相关性。此外，针对高光谱图像训练样本有限和维数高的问题，提出了组卷积（具有共享网络参数）和渐进上采样框架。通过这种方式，我们可以期望大大减少模型的参数，并使其在小数据和大光谱波段数条件下获得稳定的训练结果成为可能。在我们引入的网络中，信息流的传输通过残差学习的短、长、全局跳过链接非常灵活。为了规范网络输出，我们采用基于空间光谱全变差 (SSTV) 的约束来保持超分辨高分辨率高光谱图像的边缘锐度光谱相关性。对三个公共高光谱数据集的评估表明，我们的模型不仅在一些常用的客观指标方面取得了最佳性能，而且还生成了清晰的高分辨率图像，与 state-of-the-艺术。