高光谱图像超分辨率

基于空间-光谱先验学习的高光谱图像超分辨率

高光谱图像的超分辨重建相比普通图像而言有两个难点：

1. 高光谱图像的训练样本少，不同光谱波段间的差异不易于建立一个统一的深度网络。

2. 高光谱图像有大量的光谱数据，这会导致很大的数据集，不易于网络的训练，而且容易过拟合（维度灾难）

SSPSR（基于空间-光谱先验网络的超分辨网络）

本文针对以上难点给出了一个光谱图像超分辨的网络：SSPSR（基于空间-光谱先验网络的超分辨网络），下面详细介绍一下这个网络的结构：

此网络结构包括：若干个分支网络和一个全局网络。分支网络和全局网络结构基本相同，都包括了：浅层特征提取、空间-光谱深层特征提取、上采样模块和重建部分。

一张高光谱图像输入到网络后，先把光谱分为若干个互相重叠的群，这样的划分方法有助于网络挖掘相邻光谱的相关性，并降低每个群特征的维度（相比于直接输入整个图像而言）。之后每个群分别进入各自的分支网络。

每个群通过一个群卷积层，以挖掘图像的浅层特征；之后通过SSPN（空间光谱先验网络）（这个后面再介绍），以挖掘空间-光谱深层特征；之后通过上采样层，进行特征放大；最后每个分支的结果，通过一个卷积层进行重建，以降低特征通道的数目。

之后进入全局网络，处理步骤后前面几乎是一样的。其中有一定值得注意，在分支网络和全局网络中都有一个跳跃连接的部分，这个部分可以让低频特征快速通过，而限制高频特征，从而迫使网络更关注高频特征，这点还是非常有意义的。

SSPN（空间光谱先验网络）

下面介绍一下SSPN（空间光谱先验网络），这个网络由许多==SSB（空间-光谱快）==组成


每一个SSB又由空间残差模块和光谱注意残差模块构成（利用了残差学习的思想），前者挖掘空间信息，后者挖掘光谱间的相关性。前面的结构还是挺简单的，在后面的结构中引入了通道注意力机制用来建模特征谱的相互依赖关系，和使用全局池化层提取特征图，从而生成全局上下文嵌入向量，最后通过两个简单的全连接层和简单的阈值机制（通过sigmoid函数），学习了光谱间的非线性相关性。

损失函数
本文考虑到高光谱图像的特点，结合超分辨率常用的L1损失函数，构造了本网络的损失函数，结果如下：

此损失函数的优点就是结合了空间和光谱的相关性。