【HSCNN解析】HSCNN：从欠采样光谱图重建高光谱图的CNN网络

写在前面：
本文介绍HSCNN，是一个将欠采样光谱图片重建为高光谱图片的CNN结构。 这项2017年的工作现在看来较为简单和直接，因此本文篇幅不长。
ReadPaper原论文链接：HSCNN: CNN-Based Hyperspectral Image Recovery from Spectrally Undersampled Projections
欢迎大家探讨学习！！！

---

一、创新点

• 提出了一个基于CNN的、用于高光谱图像重建恢复的深度学习框架
• HSCNN在RGB ==》高光谱图像任务上达到SOTA
• 论文工作还进行了由CASSI测量 ==》高光谱图像任务的首次尝试
• 通过残差学习结果，研究了RGB图像和CASSI测量值间存储信息的特点及不同【在空间维度（spatial） & *光谱维度 （spectral）*上的偏好】

二、网络结构及设置

1. HSCNN结构

HSCNN整体结构并不复杂，其核心结构主要由三个部分构成：1）Patch extraction；2）Feature mapping；3）Reconstruction。如图，该三部分按顺序依次将预上采样后的输入最终重建为高光谱输出（预上采样操作在数据集部分介绍）。HSCNN所有部分皆由卷积网络构成，是全卷积网络。HSCNN中共有$d$层卷积层。

1. Patch extraction
   Patch extraction部分由一层2D卷积+ReLU激活函数构成。
2. Feature mapping
   Feature mapping部分由$d-2$层2D卷积+ReLU激活函数构成。
3. Reconstruction
   Reconstruction部分仅有一层2D卷积操作，该卷积层输出为模型学习到的残差（后续实验部分本论文会可视化并探讨这部分残差）。残差会与预上采样的数据相加得到完整的高光谱重建输出（为了更好地保留原始信息），即为本模型的目标输出。

以上三部分中卷积层具体参数见下图（最后一列）。其中/前代表卷积核大小，/后代表卷积核个数，$\Omega$代表预上采样后的输入图像通道数（论文中设置为待重建的高光谱输出图像光谱个数）：

2. 数据集

论文在该论文提出的高光谱数据集的基础上进行预处理后得到并使用两种数据：RGB图像和CASSI测量值。上述两种数据皆为欠采样光谱数据，在传入上节介绍的HSCNN核心结构前都需进行光谱维度上的预上采样操作，使其光谱数与目标高光谱输出相一致，具体来说，RGB图像使用的是简单的光谱插值算法进行预上采样，而CASSI测量值使用的是TwIST算法进行的。预上采样后数据以及GT值的光谱维度皆为31。

3. 超参数设置

超参数设置请见下图：

三、实验结果

两种输入数据各自的表现请见论文，这里仅介绍前面提到的“通过残差学习结果研究了RGB图像和CASSI测量值间存储信息的特点及不同”。请见下面残差学习可视化结果对比。由此原论文得出结论：RGB图像在欠采样操作后丢失的主要是光谱维度的信息，而CASSI测量值欠采样操作主要损失了空间结构方面的信息。 该结论可由学习到的残差印证。

论文还对两种预上采样后的数据某点的光谱密度值进行了对比。下图蓝线为进行简单插值后的RGB图像某点的光谱密度值。

下图蓝线为使用TwIST算法后的CASSI图像某点的光谱密度值。

对比可发现：1）使用TwIST算法后的CASSI图像能更高保留光谱维度信息（光谱密度曲线基本与GT相似，仅为整体数值上的平移偏差），而简单插值后的RGB图像则未能很好的保留光谱维度信息。2）HSCNN很好的恢复了欠采样光谱图（红色叉线）