#今日论文推荐# ECCV 2022 | 清华等提出CST：首个嵌入光谱稀疏性的Transformer

#今日论文推荐# ECCV 2022 | 清华等提出CST：首个嵌入光谱稀疏性的Transformer

快照压缩成像系统如图1所示。左边为待成像的场景，也即三维光谱型号（空间维度长和宽，通道维度是不同波段的光谱）。它通过预先设计好的光路，首先被编码孔径掩膜进行调制，然后被三棱镜进行散射，在探测器上不同的空间位置进行成像，这些像叠加在一起之后便得到一个二维的快照估计图，如右下角 Measurement 所示。如此一来，原先输入的三维光谱数据（x，y，λ）便被压缩成了二维数据（x，y），从而降低数据存储和传输的负担。

然而压缩估计图并不能直接应用，我们还需要将其复原成高光谱图像才可以进一步分析处理。通常来说，进行高光谱重建的方法可以分为四类：
（1）基于先验模型的传统方法。这一类方法会预先手工设计一些图像先验，如 total variation，low rank property 等。然而这类方法的泛化性差，并且每次使用前需要调整参数，花费大量时间。
（2）端到端的深度学习方法。这类方法直接采用一个深度学习模型，去拟合一个从 2D 快照压缩估计图到 3D 高光谱数据的映射。这类方法目前主要基于卷积神经网络，没有适配光谱表征在空间维度呈现出的稀疏性。并且卷积神经网络在捕获非局部依赖关系（non-local / long-range dependences）上有明显的短板。
（3）迭代式的深度学习方法。这一类方法运用迭代公式，将卷积神经网络嵌入到每一个迭代中作为去噪网络。
（4）即插即用的方法。这类方法将预先训练好的一个深度学习网络插入到每一个迭代始终，无需微调直接应用。
本文主要研究第（2）类方法，主要贡献点可以概括为如下：

• 提出了一种能将光谱表征嵌入到Transformer的重建方法。名字是 Coarse-to-Fine Sparse Transformer (CST)
• 提出一种检测密集光谱表征区域的方法，光谱感知筛选机制 ，Spectrum-Aware Screening Mechanism (SASM)
• 提出一种基于哈希来聚合相关光谱表征的多头自注意机制，Spectra-Aggregation Hashing Multi-head Self-Attention (SAH-MSA)。
• 在仿真数据集上，我们的 CST 系列模型用了更少的参数量取得了更高的结果。在真实数据上，效果更逼真。

论文题目：Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction
详细解读：https://www.aminer.cn/research_report/62df4fa47cb68b460ff4343ahttps://www.aminer.cn/research_report/62df4fa47cb68b460ff4343a
AMiner链接：https://www.aminer.cn/?f=cs