PADUT：高光谱超分——像素自适应深度展开

M. Li, Y. Fu, J. Liu and Y. Zhang, "Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction," 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France, 2023, pp. 12913-12922, doi: 10.1109/ICCV51070.2023.01191.

code： https://github.com/MyuLi/PADUT

摘要：通过将问题转化为数据模块和先验模块，高光谱图像（HSI）重建在深度展开框架下取得了可喜的进展。尽管如此，现有方法仍然面临与HSI数据匹配不足的问题。问题在于三个方面：1）数据模块中的固定梯度下降步骤，而HSI的退化在像素级上是不可知的。 2) 3D HSI 立方体的现有模块不足。 3）阶段交互忽略了不同阶段特征的差异。为了解决这些问题，在这项工作中，我们提出了一种用于 HSI 重建的像素自适应深度展开变压器（PADUT）。在数据模块中，采用像素自适应下降步骤来关注像素级不可知退化。在前面的模块中，我们引入了非局部谱变换器（NST）来强调 HSI 的 3D 特征以进行恢复。此外，受不同阶段和深度特征多样化表达的启发，通过快速傅里叶变换（FFT）改进了阶段交互。与最先进的 HSI 重建方法相比，模拟和真实场景的实验结果都表明我们的方法具有优越的性能。

由深度模型展开框架形成的高光谱图像重建问题可划分为一个数据项（data module）和一个先验项（prior module）。

这篇论文发现已有的高光谱重建方法存在三个方面的问题，

第一个问题是【fixed gradient descent step in the data module while the degradation of HSI is agnostic in the pixel-level.】，这句话的字面意思是，在优化数据项时使用的是固定步长的梯度下降，然而退化的高光谱图像在像素级上是未知的，这是说高光谱图像不同位置的像素可能有着不同的压缩率。

第二个问题是【inadequate prior module for 3D HSI cube.】，就是说针对三维高光谱图像，先验项挖掘不充分，其实凡是使用到图像先验信息的论文，都可以这么说。

第三个问题是【stage interaction ignoring the differences in features at different stages.】，就是说在交替迭代过程中，忽视了不同阶段的特征差异性。

通常，深度展开框架由多个阶段组成，这些阶段专门设计用于根据编码测量值 y 重建底层 HSI 立方体 x。等式。 (10)作为将物理特性引入优化的数据模块。同时，方程中利用了深层特征。 (11) 可以参考前面的模块。正如问题表述中提到的，HSI 中的像素在压缩感知中遭受不同程度的信息损失。虽然物理掩模Φ缓解了现有模块中的这样的问题，但它往往需要固定的辅助方式。此外，在真实的传感系统中，掩模和真实退化之间通常存在差距。

在图像处理中，低频信息通常指的是慢变化的图像部分，包括图像中的平滑区域和较大的结构。这些低频信息对应于图像中的较低空间频率。低频信息主要体现了图像的整体亮度和对比度。

相对地，高频信息则涉及快速变化的图像部分，例如边缘、纹理和细节等。高频信息对应于图像中的较高空间频率。高频信息主要决定了图像的细节和轮廓。

幅度信息指的是图像中每个频率分量的振幅大小，反映了图像中不同频率的强度或能量。具体来说，低频分量的幅度较大，而高频分量的幅度较小。

相位信息则表示图像中每个频率分量的相位偏移或相对位置。相位信息决定了不同频率分量的空间布局和相互关系。

因此，幅度信息和相位信息共同描述了图像中的频率特征和空间结构。低频信息通常具有较大的幅度和较小的相位变化，而高频信息则具有较小的幅度和较大的相位变化。

受上述发现的启发，我们提出了用于 HSI 重建的像素自适应深度展开变压器（PADUT）框架。首先，我们介绍了重建过程的深度展开框架，并在数据模块中考虑了位置特定的退化信息。其次，我们提出了一种用于 HSI 的非局部谱重建变压器，以在每个阶段利用 HSI 的二维数据。第三，我们利用 HSI 的频率分量分析来融合迭代阶段的特征。观察到编码器特征和解码器特征在频域中具有不同的侧重点，我们提出了快速傅里叶变换级融合（FFT-SF）模块，该模块可以带来更全面的特征，从而实现卓越的性能。我们工作的具体贡献是：

• 我们提出了一种用于HSI 重建的像素自适应深度展开变换器。在数据模块中，我们引入了不同位置的像素级自适应恢复。在前面的模块中，我们提出了一个用于 HSI 处理的非局部频谱变换器。

• 我们为迭代重建过程中的跨阶段特征引入了一种新颖的频率视角。特别是，采用幅度和相位表示来建立不同阶段和深度之间的相互作用。

 • 我们在模拟场景和真实场景上进行了大量的实验，以展示我们的 HSI 重建方法的有效性。

CASSI系统牺牲了空间信息来获取光谱信息。因此，编码测量值 y 中的空间强度包含空间和光谱信息的组合表示。这表明 HSI 中不同位置的像素可能具有不同的压缩级别。这激励我们改进像素特定重建的优化过程。

3.2 重新审视深度展开框架

Φ 揭示了编码测量和所需 3D 数据之间的空间关系以及光谱关系

通常，深度展开框架由多个阶段组成，这些阶段专门设计用于根据编码测量 y 重建底层 HSI 立方体 x。等式。 (10)作为将物理特性引入优化的数据模块。同时，方程中利用了深层特征。 (11) 可以参考前面的模块。正如问题表述中提到的，HSI 中的像素在压缩感知中遭受不同程度的信息损失。虽然物理掩模Φ缓解了现有模块中的这样的问题，但它往往需要固定的辅助方式。此外，在真实的传感系统中，掩模和真实退化之间通常存在差距。

3.3 框架

基于上述观察，我们设计了一个用于 HSI 重建的像素自适应深度展开变压器。图 4 说明了我们提出的方法的总体框架，该框架由 K 个阶段组成，用于重建压缩的 HSI。在每个阶段中，数据模块后面跟着一个降噪器，它指的是先验模块。数据模块旨在利用物理退化信息，而先验模块用于优化。我们的降噪器采用 U 形设计。在编码器中，每层包含快速傅里叶变换级融合（FFT-SF）层和非局部频谱变换（NST）层。解码器仅由 NST 层组成。

（a）Pixel-Adaptive Prior Module.像素自适应先验

在压缩感知过程中，由于调制的原因，不同位置和频带的图案明显不同。由于仪器噪声的存在，HSI 立方体中噪声的分布也发生变化。这种差异在整个恢复过程中持续存在。考虑到HSI中不同位置的不一致和不可知的退化问题，我们为深度展开框架设计了像素自适应数据模块。我们的像素自适应先验模块的详细信息如图 4 (a) 所示。由于物理掩模 Φ 建立了空间和光谱维度的相关性，并且 zk 表示当前输入特征，因此我们通过卷积层和通道注意（CA）[11]层生成 3D 参数 Fσ。

然后，使用获得的 3D 参数 Fσ 对 3D 数据进行参数化，如式(12)通过像素自适应梯度下降步骤，实现像素特定的重建。

Non-local Spectral Transformer.非局部频谱变换器。

光谱自注意力 [3, 40] 在图像恢复领域显示出了有希望的结果。然而，它很难在空间和光谱维度上对像素之间的细粒度相似特征进行建模。一方面，由于光谱自注意力将整个光谱维度的像素作为特征值来表示光谱特征，因此很容易丢失局部细节信息。另一方面，由于CASSI系统的编码特性，经常可以在相邻区域中找到压缩信息。光谱自注意力需要更好地适应3D HSI立方体和编码系统。

为了利用 HSI 的空间频谱信息，我们在先前的模块中提出了用于 HSI 恢复的非局部频谱变换器（NST）。如图 5 所示，NST 由层归一化 (LN)、非局部谱注意 (NSA) 和前馈网络 (FFN) 组成。在两个 NST 之间进行空间移位操作，不仅可以探索局部特征。

对于非局部光谱注意层，我们首先将 xin ∈ RH×W×C 的整个特征分割为几个立方体补丁作为 {x1, x2, ..., xG}。每个立方体的尺寸为L×L×C。对于每个立方体，我们将 xi 投影到查询 Qi 中，键 Ki ，值 Qi  为

投影后，每个立方体的自注意力特征计算如下：

其中，对于每个空间谱立方体，获得的注意力图的大小为 RC×C，捕获并合并整个数据量中的非局部信息。在实现中，我们采用类似的多头自注意力方法，并将光谱带的数量划分为“头”，然后学习各个特征。

Fast Fourier Transform Stage Fusion.快速傅立叶变换级融合。

深度展开框架显示了通过可解释网络进行多阶段学习的有效性。由于上下文信息和详细信息在不同阶段有所不同，有效利用丰富的特征可以提高重建的性能[44, 27]。此外，在每个阶段内，由于空间和频谱信息之间固有的权衡，编码器-解码器降噪器会导致上下文不同的中间特征。如何更有效地插入跨阶段特征和内部阶段特征仍然是一个持续的挑战。

如图3所示，在频域中，不同阶段的恢复HSI的相位分量和幅度分量对应不同。在编码器中，幅度（amplitude）信息更加突出。在后面的解码器中，相位（Phase）信息更加清晰。根据这一观察，我们将快速傅立叶变换引入到级间连接中，以从频域获得更好的重构结果。

FFT-SF 的详细信息如图 4 (c) 所示。我们首先将前一层的编码器和解码器特征变换到傅里叶域。然后，进行基于傅立叶的融合以关注不同的频率特性。最后，利用频率增强特征来增强下一阶段的特征。

为了对形状为 RH×W×C 的 x 的频率特征进行建模，我们利用傅里叶变换 F 将其转换为傅里叶域，其公式为 F(x)：

为了分析和利用HSI的频率特性，我们将复数分量x(u, v)分解为幅度A(x)和相位P(x)。幅度分量可以洞察像素的强度，而相位分量对于传达位置信息至关重要。根据[13]，数学公式由下式给出：

其中 R(x) 和 I(x) 表示实部和虚部。

对于第(k+1)级，来自前一级的特征表示为Fk enc 和Fk dec，来自当前编码器层的特征表示为Fk+1 enc 。根据观察到幅度信息和相位信息在编码器和解码器中表达方式不同，FFT阶段融合表示为：