Enhancing Hyperspectral Images via Diffusion Model and Group-Autoencoder Super-resolution Network

arXiv:2402.17285v1 [cs.CV] 27 Feb 2024

背景

当面临HSI超分辨率任务时，存在以下挑战：

1. 硬件限制导致的低空间分辨率：HSI图像的空间分辨率通常较低，这是由于成像硬件的限制所致。这限制了后续HSI应用的效果。
2. 模型收敛困难：将扩散模型直接应用于HSI SR任务会导致模型的收敛困难。
3. 光谱连续性打断：简单执行逐波段SR应用会打断光谱的连续性，而忽略了波段之间的相似性。
4. 数据维度和样本不足：与自然图像相比，HSI数据具有更高的维度和更少的训练样本，这使得模型训练更加困难。
5. 推断时间过长：逐波段SR的要求需要进行多次推断，导致推断时间显著延长。

与自然图像相比，HSI数据具有大量的和高维的特征，训练样本不如自然图像充分。将扩散模型直接应用于HSI SR任务会导致模型收敛困难，而简单地执行频带SR应用会破坏频谱连续性并忽略频带相似性，从而导致结果也不令人满意（见表3）。此外，对频带SR的要求需要进行多次推断，导致推断时间显著延长（见表5）。

为了应对这些挑战，我们提出了一种新的HSI数据SR网络，该网络集成了扩散模型、自动编码器技术和频谱分组技术，如图1所示。我们提出了一种新的自动编码器架构，可以将一张HSI数据编码为几个低维隐藏变量，用于训练扩散模型。通过采用这种方法，我们解决了两个关键方面。首先，它缓解了在面对高光谱维度HSI数据时与扩散模型的训练和收敛相关的挑战，“一对多”降维有效地减少了编码过程中的信息损失，从而丰富了特征信息（见表3）。其次，由于自动编码器的协作工作，我们的模型有效地将推理过程缩小到几个关键的中间隐藏变量，从而大大缩短了推理时间（见表5，图9），使我们的方法在HSI SR任务的实际应用中更高效、更可扩展。我们的模型包括两个主要的训练阶段，在这些训练阶段完成后，这两个模块和谐协作，有效地执行SR任务。

总之，这篇文章的主要贡献如下：

•据我们所知，我们的工作代表了扩散模型在HSI SR领域的首次应用。我们提出了一种新的基于扩散的SR模型，该模型有助于隐式捕获高水平和低水平特征，并提高了复杂光谱空间关系的学习能力。

•我们将扩散模型与自动编码器技术融合，以克服收敛困难，并在面对高维数据时显著减少推理时间

•在三个公开的HSI数据集上的广泛实验结果表明，我们提出的方法在客观指标和主观视觉质量方面都优于最先进的方法。

模型总览

两阶段训练模型，由两个主要部分组成：自编码器和扩散SR模型，如图2所示。

>

Stage 1: Training the Group Autoencoder

自编码器模型采用了一种光谱分组策略和不对称解码器设计。

Spectral Grouping

将相邻波段划分为具有一定重叠的组，允许编码器学习波段之间的相关性。

通过这种方式实现了对光谱维度的高效降维，减少了信息丢失，并增强了隐藏变量特征的丰富性。

此外，它考虑了波段之间的相似性，有助于与扩散模型更有效地协作。这种方法使我们的模型能够有效地处理HSI SR任务中的挑战。

 

Asymmetric Architecture

设计了一个较大的解码器模型，以更好地捕获特征。解码器由两个主要部分组成：

局部解码部分和全局解码部分。在局部解码部分，每个列表中的变量首先被解码以解密局部信息特征。

然后，这些解码的变量被串联以匹配实际HSI数据的大小。

随后，串联数据通过全局解码部分，对连接部分进行平滑细节的解码，并增强整体效果。

 

Loss Function

四个主要组成部分组成：L1损失、光谱角映射（SAM）损失、梯度损失和感知损失（此SAM非彼SAM）

• 硬件限制导致的低空间分辨率：HSI图像的空间分辨率通常较低，这是由于成像硬件的限制所致。这限制了后续HSI应用的效果。
• 模型收敛困难：将扩散模型直接应用于HSI SR任务会导致模型的收敛困难。
• 光谱连续性打断：简单执行逐波段SR应用会打断光谱的连续性，而忽略了波段之间的相似性。
• 数据维度和样本不足：与自然图像相比，HSI数据具有更高的维度和更少的训练样本，这使得模型训练更加困难。
• 推断时间过长：逐波段SR的要求需要进行多次推断，导致推断时间显著延长。