MTLSC-Diff: Multitask learning with diffusion models for hyperspectral image super-resolution and cl

Knowledge-Based Systems 303 (2024) 112415

MTLSC-Diff：用于高光谱图像超分辨率和分类的扩散模型多任务学习

研究背景：

1. 大多数现有的SR方法通常忽略了特定应用任务的需求。因此，这些方法可能无法有效地生成满足特定应用任务的高质量图像，这会影响解码性能。
2. 用于SR和分类的多任务学习很少被提及。

为了解决性能下降的问题，提出了多任务学习策略，该策略结合了预处理和特定应用的任务。通过共享SR任务和特定应用任务（如高光谱图像分类）的相关信息，多任务学习策略实现了这两个任务的联合优化。

受生成任务中扩散模型所展示的力量的启发，我们提出了一种基于扩散模型的HSI SR和分类多任务学习架构，称为MTLSC-Diff。

如图1所示，MTLSC-Diff包含一个正向扩散过程和一个反向去噪过程。在正向过程中，高斯噪声逐渐被添加到HR-HSI中，直到图像逐渐退化到纯噪声状态。在相反的过程中，HSI持续进行SR，并使用相互引导的SR分类协同模块（M-GSCS）进行分类。在连续迭代中，M-GSCS联合优化HSI SR和分类任务，以实现两者之间的相互指导，逐步提高图像的重建质量，提高类标签的准确性。具体而言，在时间步长T中，M-GSCS对在先前时间步长中获得的多尺度图像进行细化，并使用预测的高空间分辨率图像进行分类。同时，在类引导的超分辨率动态细化策略（C-GSR）下，多尺度分类结果迫使目标尺度图像学习新知识，以便在下一时间步进行细化。

我们提出的MTLSC-Diff的目的是通过迭代图像超分辨率和分类来实现两个任务的相互指导。

本文的贡献如下：

• 我们提出了一种基于扩散模型的多任务学习架构。据我们所知，与传统的超分辨率方法相比，MTLSC-Diff在分类任务的指导下重建了适用于分类任务的HR-HSI。
• 所设计的M-GSCS在连续迭代期间联合优化HSI SR和分类任务，以实现两个任务之间的相互指导，逐步重建高质量图像并提高分类精度。
• 在M-GSCS中，我们提出了一种类引导的超分辨率动态细化策略（C-GSR）。该策略确保超分辨率网络从分类网络中学习新知识，以进一步重建高质量图像并提高分类性能。

3.3. Mutual-guidance SR-classification synergy module

对于M-GSCS的每次迭代，三个基本组件是多尺度渐进SR网络、多头分类网络和类引导SR动态细化策略（C-GSR）。其中，多尺度渐进SR网络首先对前一步骤中获得的多尺度图像Xt进行细化。然后，多头分类网络使用这些细化的图像̂X0来获得多尺度分类结果Y和目标尺度分类结果yn。在C-GSR的指导下，多尺度分类结果Y迫使目标尺度图像Xn t-1学习新知识，以进行下一步的图像细化

3.3.1. Multi-scale progressive SR network

大多数SR方法使用双三次插值来放大到目标尺度。这种方法只对先验知识进行了有限的利用，导致SR网络的性能受到限制。此外，在分类任务中，通过这种方法在单一尺度上重建的图像在显著减少“同光谱不同对象”现象方面效果不佳。

因此，我们设计了一个由多个U网级联组成的多尺度渐进超分辨率网络。该网络不仅深入挖掘了LR图像的先验知识，而且通过生成多尺度图像来提高分类性能。如图2所示，在时间步骤T，MTLSC-Diff使用在前一阶段预测的μXineneneea 0（i=0，1，…，N；μX0 0=XLR）作为先验条件，对在前一时间步骤T−1获得的多尺度图像XT进行细化。

3.3.2. Multi-head classification network

在这个多任务框架中，我们需要构建一个分类网络。它可以为目标尺度图像XN T-1的高空间细节恢复提供一个可指导的方向，从而迫使目标尺度图像XN T-1在类引导的超分辨率动态细化策略下学习新的知识进行细化。

我们设计了一个具有多尺度和目标尺度分类头的HSI分类网络Θc。在这个网络中，我们使用多层资源网作为特征提取模块。此外，我们设计了一个多尺度分类头和一个目标尺度分类头，分别提取多尺度特征和特定目标尺度特征进行分类。

3.3.3. Class-guided SR dynamic refinement strategy

为了在迭代中实现两个任务的相互指导，并进一步提高超分辨率和分类任务的性能，MTLSC-Diff需要结合分类网络进行进一步更新。结合方程（12）中表示的扩散模型迭代过程中的X1 T细化过程，即使SR和分类任务输入不同，分类引导的超分辨率网络也可以端到端实现以进行进一步细化。所提出的M-GSCS由类引导的超分辨率动态细化策略指导，其中多尺度分类结果Y迫使目标尺度图像XN T-1学习高空间细节，以便进行下一个时间步长的细化。

其中M表示类别总数，Yi，c表示多尺度分类结果中是否有任何样本点属于类别c，yNi，c是目标尺度预测样本i属于类别c的概率，γ是调整因子。调整因子γ用于减少目标尺度和多尺度分类结果之间一致的样本的损失贡献，从而使模型更加关注那些不一致的样本。