GRSL 2025 | 高光谱超分-深度多流网络A Deep Multistream Network for Hyperspectral Image Super-Resolution

DMSN: A Deep Multistream Network for Hyperspectral Image Super-Resolution

10.1109/LGRS.2025.3530106

问题背景：

• 实用性和可解释性差：大多数现有的高光谱图像与多光谱图像（HSI-MSI）融合方法，要么依赖于退化模型的先验知识，要么需要足够的训练数据，这阻碍了它们的实用性和可解释性。
• 侧重于捕捉空间信息关系，忽略了多尺度信息融合的适应性，在特征提取时会导致信息丢失

研究方法：

1. 提出网络模型：提出一种用于高光谱图像超分辨率的深度多流网络（DMSN）。
2. 设计模块：
   • 引入 Spa-DNet 和 Spe-UNet 模块，对跨分辨率的空间和光谱变换进行编码。
   • 设计 Int-Net，实现空间和光谱信息的交互，提升模型性能。

采用训练策略：采用新设计的三阶段训练策略，使网络参数能够体现退化过程的明确物理意义，从而有助于确保对所需高光谱图像的忠实重建。

退化过程的描述

损失函数，PSF和SRF退化损失

此外，提出了一种混合模型约束损失，其中包含两个项目：丰度的感知损失和目标产品的退化导向损失。我们首先提出了一种具有明确物理意义的退化导向损失。损失项的目的是指导我们的网络生成满足（1）中描述的退化模型的输出，该模型可以表示为

参数敏感性分析

物理模型指导：

DMSN（Deep Multistream Network）在其网络架构中会涉及丰度矩阵的生成，但并非以生成独立的丰度和光谱矩阵为最终目标，而是将丰度矩阵作为中间特征表示，服务于高光谱图像超分辨率（HSI-SR）的最终任务。

3. 与显式生成矩阵方法的对比

与 CS2DIPs 等方法不同，DMSN 不基于非负矩阵 - 向量张量分解（NMVTF）等物理模型显式分离丰度和光谱矩阵。它更侧重通过多流网络（空间流 Spa - UNet、光谱流 Spe - DNet、交互流 Int - Net）直接学习从输入（HR - MSI、LR - HSI）到高分辨率输出（HR - HSI 等）的映射，丰度矩阵仅作为中间特征辅助这一过程。

综上，DMSN 在网络运行中会生成丰度矩阵作为中间特征，但最终目标是输出高分辨率的图像，而非独立生成丰度和光谱矩阵。丰度矩阵在这里是实现空间 - 光谱特征融合、完成超分辨率任务的工具，而非最终产品。