TGRS 2025 | 增强的深度先验无监督高光谱超分Enhanced Deep Image Prior for Unsupervised Hyperspectral Image Super-Reso

开心市民小麦

于 2025-05-21 11:16:32 发布

阅读量632

点赞数 15

分类专栏：图像超分辨率（遥感）文章标签：人工智能深度学习计算机视觉超分辨率重建学习

本文链接：https://blog.csdn.net/Happy_Bug__/article/details/148107372

版权

图像超分辨率（遥感）专栏收录该内容

18 篇文章

订阅专栏

Enhanced Deep Image Prior for Unsupervised Hyperspectral Image Super-Reso

IEEE Transactions on Geoscience and Remote Sensing

10.1109/TGRS.2025.3531646

【问题背景】：

1. 数据依赖问题

以往不足：传统监督学习方法（如 SRCNN）需大量配对的 LR-HR 数据，标注成本高，难以覆盖复杂遥感场景。
EDIP-Net 改进：采用无监督框架，仅依赖单幅观测图像（LrHSI Y 和 HrMSI Z），无需外部标注，降低数据获取成本，适用于遥感数据稀缺场景。

2. 深度图像先验（DIP）的低效性

以往不足：DIP 及其变体（如 ZSSR）依赖随机噪声输入，收敛慢，对复杂退化（如空间 - 光谱联合退化）建模能力弱，导致光谱 / 空间失真。
EDIP-Net 改进：引入零样本学习阶段（ZSL），先估计退化参数（PSF/SRF）并生成粗估计图像（\(X_1, X_2\)），替代随机噪声，为深度先验学习提供有意义的初始特征，提升收敛效率和结果质量。

3. 退化模型的固定性与泛化性差

以往不足：传统盲 SR 方法（如 LRMR）假设固定退化模型（如高斯模糊），无法适应遥感数据的复杂退化（如空间降采样 + 光谱响应联合退化），泛化能力弱。
EDIP-Net 改进：通过退化学习网络自适应估计空间（PSF）和光谱（SRF）退化参数，动态建模退化过程；结合双路径融合，对参数估计误差鲁棒，可处理多样化退化场景。

4. 光谱 - 空间一致性缺失

以往不足：单模态 SR 方法忽略光谱约束（如植被光谱失真），多模态方法缺乏联合优化，导致光谱 - 空间不一致（如边缘位置与光谱特征不匹配）。
EDIP-Net 改进：在损失函数（公式 16）中显式约束光谱退化（与Z对比）和空间退化（与Y对比），通过双路径解码器和退化感知融合，确保 HR 图像的光谱 - 空间一致性，提升物理真实性（如植被红边、水体吸收峰的准确恢复）。

5. 多尺度特征利用不足

以往不足：单尺度网络（如 VGG）难以捕捉高光谱数据的多尺度光谱 - 空间特征（如不同波段的纹理、地物多尺度边缘），细节恢复能力有限。

EDIP-Net 改进：采用Res2Net（多尺度特征提取）、双 U 型网络（多尺度融合）和跳跃连接，增强多尺度信息表达，有效恢复地物边缘、纹理等细节，提升超分辨率结果的视觉质量（如建筑轮廓、植被纹理的清晰恢复）。

【研究方法】：

两阶段四组件架构

核心目标：从观测数据中估计退化参数并生成包含场景信息的粗估计图像，替代传统 DIP 的随机噪声输入。

1. 零样本学习阶段（Zero-Shot Learning, ZSL）

退化学习网络：

任务：自适应估计空间退化核（PSF）和光谱响应函数（SRF）。

损失函数：

其中\(K_1, K_2\)分别为两个退化分支的估计参数，第二项约束参数非负性和归一化。

交互式光谱学习网络

任务：基于估计的退化参数生成两个互补的粗估计图像\(X_1, X_2\)。

双流架构：每个流包含上采样模块（反卷积 + 残差块）和特征交互层（跨流特征相加）。

Res2Net 模块：在特征提取阶段引入多尺度表示，增强光谱细节捕获能力。

损失函数：

其中{F}_z表示基于估计退化参数的正向映射，确保生成的粗估计与观测 LrHSI 一致。

2. 深度图像生成阶段（Deep Image Generation, DIG）

核心目标：利用粗估计图像学习高光谱先验，生成最终超分辨率图像。

双 U 型网络（Double U-Shape Network）

任务：以\(X_1, X_2\)为输入，分别生成候选超分辨率图像\(\hat{X}_1, \hat{X}_2\)。

结构：编码路径：3 个卷积块（每个包含残差连接和批归一化），通过平均池化降采样。

解码路径：2 个反卷积块，通过双线性插值上采样，结合跳跃连接融合多尺度特征。

损失函数：

对X̂₁：其空间退化结果需接近Y（LrHSI），光谱退化结果需接近Z（HrMSI）。

对X̂₂：施加相同约束，利用双路径输出的互补性（如不同退化假设下的解），提升模型对退化参数估计误差的鲁棒性。

退化参数复用：直接使用 ZSL 阶段的估计参数（PSF/SRF），避免重新学习退化模型，减少计算量。

双路径设计：生成两个互补的超分辨率候选（X̂₁, X̂₂），通过损失函数同时约束，增强结果的稳定性和细节恢复能力。

退化感知决策融合策略（Degradation-Aware Decision Fusion）

任务：从\(\hat{X}_1, \hat{X}_2\)中选择最优像素级结果，生成最终超分辨率图像\(\hat{X}\)。

如前所述，通过使用标准偏差等于3.4的8×8高斯PSF进行空间退化以模拟LrHSI，并通过八波段WorldView 2多光谱传感器进行光谱退化。如图5所示，我们的方法和ADASR的GT和估计的退化参数分别显示在顶部、中部和底部。估计的PSF满足高斯分布，与ADASR相比具有更高的精度。相比之下，在ADASR的估计SRF中可以观察到很大的偏差，特别是在每条曲线的峰值处。然而，我们的预测仍然表现出与真实预测相似的形状。