TRGS 2024 | 基于混合先验约束的无监督去雾网络

最新推荐文章于 2024-12-12 09:23:23 发布

Angelina_Jolie

最新推荐文章于 2024-12-12 09:23:23 发布

阅读量1k

点赞数 8

分类专栏：计算机视觉文章标签：网络计算机视觉

本文链接：https://blog.csdn.net/Angelina_Jolie/article/details/142910036

版权

论文信息

An Unsupervised Dehazing Network With Hybrid Prior Constraints for Hyperspectral Image

高光谱图像的混合先验约束无监督去雾网络

作者：Wei He, Mengyuan Wang, Yong Chen, Hongyan Zhang

摘要

在高光谱图像（HSIs）中，雾霾污染会导致表面信息缺失和图像清晰度降低，这严重影响了后续图像解释的性能。现有的基于模型的高光谱去雾方法具有良好的可解释性和泛化能力，但由于原理限制，它们只能处理特定波长范围内的图像。基于深度学习的去雾方法具有出色的特征提取能力，但在实际应用中获取足够的训练数据成本高昂。同时，考虑到HSIs具有光谱低秩结构，充分利用低秩性质将有助于HSIs的重建。为了结合基于深度学习和基于物理模型方法的互补优势，我们决定将HSI去雾重建表述为一个无监督的深度图像先验（DIP）框架。具体来说，我们提出了一种具有混合先验约束的无监督去雾网络（HPC-UDN）用于HSI去雾，有效地整合了低秩先验、深度先验和物理雾先验。首先，通过矩阵分解表征高光谱数据的低秩先验，其中分解因子通过两个生成网络学习。然后，根据光谱带之间的相关性和互补性将多个光谱组进行划分。为了在相邻的光谱组之间交换信息，设计了一种新颖的光谱分组特征融合（SGFF）模块，该模块连接相邻的光谱组以传输光谱和空间特征。最后，通过合并每个光谱组提取的特征来恢复高质量的HSI。广泛的模拟和实际数据实验证实了所提出的无监督方法的有效性和鲁棒性以及在GF-5图像去雾任务中的潜在应用。

关键词

深度生成网络，去雾，高光谱图像（HSI），低秩矩阵分解，无监督学习。

引言

高光谱图像（HSIs），能够同时显示地面物体的空间特征和光谱特征，已经被用于许多应用中，如矿物勘探[1]、环境评估[2]和军事目标侦察[3]。然而，由于大气吸收和反射效应，捕获的高光谱数据常常受到雾霾的污染，导致捕获的数据表现出减弱的颜色和纹理特征、光谱失真和对比度低。图像质量的降低严重影响了后续图像解释的性能[4]，[5]。因此，HSI去雾对于提高图像解释精度至关重要。与仅有红、绿、蓝（RGB）三个波段的自然图像不同，遥感图像有数十甚至数百个波段。自然图像和HSIs之间的巨大光谱差异使得为自然图像开发的去雾方法不适用于高光谱/遥感图像去雾。在这种情况下，已经特别提出了许多遥感图像去雾技术。我们可以将这些技术分为三类：基于图像增强的方法[6]，[7]，基于物理模型的方法[8]，[9]和基于深度学习的方法[10]，[11]。基于图像增强的方法旨在通过传统的图像处理来提高图像对比度。在没有考虑退化机制的情况下，很难准确恢复被雾霾遮挡的空间-光谱信息。基于大气散射模型（ASM），基于物理模型的方法使用某些先验假设从雾图像的成像本质上恢复清晰图像。这些基于模型的方法在某些情况下可以改善视觉效果，但是手工设计的先验不能适应所有的雾场景。为了弥补这一不足，基于深度学习的技术使用大量的雾-清洁图像对来学习它们之间的映射关系。尽管取得了令人鼓舞的去雾结果，但获取足够的训练数据的成本很高，这在实践中不能很好地应用。基于物理模型的方法具有良好的可解释性和泛化能力，基于深度学习的方法具有出色的特征提取能力。为了结合两者的优势，我们希望将物理先验和深度网络描述的深度先验有机地整合到一个框架中。同时，考虑到HSIs具有区分性的内在光谱低秩结构，充分利用低秩性质将有助于HSI重建。基于上述考虑，我们决定将HSI去雾重建表述为一个无监督的深度图像先验（DIP）框架，这可以最好地利用基于深度学习和基于物理模型技术的混合优势。因此，我们提出了一个具有混合先验约束的无监督去雾网络（HPC-UDN）。首先，我们引入了深度低秩模型，并将HSI去雾问题转换为外推光谱基和空间表示系数的问题。其次，我们计算了所有波段的相关系数（CC），然后划分了光谱组，以充分利用光谱相关性。最后，每个光谱分支并行卷积，以捕获雾特征。为了适应性地整合相邻光谱组之间的信息，我们精心设计了一个新颖的SGFF模块，该模块传输从长波长分支到短波长分支的光谱信息，以恢复光谱特征。所提出的去雾网络不仅利用了HSI的低秩性质，还利用了深度神经网络固有的深度先验，同时考虑了雾量在光谱带中的变化的物理属性。通过有机结合物理先验和深度先验，不需要额外的训练数据即可优化HPC-UDN。它以无监督的方式优化参数，从原始的雾HSI中恢复清洁的HSI。以下是主要贡献的总结。

1）我们结合了基于模型的技术和基于学习的技术的混合优势，有效地整合了低秩先验、深度先验和物理雾先验，用于HSI去雾。首先，我们对高光谱数据进行低秩矩阵分解，其中分解因子由两个深度生成网络学习。然后，基于相邻波段之间的高校正和互补性进行光谱分组。最后，对每个光谱分支进行特征提取，以获得清洁的HSI。

2）在遥感图像中，随着波长的增加，对雾干扰的抵抗力逐渐增加，这意味着长波长组中有用的特征有助于恢复短波长组。为了在相邻的光谱组之间交换信息，提出了一种新颖的SGFF模块，该模块连接相邻的光谱组以传输光谱和空间特征。

3）在我们的实验中，所提出的方法在被不同雾级破坏的模拟图像和实际数据图像上都提供了出色的结果，展示了其在实际GF-5图像去雾任务中的潜在应用。

本文的其余部分结构如下。第II节介绍了有关HSI去雾的相关研究。第III节详细阐述了所提出的HPC-UDN的详细步骤。第IV节使用一系列模拟和实际数据实验来证明所提出的HPC-UDN的去雾效果。第V节提出了结论和未来的研究方向。