【条件扩散模型】基于条件扩散模型的水下高光谱图像复原和目标检测联合框架

A Joint Framework for Underwater Hyperspectral Image Restoration and Target Detection With Conditional Diffusion Model

来自：TGRS 2024

摘要 — 水下高光谱成像对于各种海洋应用至关重要，水下高光谱目标检测 (HTD) 具有重大意义。 然而，现有水下 HTD 研究有限，因为大多数方法未能充分考虑水下目标光谱变化和图像质量下降的影响。 为了解决这些关键问题，我们提出了一种基于条件扩散模型的水下高光谱图像复原和目标检测的新型联合框架。 我们提出的框架包括两个主要模块：可变光谱组提取模块和联合水下高光谱图像复原和目标检测 (JURTD) 模块。 可变光谱组提取模块利用条件扩散模型来提取可变光谱图像组，从而模拟水下目标光谱的多样性。 随后，JURTD 模块从内在图像和可变光谱图像组中提取深度特征。 在图像复原和目标检测的双重约束下，该模块同时实现了高质量的复原图像和优异的检测性能。 在真实世界和合成数据集上进行的实验评估证明了我们提出的框架在提高图像质量和改进目标检测性能方面的有效性。 此外，结果表明我们的框架优于最先进的方法，突出了其在水下高光谱成像应用中的实用性和优越性。

 

针对问题：尽管现有方法在水下 HTD 中取得了良好的效果，但它们仍然存在一些局限性和缺陷。 首先，在水下高光谱成像过程中，水体浑浊度、水体颗粒物噪声干扰等因素会导致获取的水下 HSI 中存在噪声干扰、雾化、模糊和低对比度。 遗憾的是，现有方法主要忽略了低质量水下 HSI 的处理。 其次，现有的水下 HTD 技术没有考虑到水下 HSI 质量的影响。 针对地面图像的研究表明，图像增强技术可以有效地提高图像质量，从而提高目标检测的性能。 因此，缺乏对水下 HSI 质量的考虑，是当前研究工作中一个明显的差距。

 

在本文中，我们旨在通过提出基于条件扩散模型的水下 HSI 恢复和目标检测联合框架来克服上述局限性。 该框架主要包括一个可变光谱组提取模块和一个联合水下高光谱图像恢复和目标检测 (JURTD) 模块。 在可变光谱组提取模块中，我们利用条件扩散模型来学习水下 HSI 的结构特征。 在采样过程中，提取先验可变光谱图像组来模拟真实水下环境中水下目标的多样光谱变化。 此外，JURTD 模块被设计为一个双流网络。 该模块同时输出恢复后的水下HSI和目标检测结果。 通过联合优化图像恢复和目标检测，我们的网络可以生成适合视觉检查和计算机感知的图像，从而实现面向检测的恢复。 本文的贡献主要包括以下几点。

1) 我们引入了可变光谱组提取模块来减轻水下目标光谱的可变性。 据我们所知，这是首次将条件扩散模型应用于水下HTD。

2) 为了同时实现高质量的HSI和卓越的检测性能，我们提出了JURTD模块。 我们设计了一个基于目标检测和图像恢复双重约束的混合损失函数。 据我们所知，这是首次将水下HSI恢复问题与水下HTD联合优化。

3) 在两个真实世界数据集和一个合成数据集上进行的大量实验证明了所提出方法的优越性。 此外，我们还通过消融实验和鲁棒性分析验证了其优异的性能。

 

针对问题：水体吸收和散射特性对收集的水下目标光谱的影响机制直接影响着水下目标检测的准确性和水下 HSI 的恢复效果。 水体的吸收和散射效应会导致目标光谱曲线发生显著畸变，导致与陆地相同目标的光谱曲线出现较大偏差。 此外，由不同材料组成的水下目标会根据其在水环境中的深度表现出不同的光谱曲线。 这种差异通常会导致相同物体在 HSI 中的光谱与在海洋环境中观察到的光谱不同。 为了减轻水下目标光谱的变异性（该变异性在很大程度上取决于深度和水的光学特性），本文采用条件扩散模型。 该模型有助于获取光谱变化组，旨在抑制水体颗粒干扰和未知光谱变化的影响，从而提高水下 HSI 的质量。

 

在 variable spectral group extraction module可变光谱组提取模块中，充分利用了条件扩散模型来识别图像的结构特征。 其指导条件是实验过程中收集的水下 HSI 的主成分 HSI (PHSI)。 PHSI 包含原始 HSI 的主要信息，同时初步滤除噪声干扰。 利用该组件，该模块指导图像去噪，生成不同的样本数据，并获取先验可变光谱组，模拟水下目标光谱曲线的变化。 JURTD 模块采用双流网络设计，利用深层特征中固有图像和可变光谱图像的共享特征。 JURTD 模块的输入包含可变光谱图像组，而输出则包括检测概率图和重建的 HSI。 此外，基于目标检测和图像重建的双重约束，设计了一种混合损失函数。 该函数有助于指导 JURTD 的训练，有利于同时获得高质量的图像和优越的检测性能。

 

A. 可变光谱组提取模块

在条件扩散模型中，实验获得的水下 HSI 的 PHSI 作为指导条件。 该组件有助于指导图像去噪和生成不同的样本数据。 基本概念围绕着学习原始水下 HSI 在 PHSI 条件下的推理过程，以及获取一系列状态转换来转换噪声。 这个过程主要分为正向扩散过程，涉及添加噪声，以及反向过程，专注于去除噪声。

条件扩散模型的训练算法概述在算法 1 中。 在获得训练良好的噪声估计网络后，通过在 PHSI 条件  的指导下进行反向采样来优化水下 HSI。 当条件扩散模型中的采样步骤  设置为 10、5 和 0 时，我们认为这些特征图像包含抗干扰信息。这些状态与原始水下 HSI 相比，表现出一定程度的变化，保留了原始信息，同时增强了抗噪性。 因此，我们将它们聚合到可变光谱图像组中，将它们用作 JURTD 模块的输入。 这种方法模拟了水下环境中目标光谱的光谱变化现象，从而减轻了实际采集过程中光谱差异对水下目标采集的影响。

 

B、JURTD 模块

URTD 模块的框图如图 2 所示。 JURTD 模块包含双分支网络，上分支和下分支，包括编码器模块、特征融合模块和解码器模块。 JURTD 模块的输入是一组可变光谱图像，代表可变图像。 通过卷积运算，将两幅图像 X10，X5  融合，然后输入到 JURTD 模块的下分支，以全面探索变化光谱的高级特征。 同时，最初图像 X0 直接输入到上分支。 该 JURTD 模块最大限度地利用内在图像和可变光谱图像之间的互补信息，以识别共同特征并区分两种类型图像之间的特征。

1) 双分支编码器：编码器模块中提取的特征主要用于增强光谱和空间相关性，使神经元能够灵活地捕捉输入数据中的纹理、空间结构和光谱特征。

 

2) 特征融合：小尺度特征图擅长捕捉细节信息，而大尺度特征图擅长捕捉宏观结构和语义信息。 因此，双分支编码器提取的多尺度特征被融合，以增强后续双分支解码器在数据处理中的鲁棒性和泛化能力。 为了实现提取的多尺度信息的最佳融合，采用级联和差分操作来创建更丰富和集成的特征表示。 级联操作将编码器中网络上、下分支的多尺度特征图像  和  合并，从而级联可变光谱图像和内在图像的特征。 相反，差分操作区分多尺度特征图像  和  以突出可变光谱图像和内在图像之间的特征差异。

特征融合方法保留了各个特征中信息的完整性，同时承认内在特征和可变光谱特征之间的相互关系和相互作用。

 

3) 双分支解码器：使用上采样方法将从特征融合模块获得的多级融合特征和差异特征级联或求和。

 

 

C. 双约束损失函数

 

目标检测损失函数，采用经典的交叉熵损失函数