解决问题:在现有的UIE方法中,基于生成对抗网络(GANs)的方法在视觉美学方面表现良好,而基于物理模型的方法具有更好的场景适应性,结合两个方案的优势。
提出方法:physical model-guided GAN model for UIE (PUGAN)
摘要:由于水介质对光的吸收和散射,水下图像通常会出现对比度低、色彩失真、细节模糊等退化问题,加剧了下游水下理解任务的难度。因此,如何获得清晰悦目的图像已成为人们共同关注的问题,水下图像增强(UIE)的任务也应运而生。在现有的UIE方法中,基于生成对抗网络(GANs)的方法在视觉美学方面表现良好,而基于物理模型的方法具有更好的场景适应性。本文继承了上述两种模型的优点,提出了一种面向UIE的物理模型导向的GAN模型,简称PUGAN。整个网络采用GAN架构。一方面,我们设计了参数估计子网络(Par-subnet)来学习物理模型反演的参数,并将生成的颜色增强图像作为辅助信息用于两流交互增强子网络(TSIEsubnet)。同时,我们在tsie -子网中设计了一个退化量化(DQ)模块,对场景的退化进行量化,从而实现关键区域的增强。另一方面,我们设计了风格内容对抗性约束的双识别器,提高了结果的真实性和视觉美感。
A. Physical Model-Guided Generator
1)参数估计子网(parameter Estimation Subnetwork, Par-Subnet):估计物理模型中的参数
2) Two-Stream Interaction Enhancement Subnetwork (TSIESubnet):
B. Dual-Discriminators (Dual-D)
C. Training Strategy and Loss Function
对于网络训练,我们采用两阶段训练策略。在第一阶段,对par -子网进行离线预训练。然后,在第二阶段,训练整个PUGAN,其中Par-subnet的参数固定,TSIE-subnet和Dual-D交替训练。