论文笔记（七）：DFS--Learning of Image Dehazing Models for Segmentation Tasks

Abstract

为了评估它们的性能，现有的除雾方法通常依赖于所产生的距离测量形象及其相应的基本事实。尽管能够产生视觉上良好的图像，但是使用基于像素或甚至感知的度量通常不能保证所产生的图像适合用作诸如分割的低级计算机视觉任务的输入。为了克服这个弱点，我们提出了一种新颖的端到端图像去雾方法，适合用作图像分割程序的输入，同时保持生成图像的视觉质量。受Generative Adversarial Networks（GAN）成功的启发，我们建议通过引入鉴别器网络和评估去噪图像的分割质量的损失函数来优化发生器。此外，我们利用补充损失函数来验证所生成图像的视觉和感知质量是否在朦胧条件下得以保留。使用所提出的技术获得的结果是吸引人的，当考虑在模糊图像上的分割算法的性能时，与现有技术方法的有利比较。

Introduce

用于分割的图像经常遭受恶劣天气条件，包括雾，雪和雨。如今，深度学习（DL）技术广泛用于执行分段任务。它们需要大量的训练数据来覆盖不同的情况，包括噪声图像，以便正确地推广分割任务。然而，目前可用的数据集不能保证其训练数据中具有足够的代表性或甚至存在某些气象条件（例如，hazy）。因此，使用模糊图像测试模型可能会妨碍低级计算机视觉算法（如分割[1]）的性能，即使已知该算法在各种情况下都很强大。因此，在haze条件下从退化观察中恢复图像是一种有用的预处理步骤，可以提高分割效果。在文献中已经广泛研究了几种去雾技术，其中大多数是基于图像退化的物理模型，该问题被简化为估计透射图[2]。通过使用模型（例如，暗信道先验[3]）或通过一些学习方法（例如，dehazenet [4]）来进行这种估计。其他方法不假设物理模型并且尝试基于生成模型（即，GAN）构建用于雾霾去除的端到端系统，并且直接从模糊的模式恢复原始图像（例如，[5,6]）。

通常，仅根据一些经验测量来评估除雾的性能。例如，我们注意到结构相似性指数（SSIM）和峰值信噪比（PSNR）[7]是文献中用于评估去噪方法有效性的最广泛使用的测量方法。 SSIM测量两个图像之间的相似性，同时考虑边缘的相似性。 PSNR是信息传输质量的指标。然而，尽管DL算法在SSIM和PSNR方面的去雾方面表现不错，但无法保证它们能够产生适合用作分割方法输入的图像[8]。该问题仅在文献中发现的少数论文中得到解决，这些论文旨在降低雾度以提高分割质量。在Li等人 [9]，进行单朦胧图像的去雾算法，然后使用Fast-RCNN进行微调以进行检测，并对生成的图像上的检测精度进行了改进。Sakaridis等人[10]提出了一种用于分割模糊场景的端到端系统，仅对雾模型数据集进行训练，结果表明该模型能够很好地对朦胧图像进行分割。所提出的模型与Li等人不同。 [9]通过在训练过程中增加分段损失，而不仅仅是对分段进行微调，而且与Sakaridis等人不同。 [10]作为清晰图像分割的预处理步骤，而不是模糊图像的端到端分割技术。最近，刘等人 [11]提出了一种深度神经网络解决方案，它将图像去噪与计算机视觉任务相匹配，并使用联合损耗通过反向传播仅更新去噪网络。然而，它假设在训练期间仅将具有零均值的独立且相同分布的高斯噪声添加到原始图像作为噪声输入图像，这不反映我们在现实世界问题中发现的通常噪声。在本文中，我们的目标是学习如何处理与自然伪影（即雾霾）相关的图像形式。

本文的主要贡献是一种新的基于DL的去雾系统，旨在考虑训练期间的分割性能，提高性能。在报告实验和结果（第3节）之前，我们继续详细说明所提出的方法（第2节），验证所提出的技术对图像有效去雾的能力，可用于图像分割。

网络架构

We are proposing a model derived from the Pix2Pix architecture [13] for dehazing images, with the generator part of the CGAN composed of a downsampling, a residual, and an upsampling block structure inspired from Johnson et al. [14]. The loss function of the generator for single image dehazing is:

L generator = + λ 1