Water-Net：水下图像增强基准数据集（UIEB Dataset）2019年TIP顶刊论文

IEEE Transactions on Image Processing
CCF推荐国际学术期刊A类（计算机图形学与多媒体）
作者单位：天津大学
Water-Net 它是一种门控融合（gated fusion）的卷积神经网络，在UIEB数据集上进行水下图像增强。为了适应退化的水下图像的特性，Water-Net模型通过三种方法增强输入图像，分别是白平衡（WB）、伽马矫正（GC）和直方图均衡（HE）。但是这是一个复杂的CNN结构，受到反向散射的影响。

项目地址：https://li-chongyi.github.io/proj_benchmark.html

Water-Net是一个门控融合网络，它将输入与预测的置信度图融合以实现增强的结果。输入首先通过特征转换单元（FTU）传输到精炼输入，然后预测置信度图。最后，通过融合改进的输入和相应的置信度图来获得增强的结果。

Abstract

水下图像增强由于在海洋工程和水生机器人方面的意义而引起了人们的极大关注。最近几年提出了许多水下图像增强算法。但是，这些算法主要是使用合成数据集或很少选择的真实世界图像来评估的。它清楚地表明了如何在野外获取图像的算法以及如何衡量该领域的进展。缩小这一差距，我们将使用大规模真实世界图像进行水下图像增强的首次综合感知研究和分析。本文构建了水下图像增强基准（UIEB），其中包括950个真实世界的水下图像，其中890个具有相应的参考图像。我们将剩余60张水下图像作为挑战数据，这些图像无法得到令人满意的参考图像。使用这个数据集，在定性和定量的角度上，我们建立了目前最先进水下图像增强算法。此外，我们提出一个水下图像处理网络（叫做Water-Net），该网络在这个基准上进行训练作为基线（baseline），这表明了我们所提出的UIEB数据集可以用来训练卷积神经网络（CNNs）。基准评估和所提出的Water-Net证明了算法的性能和局限性，阐明了水下图像处理的未来研究。数据集和代码地址：https://li-chongyi.github.io/proj_benchmark.html

Index Terms

水下图像增强，真实世界水下图像，综合评估，深度学习

Introduction

在过去的几年里，水下图像增强在图像处理和水下视觉引起了广泛关注。由于复杂的水下环境和照明条件，增强水下图像是一个难题。通常，水下图像会因波长相关的吸收和散射而降低，包括向前散射和向后散射。此外，海洋积雪会引入噪声并增加散射的影响。这些不利影响降低了可见性，降低了对比度，甚至导致色偏，这限制了水下图像和视频在海洋生物学和考古学中的实际应用。为了解决此问题，较早的方法要避免使用多个水下图像或偏振滤镜，而最近的算法只能通过使用单个图像中的信息来解决该问题。为了解决这个问题，早期方法依赖大量的水下图像或者是极化滤波器，目前的算法使用单张图像信息处理这个问题。

尽管工作量很大，但是由于缺乏公开可用的真实世界的水下图像数据集，对水下图像增强算法的全面研究和深入的分析仍然不能令人满意。此外，实际上不可能同时拍摄水下场景和不同水类型的对应真实标签图像。缺乏足够有效的训练数据，基于水下图像增强算法的深度学习性能与基于近期基于深度学习的高层和低层视觉问题的成功率不匹配。为促进水下图像增强的发展，我们构建了一个大型的现实世界水下图像增强基准（UIEB）。UIEB中的几个采样图像和相应的参考图像如图1所示。如图所示，UIEB中的水下水下图像具有多种颜色范围和对比度降低。相反，相应的参考图像是无色的（至少是纯正的颜色），并且可见度和亮度得到了改善。借助提出的UIEB数据集，我们将在质量上和数量上对各种最新的水下图像增强算法进行全面的研究，这有助于对其性能进行研究并激发对未来研究的兴趣。此外，借助UIEB的构建，可以轻松训练CNN来提高水下图像的视觉质量。为了演示此应用程序，我们提出了一个水下图像增强模型（Water-Net），是由构建的UIEB数据集训练。

这篇论文的主要贡献总结如下：

• 我们构建了一个包含950个真实水下图像的大型现实世界水下图像增强基准（即UIEB）。这些水下图像可能是在自然光，人造光，自然光和人造光的混合物下拍摄的。此外，根据辛苦，费时和精心设计的成对比较，提供了890张图像的相应参考图像。UIEB提供了一个平台，可以至少评估某种程度的水下图像增强算法的性能。它也使不受特定水下场景约束的监督水下图像增强模型成为可能。
• 借助已经构建的UIEB数据集，我们对先进的单张水下图像增强算法，从定性评估到定量评估进行全面研究。我们的评估和分析为当前水下图像增强算法的优势和局限性提供了全面的见解，并提出了新的研究方向。
• 我们提出了一个水下图像增强的CNN模型（即Water-Net），该模型在UIEB数据集上训练，表明了建立UIEB数据集的一般化和Water-Net的优点，并且刺激了基于深度学习的水下图像增强的发展。

Existing Methodology,Evaluation Metric,and Dataset:an Overview

A. Underwater Image Enhancement Method

近年来，探索水下世界已经成为活跃问题。水下图像增强是提高记录图像视觉质量的必不可少的步骤，引起了人们的注意。已经提出了多种方法并将其组织为四类：基于补充信息，基于非物理模型，基于物理模型和数据驱动的方法。

Supplementary Information-based Methods

在早期，利用多幅图像或专用硬件设备的补充信息（如极化滤波、距离门控成像、和荧光成像）来改善水下图像的可见性。相比基于补充信息方法，单个水下图像增强已被证明更适合于挑战性的场景，例如动态场景，从而引起了广泛关注。

Non-physical Model-based Methods

基于非物理模型的方法可以修改图像像素值以改善视觉质量。Iqbal等人扩展RGB色彩空间和HSV色彩空间中的动态像素范围，以改善水下图像的对比度和饱和度。Chani和Isa等人修改了Iqbal等人的工作，通过遵循Rayleigh分布的拉伸过程来塑造过度和不足的区域。Ancuti等人提出了一种通过在多尺度融合策略中，混合对比增强图像和色彩校正图像的水下图像增强方法。提出了一种水下图像增强的两步法，其中包括彩色校正算法和对比度增强算法。

另一项研究努力基于Retinex模型增强水下图像。Fu等人提出了基于retinex的水下图像增强方法，包括颜色校正、图层分解和增强。张等人提出一种扩展的基于retinex的水下图像增强方法。

Physical Model-based Methods

基于物理模型的方法将水图像的增强作为一个反问题，其中潜在参数之类的扇形图像模型是根据给定图像估算的。这些方法通常遵循相同的管道：1）建立退化的物理模型；2）估计未知的模型参数；3）处理这个反问题。

研究人员修改了暗通道先验（DCP），以增强水下图像质量。DCP与波长相关的补偿算法相结合，可以还原水下图像。水下暗通道优先级（UDCP）是基于以下事实提出的：水下图像中的中继通道信息是不确定的。根据观察到的水下图像暗通道趋于零图，Liu和Chau制定成本函数并最小化最佳传输图，以最大程度地提高图像对比度。与DCP相反，Li等人使用随机森林回归模型来估计水下场景的传输。近期，peng等人提出了用于图像恢复的通用暗通道先验（GDCP），该算法将自适应色彩校正合并到图像形成模型中。

利用水下成像光学特性的另一项研究。Carlevaris-Bianca等人提出了在RGB色彩空间中的三个色彩通道之间探索衰减差异的先决条件，以预测水下场景的传输。在这个先例中，在水下情况下，红光通常会比绿光和蓝光衰减得更快。Galdran等人提出了红色通道方法，可通过恢复与短波长相关的颜色来恢复水下图像丢失的对比度。根据调查发现，水下图像的背景色与水介质的固有特性有关，Zhao等人通过从背景色导出水的固有光学特性，增强了降解后的水下图像。Li等人提出了一种基于最小人体形态损失原理和直方图分布的水下图像增强方法。Peng等人提出了一种基于图像模糊和光吸收的水下场景深度估计方法，旨在增强水下图像的质量。Berman等人考虑了不同水类型的多个光谱轮廓，并减少了将水下图像恢复到单个图像去雾的问题。Wang等人将自适应衰减曲线与水下光传播的特征结合起来用于水下图像恢复。最近，Akkaynak和Treibitz提出了一种基于物理上准确的水下图像形成模型[6]的水下图像色彩校正方法。现有的基于物理模型的方法，除非进行了新的工作，否则遵循简化的图像形成模型，这些模型假定衰减系数仅是整个场景和整个颜色通道中水的性质均一。这种假设导致不稳定和视觉上令人不快的结果。

Data-driven Methods

近年来，深度学习在底层视觉问题上取得了显著的成就。这些方法使用综合配对的退化图像和高质量的对应图像。但是，水下图像形成模型取决于特定的场景和光照条件，甚至与温度和浊度有关。因此，难以对CNN训练的现实水下图像进行合成。此外，通过CNN应变在水下合成图像上学习的分布并不总是推广到现实世界中。因此，基于深度学习的水下图像增强方法的性能和数量与近期基于深度学习的低层次视觉问题的成功率不匹配。

近期，Li等人提出了基于深度学习的水下图像增强模型（称为WaterGAN）。WaterGAN首次利用空气中的图像模拟水下图像，在非监督学习中生成深度配对图像。利用综合训练数据，作者使用两阶段网络进行水下图像恢复，尤其是用于色模的去除。水下图像增强模型（例如UWCNNs）在10中类型的水下图像上训练得到的，根据改进的水下图像形成模型和相应的水下场景参数合成水下图像。最近，基于Cycle-Consistent Adversarial Network提出一种弱监督的水下颜色转换模型。得益于对抗性的网络架构和多项损失函数，该网络模型放松了对成对的水下图像进行训练的需求，并允许在未知位置拍摄水下图像。但是，在某些情况下，可能会产生不可靠的结果，因为它们可能具有多种可能的输出。Guo等人提出了一种多尺度密集GAN（即Dense GAN）用于水下图像增强。作者结合非饱和GAN损失函数和梯度损失，来学习特征域中地面真实图像的分布。但是，该方法仍然无法避免来自GAN的多个可能输出的限制。因此，基于深度学习的水下增强方法的鲁棒性和泛化性仍落后于传统的最新方法。

B. Underwater Image Quality Evaluation

接下来，我们对图像质量评估做一个简短的介绍，这些被大量用于水下图像增强方法中。

Full-reference Metrics

一张水下图像和真实标签图像，对于具有地面真实图像的水下图像，采用全参考图像质量评估指标（例如，MSE，PSNR和SSIM）进行评估。例如，赵等人将塑料色盘作为地面真实图像，并在水池中捕获其水下图像作为测试图像。

No-reference Metrics

与地面真实图像容易获得(例如，图像超分辨率)的其他低级视觉问题不同，实现大量成对的水下图像和相应的地面真实图像是具有挑战性的。对于地面真实图像不可用的真实水下图像，使用了无参考图像质量评估指标，如图像熵、可见边缘和动态范围独立图像质量评估。此外，一些作者采用特定的应用，如特征点匹配，边缘检测和图像分割，以评估他们的结果。此外，针对水下图像质量评价，提出了几种具体的非参考指标。杨和索姆亚提出了一种水下彩色图像质量评价指标。UCIQE首先量化不均匀的色偏、模糊和低对比度，然后以线性方式组合这三个分量。作者提出了一种非参考水下图像质量度量方法，称为UIQM，它包括三个属性度量:色彩度、清晰度和对比度。每一个呈现的属性度量都是由人类视觉系统的属性所启发的。

C. Underwater Image Datasets

有几个真实世界的水下图像数据集，例如，Fish4Knowlege数据集用于水下目标检测和识别，SUN Dataset用于场景识别和目标检测的水下图像，MARIS数据集用于海洋自主机器人，Sea-thru数据集，包括1100幅水下图像和距离图，Haze-line数据集提供原始图像、TIF文件、相机校准文件和距离。然而，现有数据集通常内容单调、场景有限、退化特征少、数据不足。此外，这些数据集没有提供相应的地面真实图像或参考结果，因为由于不同的水类型和照明条件以及昂贵且后勤复杂的成像设备，同时获得同一场景的真实水下图像和相应的地面真实图像是困难的或者甚至是不切实际的。近年来，已经提出了几种水下图像合成方法。李等人提出了一种基于GAN的方法，而杜阿尔特等人在水槽中使用牛奶、叶绿素或绿茶模拟水下图像退化。Blasinski等人[64]提供了一个开源水下图像模拟工具和一个三参数水下图像形成模型。李等人提出了一个合成水下图像数据集，其中包括10个不同类型水的子集。然而，合成的水下图像和真实世界的水下图像之间仍然存在差距。因此，公平和全面地评估最先进的方法是具有挑战性的，并且很难开发有效的基于深度学习的模型。

Proposed Benchmark Dataset

在系统回顾前人工作的基础上，我们发现水下图像增强领域存在的主要问题是缺乏一个包含参考图像的大规模真实世界水下图像数据集。接下来，我们将详细介绍构建的数据集，包括数据收集和参考图像生成。

A. Data Collection

水下图像采集有三个目标:

(1)应涵盖多种多样的水下场景、不同的质量退化特征以及广泛的图像内容；

(2)水下图像的数量应该很大；

(3)应该提供相应的高质量参考图像，使得图像对能够进行公平的图像质量评估和端到端学习。

为了实现前两个目标，我们首先收集大量的水下图像，然后对它们进行细化。

这些水下图像是从谷