D-HAZY :一个用于定量评估去雾算法的数据集

原文

摘要

去雾处理是近年出现的一种图像增强技术。尽管它很重要，但是没有数据集来定量评估这些技术。在本文中，我们介绍了一个包含1400多对图像的数据集，这些图像包含地面真实参考图像和同一场景的模糊图像。由于光照条件的变化，记录这样的图像是不可行的，我们通过合成复杂场景的真实图像中的雾度来建立数据集。我们的数据集被称为D - HAZY，是建立在Middelbury [1]和NYU Depth [2] 数据集上的，这些数据集提供了各种场景的图像及其相应的深度图。由于在雾介质中，场景辐射随距离衰减，基于深度信息并使用雾介质的物理模型，我们能够以高保真度创建相应的朦胧场景。最后，利用D-HAZY数据集，我们对几种最先进的单图像去雾技术进行了全面的定量评估。
关键词：去雾 深度 质量评估

简介

图像去雾是近年来广泛研究的一种典型的图像增强技术，旨在恢复有雾场景的原始光强。虽然早期的去雾方法使用了额外的信息，如多幅图像[ 3 ]或深度[ 4 ]的粗略估计，但最近的技术已经通过仅使用单一模糊输入图像[ 5 ]、[ 6 ]、[ 7 ]、[ 8 ]、[ 9 ]、[ 10 ]、[ 11 ]、[ 12 ]、[ 13 ]、[ 14 ]、[ 15 ]和[ 16 ]的信息来解决这个问题。现有技术恢复了假设Koschmedier [17]的物理模型的潜在的图像。由于去雾问题在数学上是不适定的，因此有多种方法来估计两个未知数:空运常数和传输图。Fattal [ 5 ]采用了一种图形模型，在假设图像阴影和场景传输是局部不相关的情况下，解决了大气光值颜色的模糊性。Tan的方法[ 6 ]是最大化局部对比度，同时限制图像强度小于全球大气光值。He等人[ 7 ]，[ 18 ]介绍了一种基于暗通道统计观察的强大方法，允许对传输图进行粗略估计，并通过阿尔法抠图策略[ 19 ]进一步完善。Tarel和Hauti`ere [ 8 ]介绍了一种过滤方法，假设深度图必须平滑，除非沿着深度跳跃较大的边缘。Kratz和Nishino [ 9 ]提出了一种贝叶斯概率方法，通过充分利用其潜在的统计结构，从单一退化图像中联合估计场景反照率和深度。安库提等人[ 10 ]描述了一种基于图像的半逆快速识别模糊区域的增强技术。安库提和安库提[12]引入了多尺度融合程序，通过定义适当的输入和权重图来恢复这种模糊图像。Choi等人最近扩展了该方法[ 20 ]。孟等人[ 21 ]提出了一种基于应用于传输地图的新边界约束的正则化方法。Fattal [ 13 ]提出了一种灵感来自彩色线条的方法，这是自然图像中的一种普遍规律。唐等人[ 16 ]描述了一个框架，该框架学习一组用于图像去雾特征。
已经有几次尝试定量评估去雾方法。所有这些都被定义为非参考图像质量评估( NR-IQA )策略。Houtire等人[ 22 ]提出了一种基于模糊图像和恢复图像之间可见边缘梯度的比值的盲测量。陈等人[ 23 ]介绍了不同增强算法质量评估的一般框架，包括去雾方法。他们的评估基于对数据集的初步主观评估，该数据集包含能见度不佳的源图像以及由不同增强算法处理的增强图像。此外，一般非参考图像质量评估( NR - IQA )策略[ 24]、[ 25]、[ 26 ]还没有设计和测试图像去雾。
然而，这些质量评估方法中没有一种被普遍接受，因此，一套可靠的去雾问题数据集极其重要。与其他图像增强问题不同，去雾任务捕捉有效的真实图像并不容易。在相同照明条件下记录参考图像(无雾度)和雾度图像的过程通常是难以处理的。专为高级驾驶员辅助系统( ADAS )设计的FRIDA数据集[ 27 ]是一个合成图像数据库(计算机图形生成的场景)。它包含66个道路合成场景，除了作为计算机生成的数据集降低了场景的一般性和复杂性之外，一些参数设置对于真实场景是无效的。
在本文中，我们引入了一个新的数据集，它可以定量评估现有的去雾技术。我们的数据集包含1400多幅真实复杂场景的图像。为了生成模糊图像，我们使用了扩展的Midderburry[1]数据集，该数据集包含高质量的真实场景和相应的深度图。此外，我们使用最近的NYU - Depth V2[2]改进了数据集，这是一个大型数据集，包括各种室内场景，由微软Kinect传感器捕获RGB和深度图。采用Koschmedier的光在雾霾场景中传输的物理模型[17]，假设均匀的大气强度和均匀的雾霾密度，并使用数据集提供的参考深度图，我们能够在考虑的场景中合成雾霾。即使Koschmedier模型在任意光照和雾度密度条件下的严格有效性是有争议的，基于该模型合成雾度图像也是相关的，因为它是所有现代去雾技术的核心。因此，当模型有效时，所有这些方法都应该提供良好的结果。然而，作为一项重要而令人惊讶的贡献，我们的工作发现，即使对于完全符合模型的模糊图像，现有的去雾技术都无法从模糊版本中准确地重建原始图像。这一观察来自于基于SSIM [ 28 ]和CIEED 2000 [ 29 ]计算的参考值(无雾度图像)和不同去雾技术产生的恢复结果之间的几个先进去雾方法的综合评估。

从深度到有雾场景

在这一部分中，我们首先描述了为有雾场景假设的光学模型，以及我们如何按照这个模型构建我们的有雾数据集。

有雾场景的光学模型

雾介质的特征是当湿度高于某一水平时，相应湿度变化的小颗粒充当小液滴。在这种介质中，穿过它的光沿其原始路线衰减，并分布到其他方向。从数学上来说，这一过程由Koschmedier模型[ 17 ]的图像形成模型来表示，该模型被最近所有的去雾方法广泛接受。基于这个模型，由于大气粒子吸收和散射光，只有一定比例的反射光到达观察者。穿过雾介质的每个像素坐标x的光强I是两个主要相加分量的结果——直接衰减D和大气光值A :

其中J是透明介质的场景辐射(无雾度图像)，T是沿着视锥的透射，A∞是大气光(一种颜色常数，在白天去雾时全局计算)。
大气光值与观察者和场景目标对象之间的距离线性相关。模型的第一个分量，直接衰减D，描述了场景辐射是如何随着距离衰减的。第二个，大气光值A代表附加色移的主要来源，并表示为:

其中T是透射率，表示能够穿过观察者和场景表面之间的雾介质而不被散射的光的相对分数。
基本上，透射图T与场景深度直接相关，考虑到均匀介质，该值表示为:

其中β 是由于光散射引起的介质衰减(消光)系数，而d代表观察者和所考虑的表面之间的距离。

利用深度合成有雾场景

深度是供述3中的一个关键参数。一般来说，现有的数据集在分辨率、真实性和深度地面真实性方面相对有限。为了克服这些限制，Scharstein等人[ 1 ]最近引入了一个新的数据集来评估立体算法。数据集是使用结构化光[ 30 ]生成的。它代表了Midderbury数据集的延伸，包含了23幅室内场景图像( 600万像素)，具有亚像素精确的深度地面真实性。
为了解决遮挡区域缺乏地面真实性的问题，我们对于Midderbury数据集的图像采用了Ma等人提出的加权中值滤波策略[ 31 ]。
此外，为了更全面的评估，我们还考虑了最近的NYU-Depth V2数据集[ 2 ]。这个数据集包括各种室内场景，由微软Kinect传感器采集RGB和深度图。缺失的深度值已经用Levin等人的彩色化方案填补了[ 32 ]。虽然这个数据集不如Middlebury数据集精确，但它具有更大的优势( 1449，640×480个图像)，有各种场景。
基于上述光学模型，我们使用参考(无雾度)图像及其相应的深度图合成雾度场景。首先，对于每个图像，使用深度d和介质衰减系数β，基于公式3估计透射图默认设置为1，这对应于中等且均匀的雾度。此外，对于大气光常数A∞，我们假设纯白值[ 1 1 1 ]，并根据公式1和3生成有雾图像，如下所示:

评估技术

在本研究中，使用我们的新数据集D-HAZY，我们对几种最先进的单图像去雾技术和一种众所周知的增强方法进行了综合验证。对于所有经过测试的算法，我们使用作者提供的原始实现。在下文中，我们简要描述了这些技术。
1 .Tarel和Houtiere [ 8 ]
引入了第一种单一去雾图像方法。该方法基于过滤策略恢复模糊图像的可见性。他们假设白平衡是作为预处理步骤来执行的，并以图像的局部平均值和图像的局部标准差之间的差值的百分比来估计传输。基于中值滤波器的扩展版本对传输进行了改进。该方法的优点是可以快速处理彩色和灰度图像。
2 .He等人。[ 7 ]，[ 18 ]
提出了一个新颖的源自查维斯的黑暗物体[33]的黑暗通道先验。他们研究了统计数据，在大多数不覆盖天空的局部区域，一些像素通常在至少一个颜色通道中具有非常低的值。每个斑块的这些滤波像素用于估计由阿尔法抠图策略细化的雾度透射。在我们的评估中，我们采用了基于导向滤波器[ 34 ]的暗通道。
3 .孟等人[ 21 ]
引入一种正则化策略，有效地探索传输地图上的边界约束。传输的边界约束是[ 7 ]之前暗信道的延伸。通过使用边界约束与基于加权L1范数的上下文正则化相结合的优化问题来细化传输。
4 .Ancuti和Ancuti [ 12 ]
描述了一种有效的多尺度融合策略，用于单图像去杂。他们得出两个输入，第一个输入是通过对原始模糊图像进行白平衡来处理的，而第二个输入是通过对每个像素减去整个图像的平均亮度值来获得的。通过计算多尺度融合策略中混合的几个度量(权重图)来过滤它们的重要特征。
5 .Fattal [ 13 ]
介绍了一种探索颜色线的方法，小图像块的像素通常在RGB颜色空间中呈现一维分布。通过计算从原点偏移的线来获得传输图的第一估计。最终的传输图是基于Markov随机场产生的，该随机场细化了由于散射引起的噪声和其他伪像。
6 .CLHE (对比度限制自适应直方图均衡化) [ 35 ]
是一种众所周知的增强技术，可以恢复图像的对比度。医学影像设计的原版CLHE通过应用对比度限制程序扩展了自适应直方图均衡化( AHE )。CLHE将图像分成上下文区域，并对每个区域采用直方图均衡化。为了生成CLHE结果，我们使用了MatLab 2014 B的原始实现。

结果和讨论

从质量上来说，正如预期的那样，CLHE [ 35 ]产生了不那么引人注目的视觉效果(见图3 )。虽然Tarel和Hautiere [ 8 ]的方法具有计算效率高的优点，但是这种方法产生的结果看起来被晕圈假象过度饱和。在几个感知测量的指导下，Ancuti和Ancuti [12]的方法减轻了由于多尺度融合策略而导致的结构伪影的引入。尽管有其欧洲主义的内在概念，He等人的方法[ 7 ]在颜色和结构修复方面似乎总体上比其他方法表现更好。然而，可以观察到，这种方法在白色和灰色区域产生过度校正的结果，在这些区域中没有颜色通道占主导地位。由于它也是建立在暗通道的基础上的，所以孟等人的方法就不足为奇了。[ 21 ]得出了与He等人相似的结果。[ 7 ]由于传输图的高阶滤波，伪影略有减少。尽管对一些图像非常有效，Fattal [13]技术由于之前的颜色线，经常会使一些区域过度饱和，有时会在边缘引入不愉快的结构伪像。

定量地说，为了验证之前描述的不同技术，我们将它们的结果与D - HAZY数据集提供的地面真实无危险图像进行比较。由于PSNR已经被证明在预测人类对图像质量[ 28]的视觉响应方面不是非常有效，我们计算了众所周知的结构相似度( SSIM )指数[ 36 ]，该指数比较了亮度和对比度标准化的像素强度的局部模式。SSIM索引产生介于- 1和1之间的十进制值，两个相同图像的最大值为1。
此外，因为在图像去雾中，颜色的恢复是至关重要的，并且不能由SSIM可靠地评估，所以我们采用了额外的评估指标。两种颜色之间的差异是对颜色科学的高度兴趣。虽然早期的措施(例如CIE 76和CIE 94 )显示了解决感知一致性问题的重要局限性，但是CIE引入了CIE 2000 [ 29]，[ 37 ]，这定义了一种更复杂但最精确的色差算法。CIDEE 2000产生的值在[ 0，100 ]的范围内，较小的值表示更好的颜色保存，小于1的值对应于视觉上看不到的差异。
表一给出了23幅米德尔伯里数据集图像的详细验证，表二显示了在1449幅纽约大学深度图像上测得的SSIM和CIEED 2000的平均值。


从这些表格中，我们可以得出He等人的方法[ 7 ]平均表现最好。第二组方法包括Meng等人[ 21 ]/安库提和安库提·[ 12 ]和法塔尔·[ 13 ]在结构和颜色恢复方面表现相对较好。
一般来说，所有测试的方法都会引入结构失真，例如边缘附近的晕圈伪像，这些失真会在遥远的区域放大。此外，由于从模糊图像中对空运和传输地图的估计较差，一些颜色失真可能会造成恢复图像的一些不自然的外观。总之，没有一种技术能为所有图像提供最佳性能。SSIM和CIEED 2000测量值相对较低，再次证明了单个图像去杂任务的难度，并且事实上仍有很大的改进空间。