摘要：图像去雾一直是计算机视觉领域的研究热点，雾霾对相机成像质量影响很大。因此，在过去的几十年里，人们提出了许多图像去雾方法。为了帮助初涉该领域的研究人员快速了解图像除雾的发展历史和现状，本文对几种具有代表性的除雾方法进行了分析，评价了它们的优缺点，并从不同的角度指出了最佳的除雾方法。大量实验表明，一般认为AECR-Net是最好的除雾算法，Tarel方法是最好的实时除雾方法。此外，本文还讨论了图像去雾的主流基准、指标、挑战和机遇。
Introduction
雾霾对机器视觉系统的性能有很大的影响。雾霾的存在会极大地影响场景的可见性，从而降低各种机器视觉任务的性能，如物体检测、目标跟踪、语义分割等。因此，图像去雾是计算机视觉中的一个重要研究领域。通过去除雾霾效应，一般可以降低噪声，锐化边缘，提高信噪比，从而提高整个计算机视觉系统的性能和鲁棒性。由于上述原因，图像去雾在安防监控、辅助驾驶、天气研究、地理信息研究等各个领域都有很高的需求。
雾霾对光有衰减和散射作用，雾霾图像可以看作是被雾衰减的反射光与被大气散射的光的叠加。模糊图像的成像过程可以用大气散射模型来描述。模糊图像的特点是对比度低、信噪比低、色彩失真。因此，图像去雾算法主要集中在去除噪声、突出边缘、提高图像对比度和恢复颜色等方面。
随着图像处理技术的发展，图像去雾的方法也在发生变化。最初，图像去雾问题被视为图像增强问题，使用对比度增强和Retinex等算法去雾。后来，人们利用基于大气散射模型的图像恢复方法来解决图像去雾问题。代表性的方法有Dark Channel Prior[1]、Non-local Dehazing[2]等。由于图像去雾问题的复杂性，研究人员将几种方法合并为一种方法以获得更好的性能，这就是基于融合的方法的创建方式。近年来，随着深度学习技术的快速发展，研究者提出了越来越多基于深度学习的去雾算法，如DehazeNet[3]、AOD-Net[4]、FFA-Net[5]等。与之前的方法相比，基于深度学习的算法在去雾效果和鲁棒性方面都有了很大的提高。
然而，图像去雾也面临着许多挑战。图像去雾研究的最大瓶颈之一是难以获得匹配的模糊和清晰图像。因此，图像去雾数据集的不断完善是图像去雾研究的重要推动力。早期对图像去雾的研究大多依赖于单幅雾天图像。
如果没有成对的清晰图像作为参考，也很难客观地评价去雾算法的准确性。2010年以后，FRIDA[6]和FROSI[7]数据集的出现，首次提供了配对的模糊清晰数据，但由于它们是在3D软件下的虚拟场景中获得的，与真实场景存在较大差异，因此没有得到广泛的应用。后来，随着NYU-v2[8]、Middlebury[9]和residential[10]数据集的出现，图像去雾领域的研究人员能够使用合成的模糊清晰图像对来训练深度学习模型。2018年以后，又提出了现实世界数据集IHaze[11]和O-Haze[12]。现实世界的配对图像极大地提高了深度学习算法的性能。未来的图像除雾研究也将基于真实的雾霾数据集进行。
本文的主要贡献如下:
本文对近年来的160多篇论文进行了讨论，并对它们的优缺点进行了讨论，帮助本领域的新研究者快速了解图像去雾的历史、现状和未来的研究方向。
详细讨论了现有的数据库和评估指标。
在研究不同研究论文的基础上，讨论了挑战和机遇。
图像去雾方法的分类
图像去雾算法有着悠久的历史，也是随着机器视觉技术的整体进步而发展的。各种方法大致可分为四大类:
1)图像增强方法:图像增强方法是最早的一类除雾方法，具有简单、高效的特点，但不具有自适应能力，在复杂场景下性能较差。
2)图像恢复方法:恢复方法基于大气散射模型。他们结合各种先验知识来解决大气散射模型的清晰图像。这种方法以暗通道先验方法为代表，通常可以在较低的计算能力下获得较好的性能。
3)基于融合的方法:基于融合的方法通常是由单幅朦胧图像生成多幅衍生图像，从不同的衍生图像中提取不同的特征，然后融合这些特征进行去雾。这种方法具有鲁棒性强、去雾效果好等特点，通常比基于深度学习的方法更快。
4)基于深度学习的方法:目前，基于深度学习的除雾方法已经成为近年来的研究主流。基于深度学习的方法在发展之初依赖于大气散射模型。利用深度学习网络导出传播图，然后利用传播图从大气散射模型中求解出清晰图像。
随着深度学习技术的发展，越来越多的方法被应用到图像去雾领域，包括注意力、生成对抗网络、知识迁移等。这些方法往往是端到端的，不借助大气散射模型，使用真实的无雾图像对进行训练，并显示出较好的性能。事实证明，基于深度学习的方法在鲁棒性和有效性方面都优于传统方法，并且在密集非均匀雾霾场景中通常可以获得更好的性能。
图1给出了图像去雾方法的分类。该分类法参考了Wang等人[13]撰写的综述论文，内容丰富，见解深刻。Wang等人对2017年之前的各种传统方法进行了深入细致的综合讨论。本研究扩展和丰富了王的分类，修改了各类型除雾方法的子类划分。与Wang等人不同的是，我们没有将近红外图像去雾视为图像融合方法，而是作为一种基于多图像的图像恢复方法。将基于近红外图像、基于深度图像和基于偏振图像的方法合并为基于多幅图像的图像恢复方法。这些方法提供了额外的信息(近红外光谱、深度或偏振)，它们都符合大气散射模型。将这三种方法归为图像恢复方法更为合适。另一个原因是，随着时间的推移，近年来融合除雾算法的定义逐渐缩小，图像融合方法的主流讨论是由单幅图像生成衍生图像，而不是使用附加图像。本研究在2010年以后更加关注传统的方法，并对新兴的深度学习方法进行了大量的讨论
图1给出了图像去雾方法的分类。该分类法参考了Wang等人[13]撰写的综述论文，内容丰富，见解深刻。Wang等人对2017年之前的各种传统方法进行了深入细致的综合讨论。本研究扩展和丰富了王的分类，修改了各类型除雾方法的子类划分。与Wang等人不同的是，我们没有将近红外图像去雾视为图像融合
Image dehazing algorithms
随着图像处理技术的进步，主流的图像去雾方法也在不断变化。一般来说，这些方法可以分为:图像增强方法、图像恢复方法、基于融合的方法和基于深度学习的方法。本节将介绍和讨论每个类别中的几个标志性方法。
图像增强方法
最早的图像去雾方法是基于图像增强的。图像增强方法的思想是通过滤波或变换像素的强度来提高信噪比
对比度增强
基于对比度增强的方法是最早的一种图像去雾方法，包括强度变换、同态滤波、小波变换等空间域和频域增强。使用强度变换方法，通过重新分布直方图来增强图像[14]。代表性的方法包括幂律变换、分段线性变换、直方图均衡化(HE)及其改进版本[15-20]。使用同态滤波，可以通过增强高频成分和降低低频成分来增强图像[21]。然而，该方法不能处理密集或不均匀的雾。与同态滤波类似，小波变换也通过变换高频或低频分量来增强图像[22]，许多研究者采用了不同的方法来实现这一目标[23-25]。上述方法通常易于实现，具有效率高、计算量低的优点，因此可以在低计算能力的设备上实现实时性。其缺点是除雾性能差，适应性差，难以应对复杂的环境。作为一种经典的方法，基于对比度增强的方法以其简单、高效的优点得到了广泛的应用，也是后续许多研究的基础。
基于retinex的方法
Land等[26]于1971年提出了视网膜理论。广泛应用于图像去雾、弱光增强、色彩校正等领域。这个词是“retina”和“cortex”两个词的组合，表示感知颜色的生理过程。Jobson等人进一步讨论了Retinex的特性和性能[27]，以及它在图像处理中的实现[28]。
Retinex理论是建立在颜色恒常性理论的基础上的。人们认为，物体的颜色是由它反射不同波长光的能力决定的，而不是由反射光的强度决定的。retinex理论认为，照相机所捕捉到的图像是由入射像和反射像组成的。入射图像又称亮度图像，表示图像的亮度信息。反射图像表达了图像场景的内在信息。
Retinex理论的出现大大提高了去雾算法的性能。该算法性能好，具有一定的适应性，计算速度快。Retinex法在除雾领域应用广泛，经常与其他方法结合使用，以获得更好的效果。例如，Xie等[29]提出了一种使用暗通道先验(DCP)和多尺度Retinex (MSR)的图像去雾方法。他们对YCbCr空间的亮度图像进行MSR处理，得到伪传输图，该伪传输图保持了与原DCP方法获得的传输图相似的功能。Yang等[30]提出了一种新的可变滤波Retinex算法，该算法自适应地选择朦胧图像的每个局部区域的尺度参数。
图像恢复方法
图像恢复是通过对退化过程进行反转来恢复退化的图像。它通常是用已知的物理模型或先验知识完成的。图像恢复方法有两种:多图像恢复方法和单图像恢复方法。
多幅图像去雾
在图像去雾的早期，使用多幅场景图像来恢复退化后的图像。例如，Narasimhan和Nayar[31]考虑了不同的天气条件，分析了在这些条件下场景的颜色变化。该方法计算完整的三维结构，并从两张或多张恶劣天气图像中恢复晴天场景颜色[32]。该方法的主要缺点是基于大气散射特性不随光波长变化的假设。然而，一些气溶胶的散射在很大程度上取决于入射光的波长。因此，在这种情况下，假设是无效的。
基于散射对光偏振的影响，偏振被用作减少图像雾霾的线索[33-35]。
然而，在某些情况下，两极分化很难确定。在许多作品[36,37]中，假设来自感兴趣对象的辐射是极化的，而假设飞行器是非极化的。
在其他作品中[38-40]，来自感兴趣场景的辐射被假设为非极化，而空气被假设为部分极化。此外，偏振滤光片被广泛应用于景观图像中，因为来自景观的辐射通常是非偏振的。许多研究使用偏振滤光片去除雾霾。例如，Schechner等[39,41]使用两张或多张极化滤波后的图像来计算场景结构，从而可以增强朦胧图像。
近红外摄像机也可以看作是获取透射图的工具。在[42,43]中，将近红外图像转换为场景深度图像。根据大气散射模型，在深度图像、偏振图像和近红外图像的辅助下，可以更准确地去除雾霾。
上述多种图像去雾方法虽然可以达到视觉上令人愉悦的效果，但这些方法对采集的约束很大，无法在现有的图像数据库上使用。因此，这些方法在我们的日常生活中并不常用。近年来，单幅图像去霾技术取得了重大进展。
单图像去雾
单幅图像去雾方法的成功取决于使用更强的先验或假设。如Tan等[44]利用马尔科夫随机场恢复朦胧图像的局部对比度。结果在视觉上是引人注目的，但在物理上可能不有效。Fattal等[45]提出了一种包含表面阴影的图像形成模型，用于从朦胧图像中去除雾霾层。2014年，Fattal等[46]提出了一种基于自然图像中小图像块像素在RGB色彩空间中通常呈现一维分布的一般规律的新方法，称为色线。这种方法在物理上是合理的，并且可以产生令人印象深刻的结果。
然而，它不能很好地处理严重模糊的图像，并且在假设被打破的情况下可能会失败。Tarel等[47]提出了一种以大气面纱推断、图像恢复与平滑、色调映射为参数的图像恢复算法。Tarel的方法可以有效地处理彩色或灰色图像。然而，该方法是由几个参数控制的，需要手动调整不同的雾天图像。Kratz和Nishino[48,49]基于场景反照率和图像深度是两个统计上独立的分量，提出了一种贝叶斯去雾算法。该算法虽然可以有效地减少光晕伪影，但迭代时间长，参数需要手动设置。Tang等人[50]提出了一种基于学习的传输估计方法。该方法使用随机森林学习回归模型。该过程的目的是揭示雾霾相关特征与图像斑块真实传输之间的关系。但是，这种方法不能很好地显示图像的真实深度信息，特别是边缘区域。
因此，为了更有效地去除单幅图像中的雾霾，引入了一些新的先验算法。用于图像去雾的最具代表性的先验包括暗通道先验、颜色衰减先验和雾线先验。
Dark channel prior
He等人[1]提出了一种基于室外无雾图像统计的新型先验，称为暗通道先验(dark channel prior, DCP)。暗通道先验状态是指在无雾RGB图像的大多数非天空区域中，一些像素通常在至少一个颜色通道中具有非常低的强度，这些像素被称为暗像素。而在朦胧图像中，由于大气光的散射，这些暗像素通常具有更高的强度。这些暗像素是雾霾密度的一个很好的指示，透射图可以通过这个特性生成。即，对于图像J，其暗通道J dark定义为:
其中，J c是图像J的一个颜色通道，ΩX是一个以X为中心的局部池化补丁。由于无雾图像中暗像素的强度接近于零，所以在进行最小池化后，整个补丁将接近于零。在无雾的图像中，J dark--> 0. 这是暗通道先验。暗信道先验是获得粗估计传输图的有效方法。He等人在得到粗传输图后，采用软消光方法得到精细化版本的传输图。对于大气光估计，He等人对Tan的方法进行了改进[44]，将最不透明像素在无限距离处的亮度视为大气光。获取透射图和大气光后，利用大气散射模型去除雾霾。
但是，原有的基于暗通道先验的去雾方法也存在一些不足:1)当传输图不能完全反映场景的真实深度时，DCP方法的去雾结果可能会产生一定的晕轮效应。这就是为什么需要改进传输图。2) He等采用软抠图的方法来细化传输图，精度高，但速度相对较慢。3)如果场景中任何物体的颜色与天空相同，如雪地或白色的墙壁，DCP可能无法区分场景和背景。
为了克服上述缺点，人们提出了许多改进的方法。2010年，He等[51]提出了引导图像滤波。引导滤波器在引导图像的帮助下产生输出。该算法能够以较低的计算成本进行边缘保持平滑。作为一种具有边缘保持能力的快速算子，制导滤波器被广泛应用于传输图的细化。Pang等[52]在暗信道先验方法中采用引导滤波，提高了精细化传输图的速度和质量。与软消光相比，制导滤波方法生成的传输图更精确，计算成本更低。Lin等人[53]也采用了同样的方法，提出了一种基于引导滤波和暗信道先验的高速视频去雾方法。证明了改进后的暗信道先验可以用于实时视频处理。Tan等[54]通过将传输图生成和精炼任务部署到nividia GeForce 310 M GPU中，进一步提高了基于暗通道的方法的速度，该GPU每秒能够处理50张图像(720 * 480像素)。
Yu等[55]进一步提高了基于暗通道先验的方法的速度，在纯CPU处理器上通过在暗通道补丁计算中使用块到像素的插值实现了实时性。
还有许多改进的基于暗信道先验的方法，重点是提高鲁棒性和自适应性。当面对天空面积较大的图像时，原有的暗通道先验方法容易使图像失真。为了解决这一问题，Xu等[56]提出了一种削弱天空区域的方法，可以产生更真实的输出，并且天空区域失真更小。Long等[57]根据遥感图像的特点修改了光估计规则，证明暗通道先验也适用于遥感图像。Zhu等[58]将暗通道先验方法与直方图规范相结合，改进了暗通道先验方法，减少了去雾结果中的颜色失真和光晕效应。Huang等[59]在航迹估计模块中采用中值滤波和伽玛校正，可以有效降低原暗信道先验方法造成的光晕效应。Huo等[60]对暗信道先验方法进行了改进，提出了一种新的基于恒定反照率的传输图估计方法，减少了光晕效应，生成的结果更加逼真。Song等[61]深入讨论了斑块大小对基于暗通道先验方法的影响，融合了不同斑块大小的多个结果生成最终的去雾结果，提高了暗通道先验方法的鲁棒性。Peng等[62]将暗通道先验方法推广到图像恢复研究领域，证明了暗通道先验可以广泛应用于图像恢复任务。
暗信道先验作为一种简洁有效的先验知识，也被应用于基于深度学习的研究中。Golts等[63]利用暗信道先验作为损失函数训练无监督图像去雾网络Deep DCP。将暗信道先验与深度神经网络的泛化能力相结合，使深度DCP具有较高的精度和鲁棒性。
Zhen等[64]在图像去模糊研究中利用暗信道先验作为损失函数。他们提出了一种生成对抗网络，并利用暗信道先验损失进行训练，在图像去模糊任务中取得了良好的效果。
颜色衰减先验
Zhu等[65]发现雾霾图像中像素的亮度和饱和度随着雾霾浓度的变化变化较大，提出了颜色衰减先验(CAP)。在自然场景中，无雾区亮度适中，饱和度高，两者的差接近于零。当雾变得更浓时，饱和度降低，饱和度和亮度的差值增加。即景深与雾霾浓度呈正相关关系:
式(3)中，d为场景深度，c为雾霾浓度，v为场景亮度，s为饱和度。知道了这种相关性，线性模型可以写成:
通过对雾霾图像的场景深度建立线性模型，通过分析许多图像的远、中、近距离，颜色衰减先验表明雾霾浓度与亮度和饱和度之差成正比。虽然颜色衰减先验是一种快速有效的方法，但不能处理非均匀大气条件。
Haze-line prior:
Berman等[2]提出了一种非局部先验，称为haze-line先验，也称为NLD (non-local Dehazing)。Berman等人假设无雾图像的颜色由RGB空间中的几百个不同的色团很好地近似，他们发现当雾存在时，这些色团通常在RGB空间中形成一条色线。这是因为，在无雾图像中，相同颜色集群的像素通常分布在与相机距离不同的整个图像上。当场景中有雾霾时，不同的距离意味着不同的透射系数，同一颜色簇的像素可能由于雾霾的密度不同而受到不同的影响。因此，每个色簇在朦胧图像的RGB空间中成为一条色线，称为雾线。该算法在图像大小上是线性的，所以速度相对较快，不需要训练。由于色簇和雾线是由非局部像素组成的，因此该方法可以很容易地处理不同大小的图像，并且不会像其他基于补丁的方法那样受到补丁大小的影响。
由于水下成像模型与大气散射模型的相似性，许多基于恢复的图像去雾方法也可用于水下图像增强。Han等人[66]在一篇关于水下图像增强的综述文章中，对许多基于恢复的图像去雾方法进行了深入的讨论，其中一些方法在水下图像上表现出了很好的效果。Han等人使用了几个水下图像质量指标，这些指标不同于图像去雾研究的评价指标。与朦胧图像相比，水下图像的偏色更为严重，因此Han等人着重研究了水下图像的色彩恢复。与Han的工作不同，本研究主要是对各种图像去雾方法的总体性能评价。
Fusion-based methods
基于融合的图像去雾方法是使用多个输入图像或单个模糊图像的多个衍生图像来获得无雾图像。在单幅图像去雾任务中，基于融合的方法通常通过从一个输入图像生成多个派生图像来执行。对于这些不同的衍生图像，使用各种方法进行增强或恢复。最后，将各种方法处理的结果进行融合，得到最终的去雾图像。在许多情况下，基于融合的方法可以看作是传统方法的有机融合。
如Ancuti等[67]提出了一种融合的单幅图像去雾方法。它需要两个来自原始图像的输入。这两个输入分别由亮度、色度和显著性三个归一化权重图进行加权。
最后，这些加权图像以多尺度方式混合，以避免伪影。2013年Ancuti等[68]对这种基于融合的方法进行了更深入的解释和论证。首先对原始模糊图像进行白平衡处理，消除大气色彩造成的偏色。从原始模糊图像中减去整个图像的平均照度值，得到第二幅衍生图像。第一衍生图像描绘无雾区，而第二衍生图像增加雾区可见细节。通过各种指标的综合实验，验证了该融合算法的快速和有效。与其他方法相比，Ancuti的方法需要更少的计算能力，因为整个过程短而简单。它还快速且节省内存，因为所有这些计算都是以像素而不是以补丁进行的。
这种方法的缺点是不能处理非均匀霾，这也是大多数非学习方法的共同缺点。最近，Guo等[69]利用图像融合策略从单幅图像中去除雾霾。他们的方法首先从原始雾霾图像中衍生出5张地图，然后采用u形深度卷积网络生成无雾图像。
Zhao等[70]提出了一种用于图像去雾的多尺度优化融合(MOF)模型。他们首先提出了一种有效的算法来区分传输图上的错误估计区域。然后，他们提出了一种多尺度最优融合模型，以最优融合像素级和补丁级传输图，以避免误估计传输区域。然后将MOF嵌入到贴片式除雾中以抑制光晕伪影。为了提高MOF的鲁棒性和降低计算复杂度，提出了两种后处理方法。通过获取更精确的传输图，MOF方法可以产生更清晰、准确的结果，且光晕效应更小，优于其他基于融合的方法。
实验结果表明，上述基于融合的算法和许多其他基于融合的方法[71 - 73]对单幅图像去雾是有效的。它们充分利用了非学习方法的快速性和准确性，提高了传统方法的鲁棒性。基于融合的方法计算成本低，性能相对较好。因此，它们一直是图像去雾领域的热门方向。派生和融合的思想也影响了后来的一些深度学习算法，如GFN[74]，使用原始图像的多个派生图像分别进行特征提取，并融合特征映射以获得无雾的结果。
Deep Learning-Based methods
近年来，随着深度学习技术的进步，图像去雾方法取得了越来越好的性能。基于深度学习的图像去雾方法通常学习大量的模糊和无模糊图像对，通过卷积神经网络提取模糊图像的深度特征，从而找到模糊和清晰图像之间的映射关系。与传统方法相比，基于深度学习的方法在鲁棒性和性能上都具有优势。在本节中，我们将介绍几种具有代表性的基于深度学习的除雾方法，这些方法根据是否使用大气散射模型(ASM)可分为两类。
对于ASM来说，大气中粒子的散射是造成霾的主要原因。无论是用肉眼观察还是通过拍摄获得的图像，朦胧的场景总是存在对比度降低、视野缩小的问题。1925年，Koschmieder[75]提出雾图像的低能见度是由于大气中悬浮粒子对光的吸收和散射造成的。1976年，E. J. McCartney等[76]提出粒子的散射导致了目标与相机之间的传输过程中光的衰减，并增加了大气散射光层。1999年，Narasimhan等[77]针对雾天能见度低的问题，通过建立数学模型，解释了雾天图像的成像过程和各种影响因素。该模型揭示了在强散射介质下探测系统成像结果下降的主要原因。其次，太阳光等环境光被大气中的散射介质散射，形成背景光。通常，这部分背景光的强度大于目标光的强度，导致检测系统的成像结果模糊
其中X = (X, y)为图像中像素位置的坐标向量，I(X)为检测系统获得的雾霾图像，J (X)为需要恢复的无雾霾图像，a为大气光，t(X)为透射图。2003年，Nayar等[78]将大气散射模型应用于天气退化图像的对比恢复，这可以看作是基于图像恢复的去雾研究的开始。基于恢复的图像去雾的主要思想是基于各种先验知识或其他图像处理方法，从雾霾图像中估计适当的大气光和透射图，然后使用ASM模型恢复清晰图像。
ASM除雾网络
雾霾天图像成像的形成可以用ASM很好地解释。因此，引入ASM可以大大降低除雾网络的复杂性。在基于深度学习方法的早期发展中，ASM通常是利用原始图像和各种网络生成的传输图来恢复清晰图像。
1) DehazeNet [3]: Cai等人提出了一个可训练的端到端系统DehazeNet，用于传输值估计。图2显示了DehazeNet的总体框架。
从图2可以看出，DehazeNet是基于大气散射模型设计的，它以雾霾图像作为输入，输出其透射图。透射图可用于通过大气散射模型恢复无雾图像。
Cai等[3]采用了一种基于卷积神经网络的深度架构，并采用了一种新颖的双边整流线性单元(Bilateral Rectified Linear Unit, BReLU)，这有助于减少搜索空间，加速训练过程。DehazeNet采用Maxout单元[79]来体现图像去雾的既定先验。该方法利用Maxout单元进行特征提取，可以生成几乎所有与雾相关的特征。实验结果表明，DehazeNet大大优于以往基于先验的脱雾方法。它可以看作是图像去雾领域的一个里程碑式的方法，显示了卷积神经网络强大的特征表示能力。
2) MSCNN [80]: Ren等人提出了一种基于大气散射模型的单幅图像去雾的多尺度深度神经网络。和DehazeNet一样，MSCNN学习模糊图像和它们对应的传输图之间的映射。该多尺度神经网络由两部分组成。上半部分是一个粗尺度的网，它基于整个图像预测一个整体的传输图。下半部分是一个精细尺度的网，用于局部细化结果。粗传输图由粗尺度网络估计，然后连接到细尺度网络的第一上样层进行精细提取。MSCNN保留了丰富的细节和生动的色彩信息。它在质量和速度上都超越了以前基于先验的方法。2019年，Ren等人[81]也发布了一种改进版本的MSCNN方法，在边缘完整性方面有了显著提高。
3) AOD-Net[4]:大多数基于深度学习的模型分别估计传输图和大气光，而Li等人提出的allin - in Dehazing Network (AOD-Net)使用轻量级CNN直接生成清晰的图像。虽然AOD-Net是一个端到端模型，但它是基于ASM模型设计的。AOD-Net使用ASM模式，但不估算大气光值，这是由基于模式的方法向端到端方法的过渡。AOD-Net的结构如图3所示。AOD-Net的一个优点是它的网络规模很小，可以很容易地与其他网络连接，以提高识别的准确性。
4) DCPDN [82]: Zhang等人提出了密集连接金字塔去雾网络(dense - Connected Pyramid Dehazing Network, DCPDN)。它是一种基于大气散射模型的方法，采用端到端网络共同学习传输图和大气光。它具有编解码器结构和多级金字塔池模块。编码器-解码器模块用于保留边缘。多级金字塔池化模块采用[83]，目的是估计传输图。设计了一种基于生成对抗网络的联合鉴别器来估计生成的传输图的保真度，该模块学习估计的传输图与去噪结果之间的相互结构信息。为了优化整个网络，采用保边损失函数保留去雾结果中的边缘信息，提高信噪比。DCPDN在严格遵循ASM模型的同时，采用了新颖的网络结构和损失函数，性能优越，是基于大气散射模型的典型方法之一。
5) D4网络[84]:D4网络将传输图估计分解为预测密度图和预测深度图。
与之前基于Cycle-GAN的方法如CycleDehaze[85]相比，D4不仅包含了基于大气散射模型的去雾和复雾两个周期，还将透射图进一步分解为密度和深度。在大气散射模型中，X像元的透射图t(X)可由散射系数b和场景深度d(X)确定。
由式(5)可知，D4在霾的产生中同时考虑了深度和散射系数。在估计场景深度的情况下，D4可以渲染不同雾霾厚度的朦胧图像。大量实验表明，与其他先进的除雾方法相比，可以获得更好的除雾效果。然而，D4方法不能很好地处理过亮区域，因为这种方法通常会高估过亮区域的传输。因此，深度估计网络会错误地预测这些区域的低深度值。除上述方法外，还有许多其他除雾方法是用ASM构建的。与DehazeNet和MSCNN类似，ABC-Net[86]和LATPN[87]直接生成传输图。PMHLID[88]、[89]和[90]与DCPDN类似，共同学习透射图和大气光。FAMED-Net[91]、Pan等[92]和Chen等[88]类似于D4，在网络中非显式嵌入ASM。
无ASM的除雾网络
目前，许多没有ASM模型的端到端网络在单幅图像去雾方面取得了很大的进展。一旦输入模糊图像，可以使用不同的方式获得去雾结果，如编码器-解码器结构、基于gan的网络、基于注意力的网络、知识转移等。
Encoder-decoder structure
Ren等[74]提出的门控融合网络(GFN)是一种端到端算法。GFN的创新之处在于网络有四个输入:原始图像、白平衡输入、对比度增强输入和伽玛校正输入。GFN的核心思想是从多个输入中学习一个置信度图，通过保留最重要的特征将多个输入图像组合成一个图像，这可能继承了Ancuti的研究[68]。在这些输入中，白平衡输入用于减少大气颜色引起的色偏。对比度增强输入用于补偿衰减效应。伽玛校正图像是为了增强对比度。该方法采用残差编码器-解码器模型，并加入展开卷积来增加接收野，提高特征提取效率。多尺度网络提取不同尺度的特征，有效降低晕轮效应。
另一个重要的基于编码器-解码器模型的端到端神经网络是Chen等人[93]提出的门控上下文聚合网络(Gated Context Aggregation network, GCANet)。该网络可以同时除雾除雨。GCANet的贡献在于将扩展卷积引入到图像去雾网络中。扩展卷积[94]在不改变计算量的情况下，增加了接受野的大小，减少了特征提取所需的网络层数。在目标检测任务中不恰当地应用展开卷积会降低小目标的检测能力。然而，在图像去雾等任务中，由于雾在图像中往往分布均匀，变化温和，孔卷积不易造成局部特征的丢失，因此存在很大的缺点。展开卷积的另一个问题是多层孔卷积的叠加容易产生网格效应。因此，该方法采用了平滑膨胀卷积的思想[95]，对膨胀卷积得到的特征图进行滤波和平滑处理，以避免产生栅格效应。使用GFN [74] 来融合不同层次的特征，门控融合将低层、中层和高层特征进行融合，然后上采样融合后的特征图以改善整体效果。GCANet 的结构如图 4 所示。
由于编码器-解码器结构具有出色的特征提取能力，许多优秀的除雾网络也是基于编码器-解码器网络。AECR-Net[96]将编码器-解码器网络与对比学习相结合，在合成数据集和真实数据集上都表现出了很好的性能。MSBDN-DFF[97]构建了一个增强型编码器-解码器网络。EDN-GTM[98]在编解码器除雾网络中应用了导引传输图。编码器-解码器结构也在许多其他作品中使用。
HR-Dehazer[99]采用编码器-解码器结构，有效减小特征图的大小，实现高分辨率图像去雾。TDN[100]、Yin方法[101]和Gao方法[102]将编码器-解码器结构与注意机制相结合，使网络能够自动找到感兴趣的区域，并区分重雾霾和薄雾霾区域。
GAN-based network
Engin等[85]提出的Cycle-Dehaze是单图像去雾网络。该网络是CycleGAN[103]架构的增强版本。该方法的主要优点是不需要估计大气散射模型的参数。此外，该网络还以非成对的方式提供了模糊和地面真实图像的训练过程。实验结果表明，与CycleGAN结构相比，Cycle-Dehaze方法可以产生更好的视觉效果，获得更高的PSNR和SSIM值。这是因为该方法通过将循环一致性损失与感知损失相结合，改善了循环gan结构的循环一致性损失。Cycle-Dehaze网络结构如图5所示。
此外，Singh等人[104]提出了一种使用生成对抗网络的新方法，称为反向投影金字塔网络(BPPNet)。它的生成器由迭代U-Net块和金字塔卷积块组成。U-Net块可以学习多个层次的复杂性，而金字塔卷积块保留空间上下文。BPPNet在使用小数据集进行训练方面取得了很大的进步，因为它可以只使用20对模糊和非模糊图像进行训练而不会过度拟合。还有许多其他基于gan的图像去雾网络。其中一些使用物理模型或其他先验知识作为规则来帮助GAN的训练，如Pan等[105]，HardGAN[106]和SA-CGAN[107]。其中一些是基于Cycle-GAN结构，如E-CycleGAN [108]， DCA-CycleGAN[109]。
Attention-based network
Liu等[110]提出了一种端到端基于注意的卷积神经网络GridDehazeNet。GridDehazeNet由预处理模块、主干模块和后处理模块组成。与以往使用启发式算法或手动选择特征的方法不同，GridDehazeNet的预处理过程是完全可训练的，这使得GridDehazeNet能够自适应不同的光照条件。预处理模块根据给定的模糊图像生成16个特征映射。这些特征图将被用作主干模块的输入。另一个创新点是GridDehazeNet的主干实现了基于注意力的多尺度估计模块。主干具有通道关注[111]，对不同尺度的特征图赋予不同的权重。通道关注增强了主干的灵活性，提高了特征提取的速度。此外，本文还比较了基于模型和端到端方法的性能，并重新考虑了大气散射模型在消雾算法设计中的作用。
Feature Fusion Attention Network (FFA-Net)是Qin等人提出的另一种端到端注意网络[5]。FFA-Net不使用大气散射模型，直接学习朦胧和清晰图像之间的映射关系。FFA-Net的创新之处在于它提出了Feature Attention模块，包括Channel Attention[111]和Pixel Attention[112]。与以往的算法相比，该算法对不同的信道进行了区别对待，对含有较多特征的信道赋予了更高的权重，从而加快了特征提取的速度。像素关注提高了算法的特征表示能力，也在一定程度上解决了非均匀霾的问题。FFA-Net的基本模块由剩余连接模块和特征注意模块组成。采用[113]的残差块使网络在学习过程中跳过部分低频信息，提高了训练效率。FFA-Net的结构如图6所示。
2021年，Wu等[96]提出了一种新的除雾方法AECR-Net。AECR-Net是一种紧凑的具有对比正则化(CR)的类自编码器(AE)去雾网络。现有的除雾方法大多只利用清晰图像作为正样本来指导训练，模糊图像没有得到充分利用。在AECR-Net中，为了充分利用正面信息(清晰图像)和负面信息(模糊图像)，构建了对比学习[114]正则化。对比正则化确保去雾图像被拉得更接近清晰图像，而远离模糊图像。
AECR-Net中类似自编码器的网络是一个编码器-解码器网络，具有额外的融合注意(FA)块和动态特征增强(DFE)块。FA块的灵感来自FFA-Net，它结合了通道注意和像素注意。DFE块利用可变形卷积[115]动态扩展卷积核的接受域，在保持较小参数数的同时增强了整个网络的特征提取能力。利用AECR-Net采用FA和DFE块的自编码器网络，在性能和内存成本之间进行了很好的权衡，用轻量级网络实现了很好的特征提取性能。
对比正则化充分利用了正信息和负信息，大大提高了去雾性能，在许多数据集上表现出优异的性能。Zhao等[116]提出了一种金字塔全局背景(PGC)网络用于图像去雾。本文在研究多尺度全局上下文的基础上，提出了一种新的金字塔型全局上下文块，将全局上下文关注引入到消雾网络中。在PGC块的帮助下，通过去雾网络可以考虑模糊图像中逐片的远程依赖关系。此外，本文还通过引入快捷连接和扩展卷积对U-Net结构进行了优化。通过将PGC块与膨胀残余U-Net结构相结合，该除雾模型优于许多最先进的方法。
knowledge transfer
Knowledge Transfer Dehaze Network (KTDN)是Wu等人[117]提出的一种知识转移方法。受知识蒸馏[118]的启发，KTDN的架构由教师网络和学生网络组成。该方法利用多余的清晰图像来训练一个能够学习清晰图像的强鲁棒先验的教师网络。学生网络通过知识转移损失学习教师网络的特征图。
师生网络都是基于ResNet[113]骨干网的改进版本，称为Res2Net[119]，具有更大的接受域和更好的多尺度特征提取能力。此外，在KTDN中还应用了通道注意和像素注意，以加快训练速度和增强特征提取能力。KTDN将知识转移应用于图像去雾问题，有其独特的创新之处。虽然由于缺乏颜色约束损失，导致颜色一致性不能很好地保持，但该方法在非均匀雾霾条件下具有优越的性能。KTDN的结构如图7所示。
还有许多其他的基于知识转移的除雾方法。KDDN[120]和Zhang等[121]利用重型教师网络来训练更小、更快的学生网络，试图在更小的网络规模下达到更好的性能。SRKTDN[122]和DAID[123]将超分辨率和图像去模糊的领域知识扩展到图像去雾的研究。
Transformer based network
视觉转换器在图像识别[124-126]、目标检测[127 - 130]、人体姿态估计[131-134]、语义分割[135-137]等高级视觉任务中表现出优异的效果。然而，直到最近几年，它才在图像去模糊、去噪、去雾等低层次视觉任务上取得重大突破。2021年，ufoer[138]和U2former[139]在图像去模糊、去噪和去雾方面取得了重大突破。2022年，MAXIM[140]在图像去模糊和去训练任务中排名第一。虽然Uformer、U2former和MAXIM在恢复退化图像方面有很好的性能，但它们并不是专门针对图像去雾问题而设计的。2022年，Song等[141]提出了一种设计良好的基于变压器的图像去雾方法，称为DehazeFormer。DehazeFormer可以看作是Swin Transformer[142]和U-Net的结合，并进行了一些关键的修改，用于图像去雾。如图8所示，DehazeFormer采用5层U-Net结构，用DehazeFormer代替卷积块(图5)。基于gan的循环去霾方法的结构。
DehazeFormer模块受Swin Transformer的启发，由一个基于窗口的多头自关注(W-MHSA)模块和一个多层感知器(MLP)组成。Song等人发现LayerNorm[143]不适合用于图像去雾，因为LayerNorm是按通道执行的，没有考虑不同patch之间的关系。Song等人利用Rescale Layer Normalization (RescaleNorm)层代替LayerNorm, RescaleNorm对整个feature map进行归一化，并计算残差块的标准差，保留patch之间的关系。
在激活功能上，DehazeFormer采用了一种新颖的SoftReLU代替了Swin Transformer中的GELU。DehazeFormer还修改了Swin Transformer的窗口划分和填充方法。DehazeFormer根据低级视觉任务的需要修改Swin Transformer，在许多图像去雾数据集中显示出最先进的性能。在SOTS室内数据集上，DehazeFormer以25%的参数和5%的计算成本优于FFA-Net。现有的几种基于深度学习的图像去雾方法对比如表1所示。
Benchmarks
图像去雾算法的进步很大程度上取决于先进图像去雾数据集的提出。有雾和无雾图像对图像去雾研究具有重要意义。配对图像不仅为基于学习的方法提供了素材，而且可以作为评价图像去雾算法性能的标准。随着技术的进步，获取图像去雾数据集的方法经历了虚拟场景、合成场景和真实世界三个发展阶段，如图9所示。
. Virtual scene
由于2012年之前LiDAR和深度相机还没有得到普遍应用，研究人员经常在3D建模软件中构建虚拟场景，通过大气散射模型合成有雾和无雾的图像对。
FRIDA and FRIDA2
2010年，travel等[6]利用SiVIC软件构建了一个三维逼真的城市模型。在三维城市模型中，他们利用科施米德定律生成不同类型和密度的雾霾。
然后，他们选择18个视点模拟道路上移动车辆的视角，将密度从无雾霾改为浓雾霾，并在每个视点拍摄5张不同雾霾类型的图像，形成雾路图像数据库(fog road Image DAtabase, FRIDA)。
FRIDA数据集由来自18个城市道路场景的90张合成图像组成，分辨率为640 480，以及每个场景的深度图，使研究人员能够确定雾霾密度与场景深度之间的关系。两年后，travel等人用66种不同道路场景的330张合成图像构建了一个扩展版本的FRIDA，命名为FRIDA2[144]。图10显示了来自FRIDA的样本图像。
FRIDA和FRIDA2成对提供清晰图像和雾霾图像，使研究人员更容易评估去雾算法的有效性。然而，FRIDA和FRIDA2完全是由3D软件生成的，因此它们的光学条件可能与现实情况不同。
. Frosi
2014年，belsi等[7]提出了一种由清晰图像和朦胧图像及其深度图配对组成的数据集，名为FROSI (fog Road Sign images dataset)。FROSI是使用3D建模软件SiVIC构建的。FROSI以道路标志为重点，包含504张原始图像，共计1620张道路标志。在每个图像中，道路标志被放置在不同的距离上。FROSI中的雾霾图像是根据SiVIC软件中的大气散射模型生成的。对于每个图像，7种类型的单位形成雾霾创建7种霾图像，能见度距离从50米到400米。图11为FROSI的样本图像。
Synthetic datasets
由于深度相机和激光雷达的发展，可以获得成对的RGB图像和相应的深度图，用于不同的研究目的。利用大气散射模型，可以利用原始图像及其对应的深度图合成朦胧图像。合成数据集由多对原始无雾图像和相应的朦胧图像组成。
NYU depth dataset V2
2012年，Silberman等[8]提出了NYU Depth dataset V2 (NYU Depth V2)数据集。它由微软Kinect深度相机记录的各种室内场景的视频序列组成，捕获RGB和深度图像。NYU深度数据集V2包含1449对密集标记的对齐RGB和深度图像，464个来自3个城市的场景，以及407,024个未标记的帧。在这些标记的图像中，每个项目都使用后跟实例号的类来标记(例如，cup1, cup2, cup3等)。由于NYU Depth V2是精确标记的，因此它被广泛应用于许多研究领域，包括图像去雾、语义分割、单镜头深度推断等。
图12(a)为NYU Depth Dataset V2生成的朦胧图像。
由于NYU Depth V2数据集具有准确的深度信息，研究人员首次可以通过ASM模型准确地合成朦胧图像。同时NYU Depth V2的大数据量也推动了机器学习和深度学习方法的去雾化研究。
Kitti
2012年，Geiger等[145]提出了一个由卡尔斯鲁厄理工学院和丰田工业学院命名的数据集KITTI。Geiger等人使用自动驾驶平台Annieway收集真实驾驶数据。他们为一辆标准旅行车配备了两台高分辨率彩色和灰度摄像机，以及一台Velodyne激光扫描仪，可以产生RGB、灰度和深度图像。它们还利用GPS定位系统在捕捉图像的同时记录准确的位置信息。KITTI数据集由389幅立体和光学流图像对、39.2 km长的立体视觉里程计序列以及在杂乱场景下捕获的200多k个三维目标注释组成。
KITTI因其真实世界的准确数据而在自动驾驶相关研究领域广受欢迎。研究人员可以利用场景深度信息合成雾霾图像。与NYU Depth V2数据集不同的是，KITTI数据集使用激光扫描仪而不是近红外相机，这使得它更准确，更适合户外场景
Middlebury
2014年，Scharstein等[9]引入了Middlebury数据集。它由33个室内场景数据集组成，分辨率为600万像素。他们精确地校准了深度图和RGB图像之间的误差，使该数据集适用于高精度研究。图12(b)显示了Middlebury产生的朦胧图像。
与NYU v2和KITTI一样，Middlebury也可以用于图像去雾，因为研究人员可以根据大气散射模型生成RGB和深度图的雾霾图像。2021年，Middlebury的扩展版本被提出，增加了24个数据集，使其更大，更适合训练深度学习模型。NYU v2、KITTI和Middlebury是许多后续图像去雾研究和数据集的基础。
. D-Hazy
2016年，Ancuti等[146]引入了D-Hazy数据集，该数据集由1400多幅有雾和无雾图像组成。D-hazy包含1449对图像，其中包含同一场景的ground truth图像和朦胧图像。它基于米德尔伯里和纽约大学深度V2数据集的深度信息，这些数据集提供了各种真实世界场景的深度图。图13为D-Hazy的样本图像。
D-Hazy使用真实世界的图像，而不是软件生成的。它是一个拥有1400多个图像对的大型数据集，适合训练深度学习算法，因此在后来的研究中得到了广泛的应用
HazeRD
2017年，Zhang等[147]提出了Haze Realistic Dataset (HazeRD)。HazeRD包含14个真实世界户外场景的无雾RGB图像和相应的深度图。除了图像，HazeRD还提供了一个MATLAB函数，可以根据大气散射模型生成不同雾霾参数的雾霾图像。使用提供的函数可以生成朦胧图像，也可以使用该方法生成带有深度信息的朦胧图像，例如Middlebury或NYU depth V2。图14为HazeRD的样本图像。
HazeRD受欢迎的原因之一是它提供了一套基于深度图生成不同密度雾霾的方法。将HazeRD与FRIDA2数据集相结合，研究不同浓度和非均匀状态下的图像去雾问题，如[70]所示。
Reside
2017年，Li等[10]提出了一种大规模的基准算法，名为REalistic Single Image DEhazing (live)。live由真实的朦胧图像和合成的朦胧图像组成。利用来自NYU2和Middlebury stereo室内深度数据集的1399张清晰图像生成的13990张合成朦胧图像。
针对不同的研究领域，live有5个子集，分别是室内训练集(ITS)、综合客观测试集(SOTS)、混合主观测试集(HSTS)、室外训练集(OTS)和现实世界任务驱动测试集(RTTS)。最常用的子集是综合目标测试集(SOTS)。室内无霾图像50张，室外无霾图像492张。
每个室内无雾图像与10个不同雾霾密度的朦胧图像配对。每个室外图像与1或2个不同雾霾密度的朦胧图像配对。图15显示了来自RESIDE-SOTS的样本图像。live的度量包括全参考方法SSIM和PSNR，以及无参考方法SSEQ和blinds - ii。全参考方法确保去雾图像尽可能多地保留原始图像的信息。无参考方法确保结果与人类感知高度一致。
Real-World datasets
虽然图像去雾问题越来越受到人们的关注，但很难得到有雾和无雾图像的匹配。大多数去霾数据集依赖于合成的雾霾图像，这些图像与现实情况存在差异，难以评估去霾算法的实际性能。2018年以后，利用雾霾发生器，仔细控制相同的照明条件，研究人员可以获得真实世界的配对雾霾和无雾图像。这对于图像去雾具有重要意义，研究人员可以在实际条件下评估去雾算法的性能。
I-Haze[11]和O-Haze[12]
2018年，Ancuti等人提出了I-Haze[11]和O-Haze[12]两个真实雾霾和无雾霾图像对的基准。I-Haze包含35对室内有雾和无雾图像，O-Haze包含45对室外有雾和无雾图像。I-Haze和O-Haze数据集中的雾霾图像是用LSM1500 PRO雾霾机生成的真实雾霾捕获的，产生的蒸汽颗粒直径为1-10 lm，与大气雾霾颗粒相似。在相同的照明条件下，捕获朦胧和无朦胧图像。I-Haze和O-Haze数据集的每张图像都包含一个麦克白颜色检查器。因此，I-Haze和O-Haze数据集可以用来确定雾霾的颜色效果，或者测试去雾算法的色彩保真度。图16显示了I-Haze和OHaze的样本图像。
I-Haze和O-Haze不仅是训练深度学习算法的好材料，也是评估除雾算法的好平台。此外，I-Haze 和 O-Haze 分别代表室内和室外图像去雾挑战基准。图 14 展示了来自 HazeRD 数据集的样本图像，这些图像分别用于 NTIRE 2018 计算机视觉与模式识别大会的图像去雾挑战评测基准[148]。
Dense-Haze
2019年，Ancuti等[149]提出了另一个基准，名为Dense-Haze。它由33对真实的雾霾和对应的各种户外场景的无雾图像组成。
针对重霾条件，他们使用两台LSM1500 PRO制霾机来产生重霾。朦胧和无朦胧对应的场景包含在相同照明参数下捕获的相同视觉内容。此外，Dense-Haze是NTIRE Workshop和CVPR 2019挑战赛的室外图像去雾挑战基准[150]。图17(a)为Dense-Haze数据集的样本图像。
NH-Haze
2020年，Ancuti等[151]提出了NH-Haze数据集，包括55对非均匀雾霾和无雾霾场景的室外图像。NH-Haze数据集中的霾是由霾机生成的。
在每个场景中也有麦克白颜色检查器，所以很容易评估去霾算法的色彩保真度。
在许多现实世界的情况下，如火灾或工业烟雾，雾霾不是均匀分布的。NH-Haze对图像去雾算法提出了更大的挑战。它是NTIRE Workshop和CVPR 2020挑战的非均匀图像去雾挑战基准[152]。
2021年，将NH-Haze数据集扩展为90对有雾和无雾图像，并作为CVPR 2021中NTIRE Workshop和Challenges的基准[153]。图17(b)为NH-Haze的样本图像。
Revide
2021年，Zhang等[154]提出了一种基于室内视频的去雾数据集，称为REal-world VIdeo dehazing (REVIDE)数据集。
REVIDE数据集中的雾霾场景由专业的雾霾生成器生成。在有雾和无雾的场景中，相机由高精度机械臂携带完成两个相同的运动镜头，保证两个镜头的位置和光照条件相同。REVIDE为视频除雾研究提供了良好的材料和平台。
图17(c)为来自REVIDE的样本图像。表2对上述图像去雾数据集进行了比较。表中列出了不同的除雾数据集的类型和特征。
Performance metrics and evaluation
除了算法和基准测试之外，性能指标也是图像去雾研究的重要组成部分。用于图像去雾研究的性能指标主要分为两类:全参考图像质量指标和无参考图像质量指标。利用这些指标，可以有效地衡量不同方法的除雾效果。
全参考图像质量指标
在有真地图像的情况下，通过对比输出图像和真地图像来评价算法的去雾效果。地真图像可以作为除雾效果的参考。这些度量被称为全参考质量度量。
Mean square error
均方误差(MSE)[155]是一种广泛使用的全参考图像质量度量，用于估计真实图像(Gt)与恢复图像(Or)之间的误差。取值范围为0 ~ 1。需要接近0。计算公式为:
其中Gt i;j ð Þ表示地真图像的像素强度，Or i;J ð Þ表示恢复图像的像素值。m和n表示像素的坐标值。R和C分别表示行和列。在评价去雾效果时，MSE越低，去雾效果越好，去雾后的图像越接近地面真实图像。
Mean absolute error
平均绝对误差(MAE)测量真实图像Gt与恢复图像Or之间的绝对差值。对于8位图像，它基本上是一个范围从0到255的正整数。MAE可计算为
MAE可以直接反映两幅图像之间像素级的差异。与MSE一样，MAE越低，去雾效果越好。
Peak signal to noise ratio
峰值信噪比(Peak signal to noise ratio, PSNR)[156]表示峰值信号能量与平均噪声能量的比值。以分贝(dB)表示，它可以被视为另一种形式的MSE。PSNR应该最大化。计算公式为:
MAX是像素颜色的上界，在8位图像中，MAX¼255。PSNR能有效地评价图像的清晰度，是图像去雾方法中常用的一种方法。PSNR越大，去雾效果越好。
. Structural similarity Index metric
结构相似指数度量(SSIM)[157]评估两幅图像m和n在亮度对比度和结构上的相似性。
用均值和方差计算两幅图像的亮度相似度。m和n的样本均值分别记为lm和ln。m和n的样本方差分别记为l2 m和l2 n。两幅图像亮度1 mð Þ;N计算为:
结构相似指数度量(SSIM)[157]评估两幅图像m和n在亮度对比度和结构上的相似性。
用均值和方差计算两幅图像的亮度相似度。m和n的样本均值分别记为lm和ln。m和n的样本方差分别记为l2 m和l2 n。两幅图像亮度1 mð Þ;N计算为:
m与n的交叉协方差记为lmn图像m的标准差记为rm。对比相似度c和结构相似度s计算为:
在式(11)中，默认为c3¼0:5c2。SSIM是亮度相似度、对比度相似度和结构相似度的函数。因此，SSIM可以写成:
SSIM是一个广泛使用的度量来评估两个图像的相似性。在图像去雾中，计算去雾结果与地面真值之间的SSIM。SSIM越高，去雾后的图像与相应的清晰图像越相似，去雾效果越好。
无参考图像质量指标
当不能获得地真值时，可以通过分析输出图像的一些内部特征来评价去雾算法的性能。这些指标被称为无参考质量指标，在这些指标的评价过程中不使用参考图像。
Gradient rationing at visible edges
Hautiere等[158]提出了一种通过计算可见边缘梯度之比的盲图像质量评估方法。将该方法应用于模糊图像和恢复图像，可以测量图像去雾方法的性能。
指标e是恢复图像中可见边缘与雾天图像的比值。其中，Nr表示恢复后的清晰图像中可见边缘的个数，No表示原始模糊图像中可见边缘的个数。E表示图像去雾过程中对比度的恢复程度。更高意味着更好的边缘可视性和清晰的细节。
式中ri为恢复图像与朦胧图像之间的梯度率。X是恢复图像中可见边缘的集合。ki表示x中的一条边，指标r 为图像梯度的增强程度。更高的r 表示更好的纹理信息。
其中r为饱和像素的百分比。A、B为图像大小，nr为恢复图像的饱和像素数，no为原始模糊图像的饱和像素数。Nr no计算多少像素在去雾后饱和。r值越小，信息损失越小，除雾效果越好。
可见边缘的梯度配给也称为盲对比度增强评估(Blind Contrast Enhancement Assessment, BCEA)，不仅用于自然场景去雾，也用于遥感图像去雾研究，如[159]。
Spatial spectral entropy-based quality SSEQ
基于空间光谱熵的质量(SSEQ)[160]模型利用扭曲图像的局部空间和光谱熵特征来评估图像的失真程度。SSEQ采用两阶段的失真分类框架，然后进行质量评估。SSEQ独立于数据库，与人眼判断的主观结果有很好的一致性
Bliinds-II
Saad等人[161]利用离散余弦变换系数的自然场景统计模型，设计了一种有效的指标blinds - ii。该方法基于简单的贝叶斯推理模型，通过评估某些特征来预测图像质量。blinds - ii是非失真专用的，这意味着它与失真类型无关，并且可以跨多种失真类型评估图像质量。
Experimental results and evaluation
在本节中，我们对各种去霾方法进行定性和定量的评价。具体来说，我们使用一些无参考指标来衡量一些经典的增强和恢复方法。此外，我们还采用了一些全参考指标来评估一些有代表性的基于深度学习的方法的去雾效果
. Comparison of classical dehazing methods
使用2010年至2021年的10个数据集，我们评估了各种经典方法的去雾性能，包括直方图均衡化(HE)、Retinex、暗通道先验(DCP)[1]、Tarel[47]、颜色衰减先验(CAP)[65]和雾线先验(NLD)[2]。我们从10个数据集中的每个数据集中随机抽取10张图像，形成一个新的数据集，该数据集共包含100张来自不同场景和雾霾条件的图像。使用新的数据集来检验这些经典方法的总体性能。
不同经典除雾方法的结果如图18所示，统计结果如表3所示。
从图18可以看出，FROSI是一个虚拟数据集。NYU-v2, Middlebury和resident是合成数据集。I-Haze, O-Haze, Dense-Haze, NH-Haze和REVIDE是真实世界的数据集。从时间顺序来看，模糊数据集已经从简单的虚拟场景、合成场景到复杂的现实场景演变而来。雾霾的类型也从稀薄到密集，从均匀到非均匀。这些数据集中的雾霾场景越来越接近真实情况，可以从综合方面衡量去雾算法的鲁棒性和适应性。
从图18可以清楚地看到，随着图像处理技术的进步，去雾算法的鲁棒性和自适应性逐渐提高。例如，早期的方法，如HE和Retinex算法，无法获得测试图像的视觉愉悦增强结果。HE除雾效果较强，但颜色一致性较差。Retinex法对颜色一致性有较大改善，但除雾效果较弱。与两种方法相比，后一种方法可以揭示更多的细节，并保留生动的颜色信息。travel方法在Middlebury和live等合成数据集上表现出了很好的性能，但在真实数据集上表现不佳。DCP在大多数类型的数据集上都有很好的去雾效果，但是在有白墙的室内数据集中，比如NYU-V2, DCP将白墙误认为是天空，因此效果不佳。请注意，与DCP、Tarel和CAP方法相比，NLD方法获得的结果在视觉上似乎更接近地面真值(GT)，颜色饱和度更低。
采用不同的指标，如SSIM、PSNR等指标来评价除雾效果。如表3所示，HE和Retinex方法的可见边缘比e较低，SSIM较低。MOF[70]具有较高的PSNR和SSIM，在其他方法中表现出较好的鲁棒性和适应性。CAP具有最高的PSNR，在视觉上表现出比以往方法更强的适应性，但不能处理密集雾霾图像。NLD具有最高的SSIM，在包括非均匀或密集雾霾图像在内的各种数据集上视觉上都表现出更好的性能。
基于深度学习方法的比较
在本节中，我们使用不同的数据集评估了几种基于深度学习的除雾方法。不同除雾方法的结果如图19所示。
随着雾霾数据集的发展，该算法的性能越来越好。从图19可以看出，DehazeNet和AOD-Net可以很好地处理虚拟图像和合成图像，但不能处理具有密集雾霾或非均匀雾霾的真实图像。GCANet在合成数据集和薄雾情况下也表现良好。对于雾霾较浓的真实世界图像，GCANet除雾效果较强，但色彩一致性较差。FFA-Net显示了优越的细节保留和颜色一致性。KTDN可以处理NH-Haze数据集中的非均匀霾，并且在I-Haze和O-Haze等现实数据集中表现良好。对于密集雾霾或合成雾霾，KTDN呈现网格化效果，颜色一致性较差。
表4显示了几种基于深度学习的除雾方法在代表性数据集上的性能。我们可以看到，近年来的消雾算法在PSNR和SSIM方面都有了很大的提高。其中，DCPDN结构简单，适应性强，PGCDN在Ihaze数据集上取得最佳效果，AECR-Net在live数据集上取得最佳效果。
图20显示了基于经典和深度学习的方法在各种数据集上的整体视觉结果。可以看出，随着时间的推移，图像去雾数据集变得越来越复杂和接近真实世界。近年来，除雾方法的综合性能、鲁棒性和适应性越来越好，越来越接近现实世界。在这些除雾方法中，HistEq或Retinex等图像增强方法往往缺乏色彩保存，导致过饱和度或偏色。图像恢复方法，如DCP和CAP，在保留色彩方面效果较好，但在某些极端情况下可能会失败。基于深度学习的方法通常更健壮，特别是对于现实世界的数据集具有更好的性能。
真实朦胧图像的综合对比
本节中，我们针对室外场景、室内场景、密集雾霾场景和非均匀雾霾场景4种不同类型的雾霾场景，对几种除雾方法的性能进行了综合评价。
(1)户外场景从最常见的户外、同质雾霾入手。室外场景是图像除雾最常见、研究最多的场景。我们使用O-Haze数据集来评估图像去雾算法在真实室外雾霾图像上的性能。表5显示了几种图像去雾方法在O-Haze数据集上的性能。
从表5可以看出，PGCDN的PSNR得分最高，FFA-Net的SSIM得分最高。但由于FFA-Net在混合live数据集上的性能优于PGCDN网络，因此我们认为FFA-Net网络在处理室外朦胧图像时具有最佳性能。
(2)室内场景另一个常被研究的场景是室内场景。I-Haze数据集由真实的室内雾图像组成，因此可以用来测试室内场景下图像去雾算法的真实性能。表6显示了每种图像去雾算法在I-Haze数据集上的性能。
从表6可以看出，PGCDN在PSNR和SSIM指标上都达到了最高。因此，PGCDN可以被认为是最适合室内场景的图像去雾算法。
浓雾霾场景
在密集雾霾场景中，信息丢失严重，难以恢复清晰的图像。稠密雾霾数据集由真实的稠密雾霾图像和相应的清晰图像组成。该数据集可以测试在密集雾霾场景下图像去雾算法的鲁棒性。表7显示了每种图像去雾算法在Dense-Haze数据集上的性能。
从表7可以看出，AECR-Net的PSNR得分最高，GFN的SSIM得分最高。基于在O-Haze和REVIDE数据集上的性能，我们认为AECRNet是处理密集雾霾场景的最佳方法。
(4)非均匀雾霾场景非均匀雾霾场景对图像去雾算法的适应性要求较高，必须基于局部信息而不是全局信息对雾霾密度浓度做出判断
NH-Haze数据集既包含非均匀霾图像，也包含相应的清晰图像。表8显示了每种图像去雾算法在NH-Haze数据集上的性能。
如表8所示，DCPDN在PSNR和SSIM上得分最高。因此，DCPDN可以看作是处理非均匀霾的最佳算法。基于混合REVIDE数据集的性能，KTDN也可以被认为是一种很好的非均匀雾霾图像去雾算法。
(5)去雾算法的速度测试为了测试每种图像去雾算法的速度，找到最佳的实时图像去雾算法，我们使用大小为640 * 480的图像来测试几种去雾算法的速度。
我们在Intel酷睿i7-9700 K CPU上对一些传统方法进行了速度测试。表9显示了传统方法的运行速度。
使用Nvidia GeForce RTX 2080 GPU测试了几种深度学习方法。表10显示了基于深度学习的除雾方法的运行速度。
从表9和表10可以看出，大多数深度学习算法难以实现实时性，其中AECR-Net的速度相对较快。传统的去雾算法速度较快，其中直方图均衡化和Tarel方法可以实现实时性。由于travel方法具有更好的去雾效果，我们认为travel方法是最好的实时去雾算法。
综合考虑性能和运行速度，由于AECR-Net在各种场景下的去雾性能相对较好，并且在深度学习算法中速度相对较快，因此可以认为AECR-Net是目前最好的图像去雾方法。
挑战与机遇
虽然近年来图像去雾技术取得了很大的进步，取得了优异的成绩，但仍有许多问题需要解决。在这里，我们将讨论这一领域的一些挑战和机遇。
1) Problems with current ASM
大气散射模型(ASM)是目前应用最广泛的描述雾状像形成的模型。许多图像去雾方法以及许多合成雾霾数据集都是基于ASM的。然而，Ju等[162]表明，目前的ASM不能完全描述雾天的成像过程。因此，在他们的工作中提出了增强大气散射模式(EASM)。EASM引入了光吸收系数这一新的参数，可以更好地解决昏暗效果，更好地模拟室外雾霾场景。随着大气散射模型或更先进的物理模型的改进，基于模型的算法的除雾效果也会相应提高。
2)非均质雾霾和致密雾霾
目前的除雾方法大多针对薄且均匀分布的雾霾，非均质雾霾和致密雾霾的除雾效果较差。而雾往往是不均匀的或在一些真实场景非常密集。针对这一问题，Ancuti等人分别在2019年和2020年提出了Dense-Haze[149]和NH-Haze[149]数据集。这两个基准为处理非均匀和密集的雾霾提供了良好的材料。尽管如此，大雾造成的信息损失削弱了大多数现有算法的性能，并且大多数除雾方法在处理浓雾时都是无效的，这也是一个事实。因此，需要更多的研究来解决非均匀和密集的雾霾问题。
3)实域与合成域的转换
如GridDehazeNet[110]等先前的研究所解释的，目前大多数去雾方法高度依赖于合成雾霾图像，也就是说这些算法依赖于合成模型。然而，由于模型与现实世界的条件不匹配，模型生成的图像可能与现实世界的图像有一定的偏差。一些真实世界的数据集，如REVIDE[154]、I-Haze[11]或O-Haze[12]，对于确定真实世界图像与合成图像之间的差异是有用的。也有研究解决了真实世界和合成图像之间的域转移[123]。因此，如何消除合成图像与真实图像之间的差异将是未来研究的重点之一。
4)计算效率
基于深度学习的图像去雾方法在去雾性能上优于许多传统方法。然而，深度学习模型往往规模更大，具有更多的计算参数，其速度通常比传统方法慢。由于基于深度学习的方法的规模和计算成本，这些方法需要高性能的设备，因此它们可能不会在一些现实世界的条件下广泛使用。因此，如何减小模型尺寸，加快计算速度也将是未来研究的重点之一。
结论：对单幅图像的除雾方法进行了综述。首先，对几种去雾方法进行了分类和讨论，包括图像增强方法、图像恢复方法、基于图像融合的方法和基于深度学习的方法。然后，按时间顺序列出常用的数据集和基准，并根据朦胧图像的获取方式将其分为三类。
此外，本文还介绍了几个度量标准。使用这些指标，从不同的方面衡量代表性方法的性能。最后，讨论了挑战和机遇，指出了未来研究的几个重点。
963
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
