TIP2022/去雾：Variational Single Nighttime Image Haze RemovalWith a Gray Haze-Line Prior具有灰色雾霾线先验的变分去雾

0.摘要

受发光效果的影响，夜间冰雹移动是一项具有挑战性的不适宜的任务。现有的夜间除霾方法通常会导致发光伪影、颜色偏移、过度曝光和噪声放大。因此，通过统计分析和理论分析，我们提出了一种简单有效的灰霾线先验(GHLP)来精确识别雾霾特征区域。这一先验证明了雾霾集中在RGB颜色空间的雾霾线上，可以精确投影到YUV颜色空间Y通道的灰色分量上。在此基础上，我们建立了一种新的统一的夜间雾霾去除框架，并将夜间雾霾图像分解为YUV颜色空间中的彩色和灰度分量。发光色彩校正和去雾是夜间除雾过程中两个重要的连续步骤。发光颜色校正方法被设计为分别去除颜色成分中的发光和增强灰色成分中的照明。在得到一幅精致的夜间朦胧图像后，我们提出了一种新的结构感知变分框架来同时估计倒置场景的亮度和灰度分量中的透射。这种方法不仅可以恢复高质量的夜景亮度，而且可以保留场景的重要结构信息和固有颜色。定量和定性的比较验证了所提出的夜间除雾方法与之前最先进的方法的优异效果。此外，该方法还可以扩展到恶劣天气场景，如沙尘暴场景和极端时间雾霾场景，实现图像增强。

1.概述

在雾霾天气下，相机拍摄的图像和视频会严重退化，视觉对比度差。由于雾霾天气时大气介质中存在大量的气溶胶粒子，它们会导致大气散射和吸收现象的出现。因此，大面积的雾霾在一定程度上严重影响了视觉导航、交通监控和遥感。因此，近年来，除霾任务由于其在日常生活中的广泛应用而引起了越来越多的关注。根据光源的不同，除雾方法可分为日间除雾和夜间除雾。前者依赖于白天的阳光，而后者主要受环境人工光源的影响。因此，白天去雾方法通常应用一个大气光像素(例如，最亮的像素)作为全局大气光，而夜间去雾方法估计整个场景的局部大气光，因为不均匀和五颜六色的环境空气光
近年来，随着理论和计算能力的不断提高，日间除霾方法得到了迅速发展。具体而言，在早期阶段，开发了基于极化的方法[1]、[2]、多图像去雾方法[3]-[5]和基于深度的模型[6]，以实现出色的去雾性能。然而，它们的操作过于复杂，难以在实际应用中广泛应用。随后，利用改进的图像形成模型[7]、有效先验[8]-[13]、显著约束/假设[14]-[16]、变分模型[15]、[17]-[21]和基于学习的算法[11]、[22]、[23]，进一步研究了单幅白天图像去雾方法。然而，当先验和约束/假设无效时，一些去雾化方法[7]-[16]会失败。例如，dark channel prior (DCP)[8]，作为一种经典的去雾方法，可以实现出色的雾霾去除，但它不适用于天空区域和白色物体。此外，基于学习的算法[11]、[22]、[23]自动学习相关的雾霾感知特征，有效地使用深度cnn去除雾霾。然而，它们高度依赖于大气散射模型合成的训练样本。当大气散射模型在某些极端情况下无效时，这些方法也不可避免地失败。与基于学习的去雾方法相比，变分模型不需要大量的训练样本，非常适用于恶劣天气下的重雾去除。在[17]中，使用了一种变分方法来执行空间变化的对比度增强，以在不估计场景深度结构的情况下去除雾霾。建立了差分-结构-保存变差模型[18]来估计精细传输并恢复实际场景。然而，这种模型在实践中可能会导致一些颜色错误。为了获得高质量的去雾效果，Liuet al.[19]引入了一个非局部总变差(NLTV)正则化项来改进传输估计，然后提出了一个新的传输自适应ltv模型来恢复场景亮度。该方法虽然能抑制去雾结果中的噪声和伪影放大，但容易造成明亮的物体亮度失真。Fanget al.[20]利用对数变换的域表示，提出了一种快速变分算法，在RGB颜色空间中同时实现雾霾去除和噪声抑制。随后，在[21]中，Fanget al.提出了一个在YUV颜色空间的Y通道中具有两个先验的变分模型来进行雾霾去除。[20]、[21]两种方法均获得满意的脱雾效果。然而，由于深度恒定假设的存在，它们很难适应非均匀降水
与白天的雾霾去除相比，夜间的雾霾去除是极具挑战性的，由于不均匀和五颜六色的环境空气光的影响。因此，白天去雾方法很难直接从夜间雾霾场景中去除雾霾。大多数夜间除雾方法在经过发光颜色校正后，都是基于DCP[8]去除雾霾。例如，Pei和Lee[24]使用颜色转移预处理校正颜色，使用改进的DCP方法去除雾霾，并在局部对比度校正中使用双边滤波器增强去雾霾结果。由于在颜色转移步骤中是手动选择目标图像获取参考色，因此在最终恢复的图像中容易产生颜色失真。为了在夜间雾霾场景中自动校正颜色，zhang等人提出了一种新的成像模型(NIM)来增强照度、校正颜色并恢复夜间场景的亮度。然而，对于复杂的夜间朦胧场景，这种方法通常会导致发光伪影、过度曝光和噪声放大。为了进一步提高去雾效果，Zhanget al.[26]提出了最大反射率先验(MRP)来进行环境照度估计，然后引入DCP[8]去雾。尽管该算法具有良好的去雾性能，但当MRP[26]对单独不同颜色的场景无效时，会产生颜色失真。随后，Zhanget al.[27]提出了一种新的综合基准，并设计了一种基于最优尺度融合的去雾(OSFD)方法，利用最优尺度最大反射率先验改善夜间场景辐射恢复。
此外，Liet al.[28]建立了一种新的夜间雾霾模型，然后基于层分离技术[29]进行辉光分解去除辉光。随后，他们估计了每个非重叠斑块中最亮的大气光的变化，并用DCP[8]存储场景亮度。为方便起见，本文将Li的方法[28]称为glow decomposition (NHRGD)夜间雾霾去除。Parket al.[30]在[28]的辉光分解基础上，结合全局和局部空气光改进了大气光估计，然后用加权熵细化了透射估计，从而实现了夜间雾霾去除。同样，Yanget al.[31]改进辉光分解[28]去除辉光，然后利用基于超像素的技术和加权引导图像滤波器优化大气光和透射估计，从而产生高质量的去雾结果。然而，当辉光分解中颜色约束无效时，[28]、[30]、[31]这些方法容易产生色差。此外，它们会在去雾结果中引起过度曝光，因为它们只是乘以一个放大因子来增强照明。最近，Koo和Kim[32]提出了一个基于学习的辉光分解网络来去除辉光，然后用DCP[8]实现了雾霾去除。除了基于[24]-[28]，[30]-[32]成像模型的夜间去雾方法，Ancutiet al.[33]采用多片大小来估计大气光，然后引入基于融合的方法来恢复无雾场景。然而，由于缺乏有效的发光颜色校正，最终输出可以保留辉光部分

图1所示。该方法在YUV颜色空间中的总体流程图(a)输入朦胧场景。(b)、©、(d)分别表示无光朦胧图像的U、V、Y通道。(e) Y通道的照明增强。(f) Y通道除雾。(g)除雾结果。

如上所述，现有的夜间除雾方法[24]-[28]，[30]-[33]通常会导致发光伪影，颜色偏移，过度曝光和噪声放大。为了规避这些问题，我们提出了一种简单有效的灰霾线先验(GHLP)，其中雾霾集中在灰色成分中，与颜色成分的相关性较小。此外，颜色通道补偿(3C)[34]表明，可以使用颜色成分充分去除辉光。因此，辉光和雾霾分别与颜色和灰色成分有关。基于该算法，将夜间雾霾图像分解为颜色和灰度分量。因此，从彩色和灰色组件中分别去除辉光和雾霾，以防止相互干扰。如图1所示，所提方法的所有过程都在YUVcolor空间中执行。首先，受3C[34]的启发，我们提出了一种消除发光伪影的颜色校正方法，同时防止颜色成分的颜色偏移。接下来，由于整个雾霾场景在去除光晕后变得昏暗，因此使用伽马校正来增强照度，避免在灰色部分过度曝光，从而产生精致的夜间雾霾图像。最后，提出了一种结构感知的变分框架，该框架可以同时估计倒置的场景亮度和透射率，同时在灰度分量中保留场景的重要结构和固有颜色。因此，该方法既能恢复高质量的场景辐射，又能防止去雾过程中的颜色和噪声伪影。大量的实验表明，我们的方法在夜间雾霾去除方面优于现有的最先进的除雾方法[25]-[28]，[32]。
本文的主要贡献如下
1)我们提出了一种简单有效的GHLP，通过统计和理论分析来识别精确的雾霾特征区域。在此基础上，我们在YUV颜色空间中建立了一种新的统一的夜间雾霾去除框架。
2)为了消除夜间雾霾场景中的发光效应，提出了一种精确可行的夜间雾霾图像发光颜色校正方法。
3)基于该先验，提出了一种结构感知的变分框架，用于同时估计夜间雾霾去除的反向场景亮度和透射率。该方法可以恢复高质量的夜间场景亮度，并保留整个场景的结构信息和固有颜色
本文的其余部分安排如下。在第二节中，将详细演示所提议的GHLP。在第三节中，描述了包括辉光去除和照度增强的辉光色彩校正方法。第四节提出了一种新的结构感知变分夜间雾霾去除框架。第五节提供了不同夜间除雾方法的大量实验和评价，第六节介绍了局限性和未来的工作，第七节总结了本文。

2.灰度雾霾线先验 Gray Haze-Line Prior

图2所示。GHLP的演示。(a)用GHLP对RGB颜色空间进行矢量分解。(b)， ©[28]的夜间朦胧场景和相应的夜间清晰场景。注意，N是©中整个场景中的任何清晰像素，M是(b)中N对应的模糊像素。对于模糊像素M，其含霾向量U被分解为颜色成分I_c和灰色成分I_g。这两个组件用来实现发光的颜色校正和雾霾去除，从而恢复清晰的场景辐射J。

夜间除雾霾是一个不简单的问题，比白天的除雾任务更具挑战性。为了简化这个问题，夜间雾霾去除分为两个任务:发光颜色校正和雾霾去除。在此背景下，我们提出了一种简单有效的GHLP方法，将模糊图像快速分解为彩色和灰色成分。然后使用这两个组件对夜间雾霾场景进行发光色彩校正和雾霾去除，从而生成高质量的夜间清晰图像。例如，在图2中，从彩色和灰色特征空间中的夜间朦胧场景(如M)中恢复夜间场景亮度(如N)。注意，整个去雾过程是在YUV颜色空间中实现的，以减少计算复杂度
受大气光照先验(AIP)[11]的激励，我们提出了一个在RGB颜色空间中雾霾集中在雾霾线(即灰色成分I_g)上的GHLP，与颜色成分I_c的关系较小。具体来说，雾霾的固有颜色一般为白/灰，分布在RGB颜色立方体的中轴上(称为灰雾线)，如图2(a)所示。数学上，有霾图像的灰色分量是其三个通道的最大公共向量，可以定义为

其中ρ是[0,1]范围内的定值。然后得到对应的颜色分量:I_c(x)=I(x)−I_g(x)
为了降低雾霾特征维数并有效去除雾霾，将灰色分量I_g投影到YUV颜色空间的Y通道中，根据RGB和YUV颜色空间之间的线性关系，得到精确的雾霾特征区(即I^Y_g(x)=ρ)。注意，I是输入的模糊图像在[0,1]范围内对应的YUV图像, I^Y_g是I的灰色分量。提出的先验的统计和理论分析描述如下

YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V信号分量，那么这样表示的图像就是黑白灰度图像。
其中“Y”表示明亮度（Luminance或Luma），也就是灰度值；
而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。
“亮度”是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面─色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。

YUV和RGB互相转换的公式如下（RGB取值范围均为0-255）︰
　Y = 0.299R + 0.587G + 0.114B
　U = -0.147R - 0.289G + 0.436B
　V = 0.615R - 0.515G - 0.100B
　R = Y + 1.14V
　G = Y - 0.39U - 0.58V
　B = Y + 2.03U

2.1.统计分析

图3所示。4000组合成像对上GHLP的统计分析。(a)来自residential数据集[35]的室内和室外合成样本。(b)合成雾霾样本在3D RGBcolor空间中的雾霾特征分布。©、(d)和(e)分别为R通道、G通道和B中颜色和灰色分量(即Ic Ig)的RMSE直方图

为了证明提出的先验的有效性，我们收集了4000个合成图像对，包括清晰图像和相应的合成模糊图像:分别从驻留数据集[35]中的室内训练集(ITS)和室外训练集(OTS)中选择1000个室内图像对和3000个室外图像对。图3(a)显示了几个合成室内和室外样品的例子。在RGB颜色空间中，我们计算平均差异(即平均雾霾强度)和对应的颜色和灰度分量的均方根误差(RMSE)。如图3(b)所示，所有样本对的平均雾霾强度都集中在RGB颜色立方体的轴(即灰色雾霾线)中心。另外，在图3©-(e)中，所有通道中颜色分量的均方根误差一般都小于0.15，而灰色分量的均方根误差变化明显。结果表明，雾霾集中在灰色成分上，与颜色成分的关系较小，这与提出的先验一致。因此，大量的统计实验得到了三维RGB颜色空间中的模糊特征分布，进一步验证了所提出的GHLP的有效性

图4所示。(a) Y通道和相应灰度分量的均方根误差直方图。(b) U和V通道RMSE的直方图。在图例中，Y, U和V分别表示YUV色彩空间的Y, U和V通道;G为Y通道的灰色分量

然后，将提出的先验算法应用于YUV颜色空间中精确识别模糊特征区域。为方便起见，所有样本的Y, U, V通道归一化为[0,1]。我们分别计算所有样本对的每个通道的RMSE和YUV颜色空间中相应灰度分量的RMSE。然后在图4(a)-(b)中给出相应的直方图。图4(b)中U和V通道的RMSEs普遍小于0.1，图4(a)中Y通道的RMSEs变化较大。这一发现表明雾霾对Y通道有显著的影响，如[11]、[21]的统计实验所示。此外，灰色分量的RMSEs总体上高于图4(a)中Y通道的RMSEs。这一结果表明雾霾对灰色分量的影响较大。也就是说，雾霾可以精确地投射到Y通道的灰色分量中，从而缩小了雾霾特征区域的范围。因此，我们在YUV颜色空间中展示了精确的雾霾特征区域(即灰色成分)，这有助于准确地去除雾霾

2.2.理论分析

常见大气散射模式[8]，[7]，[11]，[19]-[23]表示为

其中，I和J分别表示输入的朦胧场景和输出的清晰场景亮度;A t分别表示全球大气光和介质透射率;一旦估计出未知参数，就可以从输入的模糊图像中恢复出场景的辐射。此外，霾可以被定义为

如图2(a)所示，由于均匀大气中雾霾的固有颜色一般为白/灰，因此雾霾的像素值 Δ H ( x ) \Delta H(x)