去雾论文Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky

Li Z, Zheng X, Bhanu B, et al. Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky[C]// Fast Region-Adaptive Defogging and Enhancement for Outdoor Images Containing Sky. 2020 25th International Conference on Pattern Recognition (ICPR). IEEE: 8267-8274.

包含天空的室外图像的快速区域自适应去雾和增强（分割+亮度翻转颜色恢复+局部Gamma）

摘要

恶劣的天气、阴霾和雾会严重降低户外成像系统的性能。由于大范围的景深，大多数图像去雾或增强方法在应用于现实世界的朦胧室外场景时，尤其是有天空的场景时，都会出现颜色失真和光晕伪影。为了有效地恢复远处和附近区域的细节并保持天空的色彩保真度，在本研究中，我们提出了一种基于可替换插件分割模块和区域自适应处理的新型图像去雾和增强方法。首先，将灰色天空、纯白色物体和其他部分的区域分开。其次，将具有颜色恢复 (MSRCR) 和基于区域比率的自适应 Gamma 校正的亮度反转多尺度 Retinex 应用于非灰色和非白色区域。最后，通过使用均值滤波区域掩码无缝拼接增强区域。大量实验表明，所提出的方法不仅在可见性和色彩保真度方面都优于几种最先进的去雾方法，而且还提供了具有更少伪影和光晕的增强输出，尤其是在天空区域。

1. 介绍

恶劣的天气——阴霾、雨、雾、雪和沙尘暴——会由于低光能见度条件而降低户外成像和监测系统的性能 [1]。 由于光的散射和大气颗粒物的吸收 [2]，在这些天气条件下捕获的图像会显着退化。 为了在不更换相机或使用额外设备的情况下提高输入图像的质量，图像去雾和增强技术可用于大多数易受恶劣天气影响的现有户外成像系统。

为了消除雾霾的影响，人们提出了各种图像去雾和增强方法来恢复图像中的颜色、边缘和细节。图 1 显示了通过不同方法去雾的室外图像的示例。为了同时实现动态范围压缩、颜色一致性和亮度再现，Jobson [4] 将他们的单尺度 Retinex 扩展为具有颜色恢复 (MSRCR) 的多尺度 Retinex (MSR)，这对于增强 8 位彩色图像特别有用照明缺陷。 Wang[5]利用MSRCR算法提出了一种基于物理模型和图像亮度分量的单幅图像去雾方法；然而，一些户外场景的图像颜色失真。值得注意的是，Galdran [6] 从理论上证明了基于 Retinex 的对反转强度的增强解决了图像去雾问题。 Berman [7] 通过识别 RGB 空间中的雾霾线，为图像去雾 (NLD) 引入了非局部先验。但是，当大气光比场景亮得多时，这种方法可能会失败，这在室外朦胧的场景中很常见。为了自然地还原带有天空的图像，Chen [8] 通过设计多个滤波器（F-DCP）和先验场景假设，提出了一种基于改进的暗通道先验（DCP）的保色单图像去雾方法。 Zhu [9] 提出了一种基于颜色衰减先验（CAP）和深度图监督学习的快速图像去雾方法。 Cai [10] 构建了一个可训练的端到端深度神经网络 (DNN) DehazeNet 来估计传输图，然后使用大气散射模型恢复无雾图像。 Yang [11] 开发了一个近端 DehazeNet（PDN），将雾霾成像模型约束和图像先验学习整合到一个网络中。 Liu [12] 提出了一种用于单图像去雾的端到端可训练 GridDehazeNet (GDN)，它不依赖于大气散射模型。

与室内图像相比，室外场景的图像通常具有更大的景深 (DOF)，从无限的天空跨越到附近的物体。 近距离和远距离摄影的图像先验模型有很大不同。 现有的图像去雾方法，包括 Retinex [3-5, 13]、先验信息 [6-7] 和学习 [8-11] 方法，通过去雾在一定程度上提高了可见性。 然而，这些方法主要存在颜色失真、无雾区域的过度增强或天空区域的光晕伪影 [1]，如图 1 所示。

为了自然地去雾和增强远处和附近的区域并保留室外图像中天空区域的颜色，我们提出了一种**区域自适应图像去雾和增强（RADE）**方法。以前的工作和我们的工作之间的差异列在表 I 中。提出了亮度反转 MSRCR (Lu-inv MSRCR) 增强和基于区域比的自适应 Gamma 校正。此外，研究了各种区域分割方法并采用了无缝拼接技术。值得注意的是，所提出的方法在对天空的室外场景进行去雾方面是有效的，并且不需要训练数据或先验知识。我们的主要贡献如下：（1）我们引入了一个可替换的插件区域分割模块，并讨论了分割灰色天空、白色物体和其他区域的典型分割方法； (2) 我们提出了亮度反转 MSRCR 作为传统 MSRCR 的保色和快速版本； (3) 我们提出了一种基于区域比率的局部伽玛变换，作为进一步的自适应增强和色彩校正。

2 技术方法

由于远距和短距成像之间的差异，远处天空和被灰色雾霾覆盖的远处物体的退化先验与场景中的附近物体不同。 因此，对于具有各种深度物体的室外图像，单一的去雾或增强技术几乎无法获得满意的输出。 由于雾霾的存在，直接强度增强可能会在远处引入光晕伪影。 过度去雾往往会导致整体变暗，尤其是对于场景中附近的物体。 此外，单独应用这些技术中的任何一种都容易导致远处天空或附近物体的颜色失真。

考虑到室外图像上出现的区域的多样性，所提出的方法将选择性技术应用于三种类型的区域：(1) 白色或近似白色物体，(2) 灰色天空和雾霾覆盖的远处区域，(3) 和其它地方。正如包括 MSRCR 在内的许多图像去雾或增强算法所示，对图像中白色或极浅颜色区域的过度处理很容易导致伪影和光晕，这也是引入颜色失真的关键因素 [19]。然而，白色或接近白色的物体很少包含输入图像记录的室外场景的细节或信息；因此，它们不需要过度的增强或处理。此外，对于颜色成分很少的灰色区域，这通常与天空（位于很远的距离）或包含一些细节（如建筑物或树木）的阴霾覆盖区域有关，对比度受限的自适应直方图均衡化（CLAHE）[20 ] 在大多数情况下产生令人满意的输出。这是我们将两类地区与其他地区分开的动机。

图 2 描述了所提出的技术方法的主要流程图。 我们指定了五个主要过程：(1) Lu-inv MSRCR，(2) 区域分割，(3) 灰色区域的 CLAHE，(4) 基于区域比率的自适应 Gamma 校正，以及 (5) 无缝拼接。 这些步骤的中间产品的示例也显示在图 2 中。

A. 区域分割

几种方法可用于图像分割。 我们设计了一个可替换的插件分割模块，并测试了基于阈值、K-means 聚类 [21]、DCP 中的传输图和语义分割 DNN [22] 的四种典型方法。 尽管大多数分割方法是针对对象识别或前景/背景选择等任务提出的，但它们可以通过在输出上设置阈值来区分白色、灰色和其他区域。 值得注意的是，为了有效和高效的分割，我们在这项工作中使用的阈值技术也可以直接应用于输入模糊图像的亮度分量，其中包含与 DOF 相关的光强度的最多信息。

首先，在预处理中，输入图像的亮度 Y 被一个中值滤波器去噪。 此外，根据Y的值，输入图像的像素被两个阈值t1和t2分为三类：1为白色或近白色物体，2为灰色区域（包括天空区域），3为其他 区域，如（1）。 对于灰度图像，像素值 0 表示纯黑色，1 表示纯白色。 因此，场景中的白色或极浅色物体与亮度值非常接近1的像素有关。 同样，由于雾霾和雾气，无限远处的天空和被雾霾覆盖的一些远程物体看起来是灰色的 或灰白色。 因此，这些像素的通道 Y 强度接近 1，但小于白色或近白色物体中像素的强度。

其中 (x,y) 是像素坐标； Y是灰度亮度图像； L为区域掩码所指示的标签图像； t1 和 t2 是介于 0 和 1 之间的阈值，用于将纯白色和灰色区域与其他区域分开。 在我们的实验中，我们设置 t1 = 0.72 和 t2 = 0.97 作为经验值。 因此，值大于 0.97 的像素被认为是“白色或接近白色的物体”，值在 0.72 和 0.97 之间的像素是“灰色区域”，值小于 0.72 的像素是“其他区域”。

对于除语义分割 DNN 模型之外的其他分割方法，阈值设置可以直接应用于其输出。对于DNNs，因为大部分都标注了天空区域，所以我们只需要通过阈值t2=0.97来区分纯白色区域，并结合除标注天空之外的其他区域。图 3 显示了不同分割结果和相应去雾图像的示例。对于大多数图像，这些方法可以有效区分三种类型的区域。尽管它们产生的区域蒙版大不相同，但去雾后的输出显示出细微的区别（参见图 3 最后一行图像顶部的明亮白色天空区域）。原因是白色和灰色区域不会被 RADE 过度增强以保持颜色。结果，这两种类型的区域在去雾后保持接近的灰度。此外，RADE 应用淡入淡出算法进行无缝拼接，从而平滑区域之间的边界。这些分割方法的定量比较在第四节中讨论。

B. 亮度反转 MSRCR

为了改善色彩再现并提供动态范围压缩，MSRCR 被提议作为 MSR 算法的扩展，具有色彩恢复因子 Ci(x,y) [4]。
$$R_{MSRCRi}=C_i\cdot R_{MSRi}$$
其中 RMSRi 和 RMSRCRi 分别是由 MSR 和 MSRCR 算法增强的输出图像的对数； Ci表示第i个通道的颜色恢复系数，表示为（3）。

$$C_i=\beta \ln (a{I}_i/\sum _{c=1}$$