Single Image Haze Removal Using Dark Channel Prior使用暗通道先验去除单个图像的雾霾

Single Image Haze Removal Using Dark Channel Prior使用暗通道先验去除单个图像的雾霾

• 提出了一种简单有效的图像先验-暗通道，用于去除单个输入图像中的阴霾。基于一个关键的观察结果——**室外无雾图像中的大多数局部斑块包含一些像素，其强度至少在一个颜色通道中非常低。**利用该先验与雾霾成像模型相结合，可以直接估计雾霾的厚度，恢复出高质量的无雾图像，并获得高质量的深度图。

• 介绍

  •     室外场景图像通常收到大气中浑浊介质（颗粒和水滴）的影响。雾、霾和烟就是由于大气的吸收和散射而产生的这种现象。摄像机从场景点接收到的辐照度沿视线衰减。入射光与空气光混合，空气光是被大气粒子反射到视线中的环境光，退化的图像失去对比度和色彩保真度。由于散射的数量取决于场景点到相机的距离，因此退化是空间变化的。

  • 本文发现，在大多数不覆盖天空的局部区域中，一些像素（或暗像素）通常在至少一个颜色（RGB）通道中具有非常低的强度。在模糊图像中，该通道中这些暗像素的强度主要是由空气光贡献的。因此，这些暗像素可以直接提供对雾霾透射率的准确估计。将雾霾成像模型与软抠图插值方法相结合，可以恢复出高质量的无雾图像，并生成良好的深度图。

  • 广泛用于描述模糊图像形成的模型是：I为观测强度，J为场景亮度，A为全球大气光，t为介质透射率，表示到达相机的未散射部分光。去霾的目标是从I中恢复J、A、t。对于一个n像素的彩色图像I，有3n个约束和4n+3个未知数。这使得消除雾霾的问题本质上是模糊的。J(x)t(x)称为直接衰减，描述了场景亮度及其在介质中的衰减，A(1-t(x))称为空气光，是先前散射光的结果，导致场景颜色的偏移。直接衰减是场景亮度的乘性失真，空气光是加性失真。当大气均匀时，透射t可表示为：。β为大气散射系数，d为场景深度。该方程表明场景亮度随深度成指数衰减。如果能恢复传输，也 就能恢复到第一个未知的深度。公式①在RGB颜色空间中，A、I(x)、J（x）共面，他们的端点共线。传动比t为两线段之比：                                  c∈{r,g,b},是颜色通道索引。

• 暗通道先验

  • 暗通道先验基于对室外无雾霾图像的观察：在大多数非天空斑块中，至少有一个颜色通道的某些像素的强度非常低，接近0。等同在这样的色块中，最小强度接近于0。

  • 对于任意图像J，暗通道J^dark的计算公式为：; J^c 是J的一个颜色通道，Ω(x)是以x为中心的局部斑块。暗通道是两个最小算子的结果：对每个像素执行，是最小滤波器。最小算子是可交换的。

  • 如果J是室外无雾图像，除了天空区域，J的暗通道强度很低，区域0。       --->0;称这种观察为暗通道先验。

  • 暗通道的低强度由以下原因造成：1、阴影。如城市景观图像中汽车、建筑物、窗户内部的阴影，或景观图像中树叶、树木、岩石的阴影。2、彩色物体或表面，如任何颜色通道中反射率较低的物体（绿色的草、树、植物，红色或黄色的花、叶，蓝色的水面）将导致暗通道中的低值；3、深色的物体或表面，深色的树干、石头。由于自然的户外图像通常是彩色的，充满阴影，这些图像的暗通道真的很暗。

  •  暗通道通过减去场景中最暗物体对应的恒定值来去除空间均匀的雾霾。提出了一种新的自然图像去雾先验算法。

  • 使用暗通道先验去除雾霾假设大气光A是给定的，首先对①式进行归一化：      ⑦

  • 进一步假设Ω(x)中的传输是恒定的。我们用t ̃(x)表示这种传输，然后计算⑦两边的暗通道，，t ̃(x)是一个常数，可以放在最小运算符外边。

  • 由于场景亮度J为无雾图像，由于暗通道先验，J的暗通道接近于零:，由于总是正的，导致，将公式⑩带入公式⑧中，消去乘法项，估计传输(x):。事实上是归一化模糊图像的暗通道。它直接提供了传输的估计。雾霾图像I中的天空颜色通常与大气光A非常相似，因此在天空区域有，并且在（11）式中(x)—>0.

  • 实际上，即使在晴朗的日子里，大气中也不是完全没有任何颗粒。所以当我们看远处的物体时，雾霾仍然存在。此外，雾霾的存在是人类感知深度的基本线索.这种现象被称为空中透视。如果我们彻底去除雾霾，图像可能会显得不自然，我们可能会失去深度的感觉。因此，我们可以选择通过对（11）式引入一个常数参数来为远处的物体保持非常少量的雾霾，

  • 在（11）的推导中，暗通道先验是消除雾度成像模型（1）中乘法项（直接透射）的必要条件，只剩下加法项（空气光）。加法项改变了局部暗像素的强度。在暗通道先验的帮助下，乘法项被丢弃，加法项足以估计透射率。我们可以进一步推广（1）：，其中、不一定相同，使用（11）式的方法，我们可以估计，从而分离加法项。简化为乘法形式并且可以使用其他约束或先验来进一步解开这个术语。使用（12），暗通道先验是有效的恢复鲜艳的颜色和揭示低对比度的对象。传输图是合理的。主要问题是一些光晕和块伪影。这是因为在一个贴片中传输并不总是恒定的。在下一节中，我们提出了一种软抠图方法来细化传输图

•  软通道

  • 方程（1）与图像消光方程具有相似的形式：   （14）;其中F和B分别为前景和背景颜色，α为前景不透明度，薄雾成像方程中的透射图就是alpha图。可以采用一种封闭形式的抠图框架[来细化传输。用t(x)表示精细化的传输图，将t(x)和(x)的向量形式表示为t和，最小化以下代价函数：  （15）；第一项式平滑项，第二项是权重为λ的数据项，L为消光拉普拉斯矩阵，其(i,j)元素定义为：,其中和是图像I在像素i和j处的颜色，是克罗内克函数，和是窗口中颜色的均值和协方差矩阵，是3x3的单位矩阵，是正则化参数，||是窗口的像素数。

  • 最优t可以通过求解以下稀疏线性系统得到：(L+λU)t = λ；（17）；其中U是与l大小相同的单位矩阵，设置λ是的t能被平滑的约束。（16）中的消光拉普拉斯矩阵的推导基于一个色线假设：局部小块的前景、背景色位于RGB色彩空间中的单线上。色线假设也适用于雾霾去除问题。场景亮度J是一个自然图像，大气光A是一个常数，满足假设，将消光拉普拉斯矩阵作为消霾问题的平滑项是有效的。

  • 在进行线性化（公式17）后，对t进行双边滤波以平滑其小尺度纹理

•  估算大气光

  • 一直假设大气光A是已知的，本节提出了一种估算A的方法。之前将雾霾最不透明区域的颜色作为A或者A的初始猜测。很少注意到”最雾不透明“区域的检测。模糊图像中最亮的像素被认为是最不透明的，是由当天气阴天，阳光可以忽略的时候才会出现这种情况，并且大气光是场景的唯一照明源，因此每个颜色通道的场景亮度由        ，R≤1，是场景点的反射率，雾霾成像方程（1）可以写成：，当图像中存在无限距离t≈0时的像素时，最亮的I时最模糊的，近似等于A。在实践中我们很少能忽略阳光，考虑太阳光S，我们修改（18）为：，（19）便可以写成： 。在 这种情况下，整个图像中最亮的像素可以比大气光更亮，可以在白色的汽车（建筑）上。
  • 朦胧图像的暗通道近似于雾霾密度，可以利用暗通道来检测雾霾最不透明的区域，提高大气光的估计。首先在暗通道中挑选最亮的0.1%像素，这些像素通常时最模糊不透明的。在这些像素中，选择输入图像I中强度最高的像素作为大气光。这些像素可能不是整个输入图像中最亮的像素。

• 恢复场景亮度

  • 利用大气光和透射图，可以根据（1）恢复场景亮度，但当透射t(x)接近于0时，直接衰减项J(x)t(x)可能非常接近0，直接恢复场景亮度J容易产生噪声。因此将t(x)的下限设置为t0,即在非常密集的雾霾区域保留少量的雾霾。最终场景亮度J*x):

• patch 大小

  • 暗通道先验对于较大的patch尺寸变得更好，因为patch包含暗像素的概率增加了。斑块尺寸越大，暗通道越暗。如果光斑尺寸太大，深度边缘附近的光晕可能会变得更强