BDPK: Bayesian Dehazing Using Prior Knowledge （翻译）

BDPK: Bayesian Dehazing Using Prior Knowledge （翻译）

摘要 — 大气散射模型（ASM）在模糊图像恢复中得到了广泛的应用。然而，当输入的模糊图像不能完全满足模型假设的均匀大气甚至光照条件时，恢复的反射率可能会偏离真实场景。在本文中，我们打破了这些限制，重新定义了一个更可靠的ASM (RASM)，它非常适合各种实际场景。在RASM的基础上，我们提出了一种简单有效的基于先验知识的贝叶斯去雾算法（BDPK）。我们的策略是将单个图像去雾问题转化为最大后验概率问题，利用现有的先验约束将其近似为优化函数。为了有效地求解这个优化函数，引入了交替极小化技术，使我们能够直接恢复场景反射率。在大量具有挑战性的图像上进行的实验揭示了BDPK在去雾方面的能力，并验证了其在质量和效率方面优于当前的几种最先进的技术。

关键词 — 图像去雾，大气散射模型，贝叶斯理论，深度图，散射分布。

I.介绍

在恶劣的天气条件下，物体的辐照度在到达相机前会被大气中的悬浮粒子吸收和散射。在恶劣天气下拍摄的图像常常受到低能见度的影响，从而导致对比度降低和颜色失真，如图1(a)所示。这种低质量势必会严重地降低主要依赖于高质量输入的计算机视觉应用的性能，如监视[1]、[2]、智能车辆[3]和目标识别[4]、[5]。为了使隐藏的信息可见，迫切需要一种有效、实用的单图像去雾技术。

图1 与基于融合的去雾技术的比较。（a）模糊区域。
（b）Ancuti等人的结果。（c） Choi等人的结果。（d）BDPK的结果

众所周知，图像去雾是一个固有的不适定问题，因为测量场景深度对相机来说是困难的。直接利用传统的图像增强方法[6]-[14]来恢复模糊图像的对比度，可能是最直观、最简单的地埋区域可见度恢复方法。然而，由于忽略了图片退化机制[15]，这些技术在某种程度上受到了限制。例如，直方图均衡化(histogram qualization, HE)[6]通过扩展颜色通道的动态范围来提高输入图像的全局对比度，但是它缺乏在每个区域扩大局部可见性的能力。虽然自适应直方图均衡化(AHE)[7]有效地克服了上述缺陷，但也可能会引起过度增强的问题，并且需要考虑其较大的计算复杂度。视网膜方法[8]-[10]经过几十年的发展，取得了很大的进步。实现了更好的动态范围压缩和色调再现。遗憾的是，边缘保持能力差会导致[16]不连续区域的晕影现象。gamma correction[11]和非线性拉伸操作[12]的核心思想是在不考虑相邻内容的情况下对单个像素值进行修正，因此它们增强后的结果缺乏视觉真实感。均匀滤波[13]联合利用频率滤波和灰度变换恢复输入图像的目标清晰度，但恢复质量依赖于参数初始化。细节增强[14]通过在整个图像中突出物体轮廓来增加高频细节。毫无疑问，要在近距离区域的锐化和远距离区域的锐化之间取得更好的平衡是困难的。

得益于大气散射理论[15][17]Narasimhan和Nayar[18]提出了利用在不同大气条件下拍摄的同一场景的两张图像来去除雾霾的策略。使用该方法的前提是原输入应包含无限远点和无限近点。否则，图片在小深度区域会出现过饱和。Kopf等人[19]利用给定的数字地形地理坐标和城市模型提取场景深度，然后自动进行雾霾去除。根据偏振特性，Schechner et al.[20]，[21]利用来自两个相同场景的不同偏振角来去除退化图像中的雾霾。一般来说，这些早期的方法能够达到令人满意的复原效果，但是它们额外的要求一定是很难满足的。因此，它们的方法在许多实际应用中缺乏实用性。

近年来，单图像去雾技术引起了人们的广泛关注。这些技术的成功在于使用了强大的先验约束。例如，an[22]在一个输入中成功地去除了雾霾覆盖，因为晴天图像比对应的雾霾污染图像对比度更强。该方法对高度模糊图像有很好的效果，但模糊场景恢复后的色彩容易过饱和度。Fattal[23]假设表面黑斑与介质传输在局部区域内不相关，利用独立分量分析(ICA)消除霾。显然，当图像包含较少的颜色信息时，这种技术就受到了挑战。后来在[24]中，Fattal进一步推导了一个局部模型，解释了颜色线在模糊区域的含义，并利用它来寻找更准确的传输。尽管如此，这种方法可能会在单色图像中失败，因为在单色图像中颜色线的概念被简化了。暗通道先验(DCP)[25]的显著贡献使我们可以直接检测粗糙的雾霾厚度，从而通过软抠图来改善初始透过率进而恢复实际结果(SM) [26]。不幸的是，这个先验不能完全适用于场景亮度与自然光相似的情况。此外，DCP的结果总是显得太暗，而且由于复杂的SM，这种方法非常耗时。为了提高DCP的恢复质量，动态修复策略[27]、I₂ - norm-based DCP[28]和Laplacian-based机制[29]被提出用以提高估计传输的性能。Fisher的基于线性判别的方案设计了排除局部光源干扰和场景亮度约束[31]的方案来解决去雾场景的黑暗问题。为了提高效率，Huang等人[32]定义了一个混合DCP来规避回收结果中的晕效应，Gibson等人[33]，Huang等人[34]，He1等人[14]，Yu等人[35]和Xiao、Gan[36]寻求SM的替代方法来降低计算复杂度，如中值滤波、改进中值滤波[34]、引导图像滤波[14]和引导联合双边滤波[35]、[36]。孟等人[37]从DCP的几何角度出发，提出了带有边界约束和上下文正则化的去雾算法。这种方法可以彻底地揭示出感兴趣部分的场景结构，但不能从根本上解决DCP固有的缺陷。Chen等人[38]提出的策略，包括两个使用双直方图修改设计的模块，能够产生令人满意的视觉质量的恢复结果。然而，当不满足恒定空气光假设时，重建后的天空将遭受严重的颜色变化。He[39]等人利用差分结构保留先验计算场景传输，假设每个斑点可以线性表示到字典中。Lai等人通过引入理论边界和启发式边界来约束解空间，并设计了两个场景先验目标来挖掘最优传输。Kim等人使用定义的代价函数对传输进行了估计，代价函数由对比项和信息损失项组成，其除雾效果可通过手动设置函数所涉及的系数来调。Zhu等人[42]基于颜色衰减先验(CAP)建立了线性模型，并采用监督学习的方法确定了模型中的参数，这使得挖掘深度结构任务更加方便。遗憾的是，由于散射系数不确定，还原质量得不到保证。利用机器学习框架(MLF)， Tang等人[43]，Cai等人[44]和Ren等人[45]通过混合已建立的假设/先验训练去雾系统，为去雾提供了新的思路。虽然他们的系统可以在很大程度上弥补模糊等相关特性的弱点，但是所采用的复杂的MLF必然会降低实时性。Galdran等人提出了感知色彩校正框架(PCCF)[46]和名为STRESS[47]的增强框架，对单一输入进行图像去雾。为了获得更真实的结果，他们的团队修改了之前的PCCF，并进一步开发了基于融合的变分图像去雾(FVID)[48]来在远距离区域保持高对比度，在近距离区域保持合理的内容。Nishino等人[49]提出的另一种解决方案是采用贝叶斯后验概率模型通过充分利用潜在的统计结构来消除雾霾。这种方法可以在大多数情况下得到非常优秀的结果，但是它可能在接近无限深度的区域产生一些黑暗的伪影。此外，该方法所采用的阶乘马尔可夫随机场(FMRF)计算量大，影响了该方法的应用前景。

在这篇论文中，根据我们之前的工作[50]和现实世界[42]中确实存在非均匀大气现象，我们重新定义了大气散射模型中的成像参数，以提高模型的通用性。在此基础上，在[49]的启发下，提出了一种简单有效的贝叶斯图像去雾算法。具体来说，利用已有的先验知识，首先推导出了基于散射分布图、深度图和场景反照率的去雾优化函数。然后，结合优化函数和引入的交替极小化技术(AMT)，我们可以恢复视觉上真实的结果，得到去除雾霾的两个副产品(场景深度和散射分布图)。实验结果如图1所示，与著名的基于融合的去雾技术Ancuti和Ancuti[51]以及Choi等人的[52]相比，本文提出的BDPK能够更好地恢复边缘对比度和色彩生成度。

II. 精炼大气散射模型

在机器视觉和计算机图形学中，大气散射模型(ASM)[15]，[17]，[18]被广泛用于描述模糊图像的形成(见图2(a,b))。这个模型可以简单的表示为
$$I(x,y)=A\cdot \rho (x,y)\cdot t(x,y)+A\cdot (1-t(x,y))\text{\hspace{1em}(1)}$$

图2 (a)均匀大气情况。(b)大气散射齐次情况下的模型说明。©非均匀大气情况
(悬浮粒子的分布因颜色不同而有所不同盒)。(d)非均匀情况下的大气散射模型
的情况。

其中$I$是有雾图像，$\rho$是期望现场反射率，$A$是通常假定为常数的大气光常数[22]- [25][27]- [45][49]，$t$是媒介传播。在模型(1)中，右边的第一项被称为直接衰减，它描述了来自悬浮粒子的场景反射光的直接影响。第二项是空气光，它表示由散射光引起的颜色变化。当大气分布是均匀的，传输$t$定义为
$$t(x,y)=e^{-{\beta }_0\cdot d(x,y)}\text{\hspace{1em}(2)}$$
其中${\beta }_0$和$d$分别是散射系数和场景深度。式(1)(2)表示了场景反照率随场景深度呈指数衰减。我们的[50]的初步工作揭示了在不均匀的照明条件下传统的ASM无效的，这个缺陷可以通过重新定义全球大气光$A$来解决 — 将$A$作为场景入射光$S$(更多的技术细节可以在我们的研究中找到[50])。在本文中，我们进一步考虑了某些粒子分布在空间上的不均匀现象的特定的场景。这意味着${\beta }_0$这个假设常数在处理光照不均匀情况时会遇到困难（见图2（c，d）），因此，我们打算打破这个合理的假设，即，重新定义${\beta }_0$常数作为随像素位置变化而变化的散射分布$\beta$。在以上分析的基础上，得到了较为可靠的大气散射模型(RASM)，可以描述为$$\begin{array}{rl}\mathbf{I}(x,y)=& \mathbf{S}(i)\cdot \mathbf{\rho }(x,y)\cdot e^{-\beta (x,y)\cdot d(x,y)}\\ & +\mathbf{S}(i)\cdot \left(1-e^{-\beta (x,y)\cdot d(x,y)}\right)\end{array}\text{\hspace{1em}(3)}$$其中$S(i)$为第$i$个场景[50]的入射光。虽然与ASM相比，RASM更符合现实世界，但是当使用这个模型时，这是一个更具挑战性的任务，因为可用的结构信息明显不足。

III. 提出BKPD

正如我们在第一部分中所解释的，单幅图像的成功去雾取决于先验知识的有效性，然而上述前提的局限性在某些特殊情况下是不可避免的。为此，我们开发了名为BDPK的快速去雾技术，它基于贝叶斯理论和RASM。BDPK可以充分利用图像先验的潜在关系来补偿这些缺点，从而恢复得到更直观舒适的图像。

A. MAP模型

受到[49],[53]-[55]的启发，BDPK的关键步骤就是将有雾图像因式分解到现场反照率$\rho$，场景深度$d$和散射分布$\beta$。为了避免式3非负，我们将它进行了如下的变换$$\mathbf{S}(i)-\mathbf{I}(x,y)=\mathbf{S}(i)\cdot (1-\mathbf{\rho }(x,y))\cdot e^{-\beta (x,y)\cdot d(x,y)}\text{\hspace{1em}(4)}$$然后对式(4)中等式两边取对数运算得$$\begin{array}{rl}\ln (\mathbf{S}(i)-\mathbf{I}(x,y))=& \ln (\mathbf{S}(i)\cdot (1-\mathbf{\rho }(x,y)))\\ & -\beta (x,y)\cdot d(x,y)\end{array}\text{\hspace{1em}(5)}$$考虑到传感器的噪声是另一个重要的退化因素[54]并且使${\mathbf{I}}^{\prime }(x,y)=\ln (\mathbf{S}(i)-\mathbf{I}(x,y))$，${\mathbf{\rho }}^{\prime }(x,y)=\ln (\mathbf{S}(i)-\mathbf{S}(i)\cdot \mathbf{\rho }(x,y))$，式（5）被简化为$${\mathbf{I}}^{\prime }(x,y)={\mathbf{\rho }}^{\prime }(x,y)-\beta (x,y)\cdot d(x,y)+n(x,y)\text{\hspace{1em}(6)}$$其中$n$表示附加噪声。如果$\mathbf{S}$被估计使用，我们可以将${\mathbf{I}}^{\prime }$看做“新的有雾图像”，因为它是一个已知的部分，包含了所有$\mathbf{I}$的信息。类似的，${\mathbf{\rho }}^{\prime }$可看做“无雾图像”。

由贝叶斯理论可知，由式（6）的全部参数所组成的后验概率可表示为$$p\left({\mathbf{\rho }}^{\prime },\beta ,d|{\mathbf{I}}^{\prime }\right)=\frac{p\left({\mathbf{I}}^{\prime }|{\mathbf{\rho }}^{\prime },\beta ,d\right)\cdot p\left({\mathbf{\rho }}^{\prime }|\beta ,d\right)\cdot p(\beta |d)\cdot p(d)}{p\left({\mathbf{I}}^{\prime }\right)}\text{\hspace{1em}(7)}$$其中$p\left({\mathbf{I}}^{\prime }\right)$是由给定${\mathbf{I}}^{\prime }$决定的常数。此外，可以发现${\mathbf{\rho }}^{\prime },\beta$和$d$全部和现实世界无关。因此，式（7）进一步等于$$p\left({\mathbf{\rho }}^{\prime },\beta ,d|{\mathbf{I}}^{\prime }\right)\propto p\left({\mathbf{I}}^{\prime }|{\mathbf{\rho }}^{\prime },\beta ,d\right)\cdot p\left({\mathbf{\rho }}^{\prime }\right)\cdot p(\beta )\cdot p(d)\text{\hspace{1em}(8)}$$为了存储“无雾图像”${\rho }^{\prime }$，我们将式（8）两侧取对数，并最大化其后验概率。因此，图像去雾的最大化后验概率（MAP）模型可以被表示为$$\begin{array}{l}\text{argmax}\left\{p\left({\mathbf{\rho }}^{\prime },\beta ,d|{\mathbf{I}}^{\prime }\right)\right\}\\ \propto \mathrm{argmin}\{-\ln \left(p\left({\mathbf{I}}^{\prime }|{\mathbf{\rho }}^{\prime },\beta ,d\right)\right)-\\ \ln \left(p\left({\mathbf{\rho }}^{\prime }\right)\right)-\ln (p(\beta ))-\ln (p(d))\}\end{array}\text{\hspace{1em}(9)}$$式（9）中我们明确阐述了式（6）中所有成像因素的概率密度函数的内在联系。这是图像去雾近似优化函数的重要基础。

B.模型近似

去雾模型MAP已经得到，但由于可获取信息的不足，从根本上说它是一个约束不足的问题。幸运的是，一些图像先验已经被发现。这启发我们为式（9）的每个部分设计概率密度函数(PDF)来近似一个对应于式（9）的优化函数,这使我们能直接恢复场景反射率。

定义 I: 为了降低模型的复杂性，我们假设附加噪声$n$为高斯白噪声。此外，基于所有参数的关系受式（6）约束的事实，我们不妨定义$$p\left({\mathbf{I}}^{\prime }|{\mathbf{\rho }}^{\prime },\beta ,d\right)=e^{-\frac{{\Vert {\mathbf{I}}^{\prime }-{\rho }^{\prime }+\beta \cdot d\Vert }_2^2}{{\lambda }_1}}\text{\hspace{1em}(10)}$$其中${\lambda }_1$是指数幂分布的方差（${\lambda }_2$${\lambda }_3$${\lambda }_4$同样）。上述PDF约束了所有未知部分的解空间，从而保证了恢复结果的真实性。

定义II: 晴天图像比对应的雾天图像具有更高的能见度[22]，这表明图像对比度信息越丰富，场景为真实场景的概率越大[对比度先验]。基于这一假设，PDF的${\rho }^{\prime }$被定义为$$p\left({\mathbf{\rho }}^{\prime }\right)=e^{-\frac{{\Vert \left(F-\nabla {\rho }^{\prime }\right)\Vert }_2^2}{{\lambda }_2}}\text{\hspace{1em}(11)}$$其中$F$是$\nabla {\rho }^{\prime }$的最高上限。除了对于高亮的纯白色物体，我们大致概括为$\nabla {\mathbf{\rho }}^{\prime }\in [0,4.6]$总体上应归于$S(i)\cdot (1-\rho (x,y))\in [0.01,1]$。因此，我们设置$F=5$.虽然对比度先验基本能反映场景反照率的客观规律，但Tan[22]恢复的结果表明，单纯强调对退化图像可见性的增强可能会导致过度饱和现象。为了解决PDF(11)中先前使用的对比的限制，提出了一个关于雾霾浓度的感知矩阵。它表示为$$W=e^{-\frac{(I-1{)}^2}{\sigma }}\cdot e^{-\frac{{\left(I_s\right)}^2}{\sigma }}\text{\hspace{1em}(12)}$$其中$\sigma =0.3$是规定的系数，$\bar{I}$和$I_s$分别是输入的亮度分量和饱和度分量。显而易见，数字化矩阵与场景亮度成反比，和饱和度成正比，这符合对于自然雾的人类视觉感知[42]。采用式（12）,${\rho }^{\prime }$的PDF最终可以表示为$$p\left({\mathbf{\rho }}^{\prime }\right)=e^{-W\cdot \frac{{\Vert \left(F-\nabla {\rho }^{\prime }\right)\Vert }_2^2}{{\lambda }_2}}\text{\hspace{1em}(13)}$$其中对于HVP的所有像素，W能够灵活控制对比度权重。一般来说,一个更厚的雾霾浓度导致了更大的对比度权重。该策略保证了对稠密模糊场景的恢复质量，避免了对模糊场景的过度增强

定义III: 一个“好的”深度图应该保存与原始模糊图像一致的整体深度结构和最细微的纹理结构[25],[41][结构先验]。因此，$d$的PDF可以定义为$$p(d)=e^{\frac{-{\gamma }_1\cdot \Vert d-d{\Vert }_2^2-{\gamma }_2\cdot \Vert \nabla d{\Vert }_2^2-{\gamma }_3\cdot \Vert \nabla d-\nabla I{\Vert }_2^2}{{\lambda }_3\cdot \left({\gamma }_1+{\gamma }_2+{\gamma }_3\right)}}\text{\hspace{1em}(14)}$$其中γ1,γ2和γ3是权重系数，$\tilde{d}$代表场景深度的初始估计。参考[49],[53]$\mathbf{I}$的最小分量可以看作是最近的深度,因此，我们将这个部分初始化为初始值深度 d ~ = min ⁡ c ∈ { R , G , B } ( I c ( x , y ) ) (15) \tilde{d}=\min _{c \in\{\mathrm{R}, \mathrm{G}, \mathrm{B}\}}\left(I^{c}(x, y)\right)\tag{15} d~=c∈{R,G,B}min​(Ic(x,y))(15)其中$c$表示色彩通道下标，$I^c$是$\mathbf{I}$的色彩通道。

定义IV： 与场景深度相似，我们注意到散射分布均匀地共享原始空间结构和局部平滑特性（见图2），基于这个发现，$\beta$的PDF定义为$$p(\beta )=e^{\frac{-{\gamma }_4\cdot \Vert \beta -\tilde{\beta }{\Vert }_2^2-{\gamma }_5\cdot \Vert \nabla \beta {\Vert }_2^2-{\gamma }_6\cdot \Vert \nabla \beta -\nabla I{\Vert }_2^2}{{\lambda }_4\cdot \left({\gamma }_4+{\gamma }_5+{\gamma }_6\right)}}\text{\hspace{1em}(16)}$$其中${\gamma }_4$，${\gamma }_5$和${\gamma }_6$是权重系数，$\tilde{\beta }$表示散射分布的初始估计。这里，需要考虑两个不同的大气环境条件：1）对于齐次的情况，我们设置$\tilde{\beta }=1$，这已经被证明在大多数情况下是足够的[42]；2）非均匀图像中像素的亮度经常随着大气粒子浓度的变化而急剧变化（见图2（c））。因此，我们为不均匀的情况初始化估计$\tilde{\beta }=\bar{I}$。

优化函数： 代入 PDFs(10)(13)(14)(16)到MAP模型(9)，去雾的优化函数可近似表达为$$\begin{array}{l}\mathrm{argmin}\left\{p\left({\mathbf{\rho }}^{\prime },\beta ,d|{\mathbf{I}}^{\prime }\right)\right\}\\ =\mathrm{argmin}\{{\theta }_1\cdot {\Vert {\mathbf{I}}^{\prime }-{\mathbf{\rho }}^{\prime }+\beta \cdot d\Vert }_2^2+{\theta }_2\cdot W\cdot {\Vert \nabla {\rho }^{\prime }-F\Vert }_2^2\\ +{\theta }_3\cdot \Vert d-\tilde{d}{\Vert }_2^2+{\theta }_4\cdot \Vert \nabla d{\Vert }_2^2+{\theta }_5\cdot \Vert \nabla d-\nabla \bar{I}{\Vert }_2^2+{\theta }_6\\ \cdot \Vert \beta -\tilde{\beta }{\Vert }_2^2+{\theta }_7\cdot \Vert \nabla \beta {\Vert }_2^2+{\theta }_8\cdot \Vert \nabla \beta -\nabla \bar{I}{\Vert }_2^2\}\end{array}\text{\hspace{1em}(17)}$$其中${\theta }_1=\frac{1}{{\lambda }_1}$，${\theta }_2=\frac{1}{{\lambda }_2}$，${\theta }_3=\frac{{\gamma }_1}{{\lambda }_3\cdot \left({\gamma }_1+{\gamma }_2+{\gamma }_3\right)}$，${\theta }_4=\frac{{\gamma }_2}{{\lambda }_3\cdot \left({\gamma }_1+{\gamma }_2+{\gamma }_3\right)}$，${\theta }_5=\frac{{\gamma }_3}{{\lambda }_3\cdot \left({\gamma }_1+{\gamma }_2+{\gamma }_3\right)}$，${\theta }_6=\frac{{\gamma }_4}{{\lambda }_4\cdot \left({\gamma }_4+{\gamma }_5+{\gamma }_6\right)}$，${\theta }_7=\frac{{\gamma }_5}{{\lambda }_4\cdot \left({\gamma }_4+{\gamma }_5+{\gamma }_6\right)}$，${\hat{\theta }}_8=\frac{{\gamma }_6}{{\lambda }_4\cdot \left({\gamma }_4+{\gamma }_5+{\gamma }_6\right)}$是正则化参数。 最小化函数(17)是计算上的难题，因为有太多的未知部分。在接下来，我们将介绍一种有效的优化技术来获得${\rho }^{\prime },\beta$ and $d$。

C. 用AMT有效解决问题

图3 使用BDPK通过设置 j max ⁡ ∈ { 5 , 10 , 15 } j_{\max } \in\{5,10,15\} jmax​∈{5,10,15} 和 $\eta =0$，展示了两个同类和不同类大气环境下的去雾例子。上图:散射分布图(最好以彩色显示)。中间:场景深度图(最好是彩色的)。下图:恢复后的无雾图像。

表一

BDPK采用不同大气条件下的经验参数

我们本能地使用交替极小化技术(AMT)[37]，[56]来求解优化函数(17)。AMT的核心理念是通过假设其他部分是已知的来最小化β,d,${\rho }^{\prime }$三者之一，重复这个过程直到他们收敛。具体来说，函数（17）首先被分成三个独立的子问题，它们可以表示为$$\begin{array}{rl}d=& \mathrm{argmin}\{{\theta }_1\cdot {\Vert {\mathbf{I}}^{\prime }-{\mathbf{\rho }}^{\prime }+\beta \cdot d\Vert }_2^2+{\theta }_3\cdot \Vert d-\tilde{d}{\Vert }_2^2\\ & +{\theta }_4\cdot \Vert \nabla d{\Vert }_2^2+{\theta }_5\cdot \Vert \nabla d-\nabla \bar{I}{\Vert }_2^2\}\end{array}\text{\hspace{1em}(18)}$$

$$\begin{array}{rl}\beta =& argmin\{{\theta }_1\cdot {\Vert {\mathbf{I}}^{\prime }-{\mathbf{\rho }}^{\prime }+\beta \cdot d\Vert }_2^2+{\theta }_6\cdot \Vert \beta -\tilde{\beta }{\Vert }_2^2\\ & +{\theta }_7\cdot \Vert \nabla \beta {\Vert }_2^2+{\theta }_8\cdot \Vert \nabla \beta -\nabla \bar{I}{\Vert }_2^2\}\end{array}\text{\hspace{1em}(19)}$$

$$\begin{array}{rl}{\rho }^{\prime }=& arg\min \{{\theta }_1\cdot {\Vert {\mathbf{I}}^{\prime }-{\mathbf{\rho }}^{\prime }+\beta \cdot d\Vert }_2^2\\ & +{\theta }_2\cdot W\cdot {\Vert \left(F-\nabla {\mathbf{\rho }}^{\prime }\right)\Vert }_2^2\}\end{array}\text{\hspace{1em}(20)}$$

为了加速计算，梯度近似[50]方法被用来解决(18)∼(20)。那么，它们在第$j$次迭代后的最优解可以通过下列式子计算：
$$d_{(j)}=\frac{-{\theta }_1\cdot {\beta }_{(j-1)}\circ M_1+\sum \cdot \left({\theta }_4+{\theta }_5\right)\cdot M_3+{\theta }_3\cdot \tilde{d}+M_5}{{\theta }_1\circ {\beta }_{(j-1)}\circ {\beta }_{(j-1)}+{\sum }^2\cdot \left({\theta }_4+{\theta }_5\right)+{\theta }_3}\text{\hspace{1em}(21)}$$

$${\beta }_{(j)}=\frac{-{\theta }_1\cdot d_{(j-1)}\circ M_1+\sum \cdot \left({\theta }_7+{\theta }_8\right)\cdot M_2+{\theta }_6\cdot \tilde{\beta }+M_6}{{\theta }_1\circ d_{(j-1)}\circ d_{(j-1)}+{\sum }^2\cdot \left({\theta }_7+{\theta }_8\right)+{\theta }_6}\text{\hspace{1em}(22)}$$

$${\rho }_{(j)}^{\prime }=\frac{{\theta }_1\cdot \left({\mathbf{I}}^{\prime }+{\beta }_{(j-1)}\circ d_{(j-1)}\right)+{\theta }_2\cdot \sum \cdot \left({\mathbf{M}}_4+F\right)}{{\theta }_1+{\theta }_2\cdot {\sum }^2\cdot W}\text{\hspace{1em}(23)}$$

其中$M_1=I^{\prime }-{\rho }_{(j-1)}^{\prime },M_2={\beta }_{(j-1)}\otimes \Lambda$,$M3=d_{(j-1)}\otimes \Lambda ,M_4={\rho }_{(j-1)}^{\prime }\otimes \Lambda ,M_5={\theta }_5\cdot \sum \cdot (\sum \cdot I-\bar{I}\otimes \Lambda ),M_6={\theta }_8\cdot \sum \cdot \left(\sum \cdot I-\bar{I}\otimes \Lambda \right)$，$\circ$和$\otimes$分别表示元素乘法和卷积操作。$\Lambda =[010;101;010]$为卷积核，$\sum =4$是$\Lambda$中元素值的和。值得注意的是，利用该结构先验构造的PDFs(14)(16)的数学意义与导频图像滤波器[14]非常相似。然而，在迭代过程中，由于滤波过程中各成像参数的相互作用，相应的求解公式(21)(22)并不简单。一旦停止迭代的标准${\Vert {\mathbf{\rho }}_j^{\prime }-{\mathbf{\rho }}_{j-1}^{\prime }\Vert }_1/{\Vert {\mathbf{\rho }}_j^{\prime }\Vert }_1\le \eta$或最大迭代次数$j_{max}$被满足，迭代就会结束，场景反射率可以恢复为$$\rho (x,y)=\frac{S(i)-e^{{\rho }^{\prime }(x,y)}}{S(i)}\text{\hspace{1em}(24)}$$为清晰起见，BDPK的整个过程总结为算法1(其他详情请参考算法1，我们无法在文本中涵盖)。为了在准确性和效率之间达到更好的平衡，我们凭经验在表一，图3中列出了不同大气条件的参数，使用我们的BDPK通过设置$j_{max}\in 5，10，15和\eta =0$，展示了两个同类和不同类大气环境下的去雾例子。可以看到，迭代次数越多，雾霾去除得越彻底，散射分布图和场景深度更符合我们的直觉。有趣的是,我们所做的不是说散射值与海拔高度相关，即使是由BDPK估计的左散射图图3明显受到重力[57]的影响。这个精确的结果表明，我们的BDPK能够通过合理地选择一组正则化参数来合并所有引入的先验的优势。

---

算法1 去雾流程

---

输入：
　　有雾图像$I$，迭代次数$j_{max}$的最大值，停止门槛值$\eta$, 最高上限值$F$，
　　正则化参数${\theta }_1,{\theta }_2,{\theta }_3,{\theta }_4,{\theta }_5,{\theta }_6,{\theta }_7,{\theta }_8,$
　　规定的系数$\delta$，卷积核$\Lambda ,$
　　大气条件： 均匀或不均匀。
初始化：
　　利用以前的工作[50]来估计入射光。
　　通过式(12)得到感知矩阵W。
　　通过式15计算${\mathbf{\rho }}_{(0)}^{\prime }={\mathbf{I}}^{\prime }=\ln (\mathbf{S}-\mathbf{I})$和$d=d_{(0)}$。
　　Switch（条件）$=\{\begin{array}{l}\text{ “均匀”: }\mathrm{设置}\tilde{\beta }={\beta }_0=1\\ \text{ "不均匀": }\mathrm{设置}\tilde{\beta }={\beta }_0=\bar{I}\end{array}$
　　while 不收敛 do
　　 　$j=j+1$
　　 　通过式（21）更新$d_{(j)}$
　　 　通过式（22）更新${\beta }_{(j)}$
　　 　通过式（23）更新${\rho }_{(j)}^{\prime }$
　　 end while
　　 恢复$\rho$通过式（24）
输出： 最优解$\rho ,\beta ={\beta }_j,d=d_{(j)}$

---

IV. 实验对比与分析

在本节中，首先对BDPK中引入的所有先验的相关性分析进行了实验说明。然后，我们在不同的有雾图像上测试BDPK性能并和经典的增强算法比较，比如[6]-[8],[12]-[14],包括BD [49], BFCD [54],SIBF [55], OCE [41], MCP [22], MPE [19], FVR [58], DCP[25], SIIM [50], BCCR [37], CAP [42] and DN [44]。在这些技术中，选择基于贝叶斯的BD、BFCD和SIBF来验证BDPK中设计的优化函数的合理性。BDPK涉及到的初始化参数包括：$j_{max}=25,\eta =10^{-3}$，其余参数如第三节中所述(请注意初始化参数$\tilde{\beta }$需要用户干预)。更多的测试结果和BDPK的MATLAB代码在:https://www.researchgate.net/profile/Can_Ding3/。

A. 引入先验的相关检验

在BDPK中，引入了三个先验约束来逼近去雾优化函数。检查本处可有效地限制所有pdf。为了检查BDPK中所含的所有PDF能否有效地被抑制，以恢复一个真实的无雾场景，我们通过改变正则化参数或将PDF重新定义为常量，来对BDPK进行相关测试。图4展示了表二中不同初始化状态下BDPK的恢复结果。通过比较发现，我们发现由于模型约束先验对约束解空间的影响，使得模型约束先验对BDPK尤为重要。对比先验[22]用于突出模糊图像的视觉清晰度。结构先验[41]，[50]施加的场景深度和散射分布对色彩失真的干扰具有有效的补偿作用，并且能提升去雾效果。值得注意的是，虽然结构先验用于BDPK在很大程度上能够矫正色彩失真的问题（见图4G到4J），但是最后的结果如图所示，4J仍然表现出轻微的偏色。这是由于每个场景的入射光当通过[50]计算时，当场景中有一个大尺寸的亮目标，会失效。同时，公式(21-23)中的卷积运算可能会在恢复图像的深度不连续处产生一些晕影，但这种干扰在视觉上可以忽略不计，不会影响BDPK的恢复质量。此外，我们还进一步采用了两个无参考指标定量评估在真实图像上测试的相关复原图片,包括雾感知密度评估器(FADE)[52]和可见边缘梯度的平均比值R[59]。一般来说，较小的FADE表示更好的去雾效果。R值越高，还原图像中对比度信息越丰富。图4中去雾结果的评估值列于表3。分析这些数据，当所有的先验都在上述测试指标中获得了最好的分数时，还原图片的效果得到了很好的折中。

B. 使用BDPK的图片恢复结果

为了验证本文提出的BDPK算法的鲁棒性，我们从之前的研究中选择了几种类型的有雾图像并用我们的BDPK来处理。相应的恢复结果如图5所示，无论均匀以及不均匀的天气条件，恢复图像都显示了原模糊区域的景观结构，提升了模糊图片的全局对比度。此外,BDPK还配备了光照补偿功能(参见最后一组示例)。我们相信以上优越的性能主要得益于RASM的通用性与第三节设计的优化函数。

表二

BDPK中用于恢复图像的正则参数如图4所示。

表三
使用FADE和R对图4所示的恢复结果进行定量比较。

图5 使用BDPK的图像去雾效果。每组:上图为模糊图像，下图为BDPK恢复后的图像。

C. 与图像增强方法的定性比较

由于传统的增强方法只会盲目地增加退化图像的纹理对比度，因此选取三幅缺乏颜色信息的模糊图像，将传统增强方法与我们的BDPK进行主观评价，如图6 (a)所示。图6(b-h)是直方图均衡化[6]和自适应直方图均衡化[7]恢复的结果，分别是:视网膜方法[9]，线性变换[12]，同态滤波[13]，细节增强[14]和我们的BDPK。我们注意到所有的方法都是能够在局部或全局范围内在一定程度上消除雾霾。对于直方图均衡化，线性化变换和同态滤波，它们在修复质量上差于其他方法，主要体现在处理后图片相对黑暗(或明亮)的区域可能出现饱和，从而丢失相应的风景细节（见图6(b，e，f))。如图6（d）所示为采用Retinex方法去雾的结果，在雾蒙蒙的地方有清晰的风景内容。但是，对于有浓厚的雾霾部分，恢复图片中仍然含有大量的雾霾或其他不利的影响。在图6（c，g）中，图片边缘细节变得尤为显著，然而暗淡的颜色影响了去雾图片的视觉质量。相反，BDPK算法对低照明度区域的亮度补偿效果良好,完美地揭示了潜在的目标轮廓。虽然结果中去噪后的BDPK图像存在轻微的颜色失真（与第四节a所述的理由相同），但是复原质量比其他可比较的增强方法好。

图6 传统增强方法与BDPK的定量比较。(a)模糊图像。(b)直方图均衡化。(c)自适应直方图均衡化。(d) Retinex方法。(e)线性变换。(f)同态滤波。(g)细节增强。(h)BDPK 。

图9 不同方法在八幅真实世界的模糊图像上的实验结果。(a)模糊图像。(b) FVR的结果。（c） DCP的结果。(d) SIIM的结果。(e) BCCR的结果。(f)限制的结果。(g) DN的结果。(h) BDPK的结果。

图4 表二列出了不同初始化状态的相关性检验。

图7 与贝叶斯算法的BD[49]、BFCD[54]、BFCD[54]和SIBF [55]进行比较。

图8 比较著名的图像恢复技术。从左到右:模糊图像，OCE结果，MCP结果，MPE结果，BDPK结果。

D. 与基于贝叶斯的技术的定性比较

据我们所知，有三种贝叶斯算法用于单幅图像去雾。它们是BD[49],BFD[54]和SIBF[55]。BD采用梯度分布先验和空间平滑先验结合规范期望最大化算法来恢复场景反射率，进而建立后验概率。基于BD，BFCD在退化模型中进一步考虑了噪声因素，利用BM3D[60]以及透射率的概率密度函数来同时去除雾霾和噪声。在SIBF[55]中，最小值函数通过在恢复结果和透射图上加入稀疏先验来构造退化图像的恢复图像。为了证明BDPK比现有的基于贝叶斯的方法具有更好的性能，将这些相似的方法[49]，[54]，[55]和BDPK进行比较，如图7所示，在模糊图像和去雾图像上进行了比较(都是在[49]，[54]，[55]下载的)，所有的方法都能在一定程度上缓解雾霾的影响。如图7第一行所示，BD可以实现深度除雾，但往往在有纹理细节的区域出现过度增强。尤其是恢复图片中的石砖区域，非常暗(见黄色框)，且由于使用阶乘马尔可夫随机区域[61]，红色方框中出现晕影。同样的,BFCD存在饱和现象，在天空部分噪声大(见图7中第二行的黄色方框)。而SIBF则排除了上述的负面干扰，但去雾程度较弱（见图7第三行）。BDPK的结果却相反，柔和的清晰度和对比度，以及恢复的颜色看起来总是很自然。

E. 在真实图片上与著名的技术定性地比较

1）第一组：在图8中，OCE [41]， MCP[22]和MPE[19]对两个基准图像进行处理[19]。选择这些方法进行比较的原因是复原结果很容易从Kim的网站那里下载：http://mcl.korea.ac.kr/projects/dehazing/。 我们观察到，OCE的结果清楚地显示了在有雾场景中对象本身。但是，由于代价函数[41]中使用的控制因子是根据经验设定的常数，因此，与MCP、MPE和BDPK相比，浓重雾霾区域被去除的雾霾程度是不稳定的。对于MCP，它可以完整地显示目标轮廓，但遗憾的是引入了过度增强。利用对于给定的深度信息，MPE成功地在退化的图像中去除了所有雾霾。然而，由于恒定大气光在ASM中的定义，相较于BDPK，恢复后的黑暗区域的视觉清晰度缺乏竞争力(见图8第一行黄色框)。相比之下，我们恢复的图像更加清晰，有较强的立体感，并且可以处理上述所有的不利影响。

2）第二组：众所周知，几乎所有的去雾技术都能将一般的室外雾霾图像恢复到理想的效果，因此很难说明BDPK在恢复质量[42]、[44]上的优越性。因此,我们在第二组测试样本关注八个具有挑战性的现实世界的模糊图像，包括大的灰色场景，有雾场景，稠密的雾霾场景，不均匀的照明场景，不均匀大气场景。图9展示了BDPK与六种经典算法在这些具有挑战性图片上的表现的定性比较。图9(a)描绘了不同类型的模糊的图片被去雾化，图9(b-h)为用FVR [58], DCP [25]+Guided Filter [14], SIIM [50],BCCR [37], CAP [42], DN [44] 和 BDPK恢复后的图像。这些恢复结果对应的恢复方法如图9所示，MATLAB代码可以从作者的网站上下载，配置为Intel（R）Core（Tm) i5-4210U CPU @ 1.70GHz 8.00 GB RAM. 这保证了公平的比较。

如图9(b)所示，FVR恢复了大部分的场景细节，并且归功于计算复杂度它可以实时地实现。然而，因为FVR固有的内在问题 — 不可避免的高估透射率，FVR的结果遭受到了过度增强。此外，由于中值滤波器的边缘保持性能较差，在图片深度不连续性处出现了光晕伪影(见第五幅图像的放大部分)。虽然DCP的结果大多令人满意(见图9( c))，但颜色失真仍然在天空区域出现（第四张图片)。这是由于估计透射率的精度主要依赖于DCP的有效性，当场景的亮度和大气光相似时DCP可能是无效的。对于SIIM来说，这种方法可以在大多数例子中获得令人印象深刻的视觉效果。然而，在分类特征模糊的黑暗区域，其结果可能会产生不良的视觉效果(见图9中第五幅图像的放大部分)。BCCR的结果可以完全消除雾霾并为所有朦胧的目标揭开美丽的表面。遗憾的是,除雾效果与过饱和是有界的，它使视觉效果显得不真实。正如我们在图9(e)中所观察到的，复原图片的天空区域颜色显著扭曲，特别是在第四和第七张图片中。在图9（f）中，虽然CAP避免了光晕伪影和过度增强，但在第六幅图像中，雾霾残留明显。因为简单地把散射系数当做固定的常数不一定适用于所有情况。如图9中前四张图片所示，DN能够生成和恢复图像生动的颜色和必要的细节。然而，它不适用于高度模糊的图像，相应的复原结果往往被少量的物质所掩盖(见第六幅图)。原因是可以解释的，如下：在[44]中训练的DehazeNet是专门为透射率估计训练的，缺乏对比度增强能力。另一方面，训练DehazeNet的图像对是人工合成的图像而不是真实的图片,它限制了Dehaze Net处理现实中模糊图片的能力。

除了上述问题，这些去雾方法都有两个缺点：1）这些方法(SIIM除外)缺少ICC因此不能适当处理在不均匀照明下的模糊图像(见图9第七行)，2）这些方法可能在大气不均匀的情况下失败(参见图9中的第八行)。相反，我们注意到BDPK完全不受这些限制的影响并能产生真实的无雾图像，同时避免了光晕、过度增强、过饱和和色彩失真的影响（见图9(h))。

F. 在著名的人工合成图像上进行比较

1）定性比较：
由于无法提供无雾参考图像，因此对单个模糊图像的恢复技术进行评估是一项困难的工作。所以，我们将六个经典技术和BDPK在D-HAZY数据集上的人工合成有雾图像上进行比较。其中对应的真实值参考图像是已知的。在图10中，我们展示了用不同方法处理这些合成图像的结果。图10（a）描述了有雾图像，分别名为‘Piano’, ‘Couch’, ‘Jadeplant’,‘Room’, ‘Shelves’, ‘Sticks’, ‘Bicycle’ 和 ‘Vintage’。图10（b）提供了用于公平比较的真实图像。图10（c-i）分别展示了 FVR [58], DCP [25]+Guided Filter [14]], SIIM [50], BCCR [37], CAP [42], DN [44] 和 BDPK的结果。

如图10（c）所示，FVR的结果通常看起来比真实图像更暗，并且光晕会在深度不连续处出现(见植物图片)。对于DCP，如图10(d)所示，恢复的图像在去雾度和目标轮廓之间有很好的折中，然而，自行车图真实图复原不准确。在图10（e,f）中，由BCCR和SIIM复原的图片在视觉上有很好的冲击力，然而，尤其是在木棍图片中，图片被过饱和了。通过观察图10（g，h），我们注意到CAP和DN对于给出的模糊图片样例是非常有效的，尽管他们对其他模糊图像的去雾结果仍然存在周围有少量的薄雾的问题（见游戏室图片与钢琴图片）。不同于这些技术，BDPK的结果没有令人不悦的影响，它保持了场景目标的原始色调。这进一步说明了就人类的视觉角度而言，BDPK在这些技术中的优秀表现。

2）定量比较：为了克服不可避免的定性比较的偏差和对这些算法的公正评估，我们计算了无参考指标R，FADE，来为前面提到的恢复图片选择三个常用参考评价指标作为其检验标准，即结构相似度(SSIM)[63]，均方误差(MSE）和峰值信噪比。对于这三个指标，较大的SSIM表明去雾结果与真实图像具有更好的结构相似性。较低的MSE和较高的PSNR代表恢复结果更容易被接受。由于现实世界中的模糊图像缺少无雾场景，我们只对恢复结果进行定量比较。图十中使用SSIM,R,FADE,MSE和PSNR进行定量比较，我们在表IV中进行了总结。为了方便测量不同方法的有效性，我们还计算了这些分数在一组图像上的平均值、中值和均方根值。请注意，表中用粗体突出显示了最好的分数。通过分析数据，我们注意到BDPK在所有的例子中都优于其他方法，这说明BDPK生成的图像结构最好。对于R和FADE指标，BDPK的得分是前五张图像中最好的，但是它们不如FVR好，最后三个样例是SIIM, DCP和BCCR。然而,这并不一定意味着其他的除雾方法比BDPK更好，原因是它们用R和FADE评估时它们这些方法经常出现过饱和或者过暗。尽管DBPK没有在每个样本上都有最好的分数，但统计结果仍表明DBPK有着最好的综合表现。

图10 不同方法对八幅合成图像的实验结果。(a)模糊图像。(b)地面实况图像。（c）FVR的结果。(d) DCP的结果。(e) SIIM的结果。(f) BCCR的结果。(g)限制的结果。(h) DN的结果。(I)BDPK的结果。

图11 (a):建议的BDPK在这项工作中的收敛速度。本实验使用的图像如图10所示。(b):不同的技术与不同的图像大小上时间的比较。
表IV
使用SSIM、R、FADE、MSE、PSNR对图10中恢复图像进行定量比较。

G. 复杂度

计算复杂度是另一个关键的评估去雾技术的因素。通过分析算法1，我们推断主要的计算开销消耗在BDPK迭代模块。各迭代过程主要包含三个卷积运算和其他低复杂度操作（见方程（21-23））。忽略这些简单计算，对于给定分辨率$res$的图像和固定卷积核$\Lambda$，BDPK的理论复杂度仅仅只有$O\left(res\cdot |\Lambda |\cdot j_a\right)$（$|\Lambda |$是$\Lambda$中的元素数量，$j_a$是实际迭代次数）。尽管如此，查看需要多少次迭代才收敛可能更直观。图11（a）绘制了图10中展示的八个迭代曲线，从这些图中，我们注意到八个图的变化趋势是相似的，对于所有的测试，实际的迭代次数大约是10次。图11(b)为FVR的对比图[58]， DCP[25] +导向滤波器[35]，SIIM [50]， BCCR [37]，CAP [42]， DN[44]和我们的BDPK的时间成本(在同一台PC上，所有的计算时间都是通过运行作者代码或者我们模拟的项目在不同分辨率的模糊图像上记录下来的)。正如我们所预料的，在这项工作中提出的BDPK比FVR、DN、SIIM、DCP和BCCR要快得多，而且非常接近CAP，效率也很高。即使给定的模糊图像非常大，BDPK仍能实现高速处理。

V. 讨论和总结

在本文中，根据我们之前的工作[50]与大气粒子分布的观测，我们重新定义了一种新的大气散射模型(RASM)。在此基础上，进一步提出了一种基于RASM的图像去雾算法BDPK。与以往的工作不同，我们的BDPK的关键贡献是将贝叶斯理论与先验知识相结合，将去雾转化为优化函数。这使我们可以直接恢复现场反射率与交替最小化技术(AMT)。实验结果表明，该方法在去雾效果和鲁棒性方面均优于现有的方法。

虽然我们设计了一种有效的、鲁棒的去雾方法，但仍有一些需要进一步研究的地方进行。在我们的BDPK中，大气条件需要人为确定。因此，寻找一种自适应的方法来检测模糊图像中的大气状态具有重要的现实意义。考虑到权重系数AMT是由经验决定的，我们会制定一个基于学习的策略来追求一套最佳的系数，可以达到更好的平衡除雾质量和计算效率。

致谢

本研究部分由国家自然科学基金资助[61571241][61872423]，江苏省产学研合作项目[BY2014014]，江苏省重点工程省高校自然科学研究[15KJA510002]和江苏省大学毕业生科研创新计划[KYLX16 0665]。