Tan基于最大化对比度的去雾方法

Visibility in Bad Weather from a Single Image

刘海山，2021年7月8日

文献引文信息： Tan, R. T. Visibility in bad weather from a single image. 2008 Ieee Conference on Computer Vision and Pattern Recognition, Vols 1-12, 2347-2354, doi:DOI 10.1109/cvpr.2008.4587643 (2008).

文献来源：https://ieeexplore.ieee.org/document/4587643

从暗通道的文章中知道这篇极大化对比度的文章，所以想专门学习一下这篇文献的方法。

一、摘要

In this paper, we introduce an automated method to removal fog. Based on two priors: first, images with enhanced visibility(or clear-day images) have more contrast than images plagued by bad weather; second, airlight whose variation mainly depends on the distance of objects to viewer, tends to be smooth. Relying on these two priors, we develop a cost function in the framework of Markov random fields, which can be significantly optimized by various techniques, such as graph-cuts or belief propagation.

本文介绍了一种只需要一张图片的自动去雾算法。存在两个基本的先验：首先，高能见度(或清晰场景)图片相比于受恶劣天气干扰的图片具有更高的对比度；其次，天空光的变化主要依赖于场景到观察者的距离，并趋向于平滑图像。基于这些先验，本文提出了一个基于马尔科夫场的损失函数。该损失函数可以由多种技术进行优化，比如graph-cuts或者简单传播等。
像雾、霾等恶劣天气会极大地降低场景的能见度。光学上来说，这是由于大气中存在大量的吸收和散射光的粒子。在计算机视觉中，这些吸收和散射过程通常由直接衰减和大气光的线性组合所描述。

二、基本原理

1. 光学模型：

$$I(x)=L_{\infty }\rho (x)e^{-\beta d(x)}+L_{\infty }(1-e^{-\beta d(x)})\dots \dots (1)$$其中第一项是衰减项，第二项是大气光干扰项。$L_{\infty }$表示无穷远处的大气光值。$\rho (x)$表示场景反射率。

定义色度：
$${\sigma }_c=\frac{I_c}{I_r+I_g+I_b}\dots \dots (2)$$c表示某一色彩通道。
因此，位于无穷远的场景，其色度为：
$${\alpha }_c=\frac{L_{\infty c}}{L_{\infty r}+L_{\infty g}+L_{\infty b}}\dots \dots (3)$$若场景中不存在散射，则有
$${\gamma }_c=\frac{L_{\infty c}{\rho }_c}{L_{\infty r}{\rho }_r+L_{\infty g}{\rho }_g+L_{\infty b}{\rho }_b}\dots \dots (4)$$故而，由上面(3)(4)式可以将(1)转换为：
$$\mathbf{I}(x)=D(x)e^{-\beta d(x)}\gamma (x)+A(x)\alpha \dots \dots (5)$$其中：
$$D(x)=L_{\infty r}{\rho }_r+L_{\infty g}{\rho }_g+L_{\infty b}{\rho }_b\dots \dots (6)$$$$A(x)=(L_{\infty r}+L_{\infty g}+L_{\infty b})(1-e^{-\beta d(x)})\dots \dots (7)$$D和A都是标量，$\gamma$和$\alpha$是归一化彩色向量。

根据色度的定义可知：$\sum {\sigma }_c={\sigma }_r+{\sigma }_g+{\sigma }_b=1$，$\sum {\gamma }_c={\gamma }_r+{\gamma }_g+{\gamma }_b=1$，$\sum {\alpha }_c={\alpha }_r+{\alpha }_g+{\alpha }_b=1$。

白大气光：
利用光色$(\alpha )$，我们可以转换大气光值为白色，通过简单的归一化即可实现：
$${I^{\prime }}_c(x)=I_c(x)/{\alpha }_c\dots \dots (8)\to$$ $${I^{\prime }}_c(x)=D(x)e^{-\beta d(x)}\frac{{\gamma }_c}{{\alpha }_c}+A(x)=D(x)e^{-\beta d(x)}{{\gamma }^{\prime }}_c+A(x)\dots \dots (10)$$其中${{\gamma }^{\prime }}_c$表示归一化的目标色度。${I^{\prime }}_c$即是我们转化大气光点为白点的结果。

最终方程可以写成彩色向量的形式：
$$I^{\prime }(x)=D(x){\gamma }^{\prime }(x)e^{-\beta d(x)}+A(x){\left[111\right]}^{\text{T}}\dots \dots (11)$$其中$I^{\prime }$和${\gamma }^{\prime }$是归一化彩色向量，其余变量都是标量。

2. 问题描述

参考方程(11)并假设我们有$I^{\prime }(x)$和$L_{\infty }$的值，故而本文的目标是估计整个图像的$D(x){\gamma }^{\prime }(x)$。这幅图像表示场景辐照度(未被散射和吸收)。
估计$D(x){\gamma }^{\prime }(x)$实际上相当于估计A。我们可以根据以下流程进行计算：首先，基于方程(7)，我们有
$$e^{-\beta d(x)}=\frac{{\sum }_c{L}_{\infty c}-A(x)}{{\sum }_c{L}_{\infty c}}\dots \dots (12)$$其中${\sum }_c{L}_{\infty c}=L_{\infty r}+L_{\infty g}+L_{\infty b}$.其次，基于方程(11)有

因此，我们首先估计A值，而不是直接估计$D{\gamma }^{\prime }$，这大大简化了计算过程。因为A独立物体的反射率，而仅仅依赖于成像深度d，这里我们已经假设$\beta$和$L_{\infty }$是全局常数。

3. 使用单帧图像进行求解

在第一小节中描述问题是一个完全病态的问题：方程(11)已知的变量数少于未知的变量数。然而，这里有一些线索或者先验可以被考虑进来：

• ①输出图像$D{\gamma }^{\prime }$相比于输入图像必须有更大的对比度；
• ②A值的变化只依赖于场景深度，即相同成像距离具有相同的A值，无需考虑反射率。因此A的邻域趋向于有相同的值。再者，在很多情况下A在很小的区域是平滑变化的。只有在场景中depth断层的地方例外，但这些像素总体较少。
• ③除了以上两个主要的先验外，我们同样可以考虑：被恶劣天气干扰的图像通常情况下都是采集户外自然场景。因此准确的$D{\gamma }^{\prime }$必须符合清晰自然图像的特点。

3.1 最大化对比度

针对第一条线索，我们定量地定义与边缘数量相关的图像对比度，它可以表示为：
$$C_{edges}(I)=\sum _{x,c}\left|\nabla I_c(x)\right|\dots \dots (14)$$其中$\nabla$是沿着x轴与y轴的差分操作。这个方程表明了对比度更大的图像具有更多的边缘。换而言之，清晰图像相比于雾图具有更多的边缘，也即$C_{edges}(D{\gamma }^{\prime })>C_{edges}(I^{\prime })$。

从第一小节我们已经知道$D{\gamma }^{\prime }$可以根据方程(7)从A中获得：$0⩽A(x)⩽\sum _c{L}_{\infty c}(x)$。

因此，我们准备一小图像块(假设块中depth和$\beta$是常数)，那么存在一个标量A，它可以给出正确的$D{\gamma }^{\prime }$，其中$D{\gamma }^{\prime }$必须满足：$C_{edges}(D{\gamma }^{\prime })>C_{edges}(p)$和$0⩽D{\gamma }^{\prime }⩽L_{\infty c}$。

进一步表示$D{\gamma }^{\prime }$为：
$$C_{edges}(D{\gamma }^{\prime })=\frac{{\sum }_c{L}_{\infty c}}{{\sum }_c{L}_{\infty c}-A}\sum _{x,c}\left|\left({I^{\prime }}_{x,c}-{I^{\prime }}_{x-1,c}\right)\right|$$

在一小块区域中，通过设置不同的A找到对比度最大时的情况；

通过设置不同的A，我们绘制出对比度的变化曲线：

本文中提到，当对比度取得最大值时，不一定是物体真实的辐照度情况，但它极大地增强了图像的对比度；

3.2 大气光的平滑约束

根据第二个线索，A在大部分像素上是平滑的。由此启发我们使用马尔科夫场来对A建模。我们建立了潜在的马尔科夫场函数：
E ( { A x } ∣ p x ) = ∑ ϕ ( p x ∣ A x ) + η ∑ x , y ∈ N x ψ ( A x , A y ) … … ( 17 ) E\left( {\left\{ {{A_x}} \right\}|{p_x}} \right) = \sum\limits_{} {\phi \left( {{p_x}|{A_x}} \right) + \eta \sum\limits_{x,y \in {N_x}} {\psi \left( {{A_x},{A_y}} \right)} } ……(17) E({Ax​}∣px​)=∑​ϕ(px​∣Ax​)+ηx,y∈Nx​∑​ψ(Ax​,Ay​)……(17)其中$p_x$是以x为中心的小块，并假设$A_x\equiv A(x)$。$\eta$是平滑项的强度，$N_x$表示x的邻域。我们定义第一项为：
$$\varphi \left(p_x|A_x\right)=\frac{C_{edges}([D{\gamma }^{\prime }{]}_x^{\ast })}{m}\dots \dots (18)$$m用于归一化对比度，使得概率小于1大于0。m的值依赖于块的尺寸。第二项(平滑项)定义为：
$$\psi \left(A_x,A_y\right)=1-\frac{\left|A_x-A_y\right|}{{\sum }_c{L}_{\infty c}}$$这个方程激励A_x的邻域变得平滑。
为了找到所有{A_x}的值，我们必须最大化p{A_x}的概率分布。可以使用现存的推理技术，如图形切割或置信传播。

三. 计算方法

根据对本文算法的理解，自行实现相应的代码。

四、实验结果与分析

1. 薄雾的情况

从结果上看，本文的方法在求解模型的基础上给出了最大对比度的结果，相比于直方图均衡化，具有更真实的辐照情况。在计算过程中，其对比度变化曲线如下：

2. 较浓雾的情况

当雾比较浓时，从分辩场景的角度来看，直方图均衡化具有更明显的效果。对应的对比度变化曲线：