论文阅读：Visibility in BadWeather from a Single Image（未完）

1. 摘要

    本文提出的方法基于两个基本观察结果：首先，视觉效果好的图像（或晴天图像）比受恶劣天气影响的图像具有更高的对比度；其次，主要取决于物体到摄像机距离的大气光，在全局而言是平滑的。依靠这两个观察，本文在马尔可夫随机场的框架中开发了一个成本函数，可以通过各种技术（例如图割或置信传播）有效地优化该函数。该方法不需要输入图像的几何信息，并且适用于彩色和灰度图像。
    本文不打算完全恢复场景的原始颜色或反照率，目标是仅增强输入图像的对比度，从而改善图像可见性。

2. 光学模型

    通常用于处理恶劣天气（尤其是计算机视觉）的光学模型描述为：
$$\mathbf{I}(x)={\mathbf{L}}_{\infty }\mathbf{\rho }(x)e^{-\beta d(x)}+{\mathbf{L}}_{\infty }(1-e^{-\beta d(x)})\text{\hspace{1em}(1)}$$

    其中，${\mathbf{L}}_{\infty }$为大气光，为全局常数，和$x$无关。

2.1 色度定义

    本文的方法中，打算使用色度来描述等式$(1)$，因此定义图像色度如下：
$${\sigma }_c=\frac{I_c}{I_r+I_g+I_b}\text{\hspace{1em}(2)}$$

    当物体在无限远的距离时（$d=\infty ,e^{-\beta d}=0$），图像色度仅与大气光有关，此时称为大气光色度。大气光色度定义如下：
$${\alpha }_c=\frac{L_{\infty c}}{L_{\infty r}+L_{\infty g}+L_{\infty b}}\text{\hspace{1em}(3)}$$

    当没有散射粒子时（$e^{-\beta d}=1$），图像色度仅与直接衰减有关，此时称为物体色度。由$(1)(2)$物体色度定义如下：
$${\gamma }_c=\frac{L_{\infty c}{\rho }_c}{L_{\infty r}{\rho }_r+L_{\infty g}{\rho }_g+L_{\infty b}{\rho }_b}\text{\hspace{1em}(4)}$$

    由$(3)(4)$，根据色度重新定义$(1)$：
$$\mathbf{I}(x)=D(x)e^{-\beta d(x)}\mathbf{\gamma }(x)+A(x)\mathbf{\alpha }\text{\hspace{1em}(5)}$$

    其中：
$$D(x)=L_{\infty r}{\rho }_r(x)+L_{\infty g}{\rho }_g(x)+L_{\infty b}{\rho }_b(x)\text{\hspace{1em}(6)}$$

$$A(x)=(L_{\infty r}+L_{\infty g}+L_{\infty b})(1-e^{-\beta d(x)})\text{\hspace{1em}(7)}$$

    $D$和$A$为标量，$\mathbf{\gamma }$和$\mathbf{\alpha }$为归一化的颜色向量。根据色度定义，可知$[\sum {\sigma }_c={\sigma }_r+{\sigma }_g+{\sigma }_b=1]$，$[\sum {\gamma }_c={\gamma }_r+{\gamma }_g+{\gamma }_b=1]$和$[\sum {\alpha }_c={\alpha }_r+{\alpha }_g+{\alpha }_b=1]$。

2.2 大气光

    在许多恶劣天气中，尤其是在通常阴云密布的日光下，我们可以忽略太阳光的存在，并假定大气光（${\mathbf{L}}_{\infty }$）是全局恒定的。根据$(1)$，可以从输入图像中具有最高强度的像素获得${\mathbf{L}}_{\infty }$的全局值。 因为这些像素代表无限远的物体（$d=\infty$），假设可以在图像中看到天空并且图像没有饱和像素。 因此，通过将${\mathbf{L}}_{\infty }$的值代入公式$(3)$，具有${\mathbf{L}}_{\infty }$的值使我们能够获得光色度（$\mathbf{\alpha }$）的值。

    找到图像中像素值最大的点，该像素三个通道的值即为三个通道的大气光值。

2.3 大气光白化

    通过利用大气光光色度（$\mathbf{\alpha }$），将$(5)$中的每个颜色通道的强度处于相应的${\alpha }_c$，将输入图像的大气光的颜色转换为白色。即：
$$I_c^{\prime }(x)=I_c(x)/{\alpha }_c\text{\hspace{1em}(8)}$$

$$\begin{array}{rl}{I}_c^{\prime }(x)=& D(x)e^{-\beta d(x)}\frac{{\gamma }_c(x)}{{\alpha }_c(x)}+A(x)\\ =& D(x)e^{-\beta d(x)}{\gamma }_c^{\prime }(x)+A(x)\end{array}\text{\hspace{1em}(9)}$$

    ${\gamma }_c^{\prime }$为归一化的物体色度，$I_c^{\prime }$为归一化的输入图像，即大气光为白色。$(9)$写成向量形式：
$${\mathbf{I}}^{\prime }(x)=D(x){\mathbf{\gamma }}^{\prime }(x)e^{-\beta d(x)}+A(x)\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]\text{\hspace{1em}(10)}$$

    ${\mathbf{I}}^{\prime }$和${\mathbf{\gamma }}^{\prime }$为向量，其余为标量。

3. 问题定义

    假设已经得到${\mathbf{I}}^{\prime }(x)$和${\mathbf{L}}_{\infty }$的值，根据$(10)$可知，本文的目标即计算整幅图像$D(x){\mathbf{\gamma }}^{\prime }(x)$的值。

转换成求$A$

    计算$D{\mathbf{\gamma }}^{\prime }$等价与计算$A$。从$A$计算$D{\mathbf{\gamma }}^{\prime }$的步骤如下：

Step (1): 由$(7)$：
$$e^{-\beta d(x)}=\frac{{\sum }_c{L}_{\infty c}-A(x)}{{\sum }_c{L}_{\infty c}}\text{\hspace{1em}(11)}$$

    其中，${\sum }_c{L}_{\infty c}=L_{\infty r}+L_{\infty g}+L_{\infty b}$。

Step (2): 由$(10)$:
$$D(x){\mathbf{\gamma }}^{\prime }(x)=({\mathbf{I}}^{\prime }(x)-A(x)\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right])e^{\beta d(x)}\text{\hspace{1em}(12)}$$
    首先计算$A$，因为它独立于物体反射率（$\mathbf{\rho }$），并且仅取决于深度$d$（假设$\beta$和${\mathbf{\gamma }}^{\prime }$全局恒定），所以很容易计算出$A$。

4.

    考虑下列三个观察：

1. 输出图像$D{\mathbf{\gamma }}^{\prime }$比输入图像$\mathbf{I}$有更好的对比度。
2. $A$值的变化仅取决于物体的深度$d$，这意味着具有相同深度的物体将具有相同的$A$值，而与其反射率（$\mathbf{\rho }$）无关。 因此，相邻像素的$A$值趋于相同。另外，在许多情况下，在很小的局部图像块中，$A$的变化非常平缓。除了深度不连续的像素，而这种情况相对较少。
3. 受恶劣天气困扰的输入图像通常是在室外自然场景中拍摄的。 因此，$D{\mathbf{\gamma }}^{\prime }$的值必须遵循晴天自然图像的特征。

4.1 最大化对比度

    对于观察1，结合图像边缘数量，定义图像对比度：
$$C_{edge}(\mathbf{I})=\sum _{x,c}|\nabla I_c(x)|\text{\hspace{1em}(13)}$$

    其中，$\nabla$是$x$轴和$y$轴上的微分算子。该方程式意味着对比度高的图像会产生更多的边缘。换句话说，清晰图像比受恶劣天气影响的图像具有更多的边缘：$C_{edge}(D{\mathbf{\gamma }}^{\prime })>C_{edge}({\mathbf{I}}^{\prime })$。
    通过前面分析，知道了$D{\mathbf{\gamma }}^{\prime }$可以通过$A$求得。根据$(7)$，可知：$0\le A(x)\le {\sum }_c{L}_{\infty c}(x)$。因此，如果有一个包含具有相同深度且受恶劣天气影响的物体的小图像块$\mathbf{p}$，则存在一个标量值$A$，通过该$A$可以计算出$D{\mathbf{\gamma }}^{\prime }$。$D{\mathbf{\gamma }}^{\prime }$必须满足如下约束：
$$C_{edge}(D{\mathbf{\gamma }}^{\prime })>C_{edge}(\mathbf{p})\text{\hspace{1em}(14)}$$

    整幅图的边缘数量一定大于局部块的边缘数量

$$0\le D{\gamma }_c^{\prime }\le L_{\infty c}\text{\hspace{1em}(15)}$$

    懵，因为按如下计算，得不出该结果。
    结合$(3)(4)$，可得：
$${\gamma }_c^{\prime }=\frac{{\gamma }_c}{{\alpha }_c}=\frac{{\rho }_c{\sum }_c(L_{\infty c})}{{\sum }_c(L_{\infty c}{\rho }_c)}$$

    且$D={\sum }_c(L_{\infty c}{\rho }_c)$，所以可得：
$$D{\gamma }_c^{\prime }={\rho }_c\sum _c(L_{\infty c})$$

    因为$0\le {\rho }_c\le 1$，所以有$D{\gamma }_c^{\prime }\le {\sum }_c(L_{\infty c})$，而不是$D{\gamma }_c^{\prime }\le L_{\infty c}$。直接将$(3)\times (4)$，可以得到$D{\gamma }_c\le L_{\infty c}$，也不是$D{\gamma }_c^{\prime }\le L_{\infty c}$。这里没看懂。

    图1左侧显示了晴天的自然图像，右侧为人工渲染雾的图像，该图像大气光设定为常数。选择人造雾图中的一个小方块（红色框部分），$A$取所有可能值，并计算出相应的$C_{edge}(D{\mathbf{\gamma }}^{\prime })$，图2中绘制二者的关系图。 如图所示，$C_{edge}(D{\mathbf{\gamma }}^{\prime })$随着$A$的增加而增加，并在达到一定峰值后下降。 这种快速下降主要是由于施加了第二个约束$(15)$。

图1 自然图像和人工雾图

图2 大气光和清晰图像边缘数量的关系

    从天气条件恶劣的场景中拍摄的每个图像块，只要该图像块中具有纹理，则$C_{edge}(D{\mathbf{\gamma }}^{\prime })>0$。证明如下。由$(13)(12)(11)$，得：
$$\begin{array}{rl}{C}_{edge}(D{\mathbf{\gamma }}^{\prime })=& \sum _{x,c}|(I_{x,c}^{\prime }-A)e^{\beta d}-(I_{x-1,c}^{\prime }-A)e^{\beta d}|\\ =& e^{\beta d}\sum _{x,c}|(I_{x,c}^{\prime }-I_{x-1,c}^{\prime })|\\ =& \frac{{\sum }_c{L}_{\infty c}}{{\sum }_c{L}_{\infty c}-A}\sum _{x,c}|(I_{x,c}^{\prime }-I_{x-1,c}^{\prime })|\end{array}$$

    ${\mathbf{L}}_{\infty }$是常数且$\sum _{x,c}|(I_{x,c}^{\prime }-I_{x-1,c}^{\prime })|$在同一图像块中有相同值，所以$C_{edge}(D{\mathbf{\gamma }}^{\prime })$与$A$成比例。这解释了图2中上升的原因。由于第二个限制$(15)$，当$D{\gamma }_c^{\prime }>L_{\infty c}$，定义$D{\gamma }_c^{\prime }=0$。所以$C_{edge}(D{\mathbf{\gamma }}^{\prime })$将会减少尽管$A$仍在增加。

    这里也没看懂。

    在提高可见性的框架中，使用$C_{edge}(D{\mathbf{\gamma }}^{\prime })$作为成本函数。 虽然最大数量的$C_{edge}(D{\mathbf{\gamma }}^{\prime })$并不总是代表$A$的实际值，但它代表了输入图像的增强的可见性。 如引言中所述，本文不打算在晴天恢复图像的原始颜色或反射率。 我们的主要目的是在恶劣天气下增强场景的可见性，并在某种程度上对场景的颜色进行准确度测试。

4.2 大气光平滑约束

    根据观察2，整幅图像上$A$的变化对于大多数像素而言都趋于平滑。可使用马尔可夫随机场（MRFs）对大气光$A$进行建模。MRFs的势函数定义如下：
E ( { A x } ∣ p x ) = ∑ x ϕ ( p x ∣ A x ) + η ∑ x , y ∈ N x ψ ( A x , A y ) (16) E(\{ A_x \}| \boldsymbol{\mathbf{p}}_x) = \sum\limits_{x} \phi(\boldsymbol{\mathbf{p}}_x | A_x) + \eta \sum\limits_{x,y \in N_x} \psi(A_x, A_y) \tag{16} E({Ax​}∣px​)=x∑​ϕ(px​∣Ax​)+ηx,y∈Nx​∑​ψ(Ax​,Ay​)(16)

    其中${\mathbf{p}}_x$是一个以位置$x$为中心的图像块，假定它具有$A_x$的恒定值（即$A_x\equiv A(x)$）。$\eta$是平滑项的强度，$N_x$代表$x$的近邻像素。$(16)$中前一项为数据项，后一项为平滑项。数据项定义如下：
$$\varphi ({\mathbf{p}}_x|A_x)=\frac{C_{edge}([D{\mathbf{\gamma }}^{\prime }{]}_x^{\ast })}{m}\text{\hspace{1em}(17)}$$

    其中，将$A_X$的每一个带入到$(11)(12)$，得到$[D{\mathbf{\gamma }}^{\prime }{]}_x^{\ast }$。而$m$得取值依赖于${\mathbf{p}}_x$得大小。平滑项定义如下：
$$\psi (A_x,A_y)=1-\frac{|A_x-A_y|}{{\sum }_c{L}_{\infty c}}\text{\hspace{1em}(18)}$$

    该项得目的在于平滑$A_x$的邻近。
    为了找到$A_x$的所有值，我们必须通过使用现有的推理技术（例如图割或信念传播）来最大化Gibbs分布中描述的$p(A_x)$的概率分布。

    还是折在这里了，看不下去了。可恶的马尔可夫随机场。