Color Cast Dependent Image Dehazing via Adaptive Airlight Refinement and Non-linear Color Balancing

    又给我来一个这么有挑战的题目，上次多两个字符，把“阅读”二字删除了，这次多了四个字符，只能把“论文阅读”删除了。

1. 摘要

    本文提出了一种基于暗通道先验（Dark Channel Prior，DCP）的能够处理偏色图像的传统去雾方法。第一步，该方式使用色度扩散来判别一幅图像是否有偏色，对于偏色图像，需要将其颜色校准。第二步，计算图像暗通道。第三步，通过DCP方法，利用暗通道初步估计大气光，并使用MOS值对偏色大气光进行优化。第四步，对暗通道进行Weighted Least Squares滤波后，利用DCP方法得到传输率图。最后，使用大气散射模型进行场景复原。

2. 提出的方法

    本文提出的方法的流程图如图1所示。

图1 方法流程图

    方法包括六个模块，分别为分类（classification），颜色平衡（color balancing），DCP计算（DCP computation），大气光估计和校准（airlight estimation and correction），传输率图估计（transmission map estimation）以及清晰图像复原（scene radiance computation）。

2.1 Hazy Image Classification as Color Cast or Non-cast

    雾图分为两大类：有颜色偏差的和无颜色偏差的。作者发现一幅图像的色度扩散是辨别一幅图像是否有颜色偏差的重要特征。因此，定义色度扩散为：
$$MOS=\frac{1}{MN}\sum _x\sum _y\delta (x,y)\text{\hspace{1em}(1)}$$

$$\delta =\min ((\mu -h(x,y){)}^2,(1-|\mu -h(x,y)|{)}^2)\text{\hspace{1em}(2)}$$

    其中，$\mu$为色度均值，$h(x,y)$是在大小为$M\times N$的图像中坐标为$(x,y)$的像素点的色度。作者从flickr中收集5700张偏色和无偏色的雾图，计算其MOS的概率密度函数，结果如图2(C)所示。

图2 有无偏色图像MOS的PDF

    从图2(A)(B)中可以看到，偏色图像有着非常小的MOS，而无偏色图像则有较大的MOS。

    图2(C)中，蓝色线条为偏色图像的PDF，红色线条为无偏色图像的PDF。如果按图中所示，当MOS小于某个阈值时，无偏色图像的概率更大；当MOS大于某个阈值时，偏色图像的概率更大。这与作者文中所说相反。 不知是我理解有问题，还是作者两种颜色线条的描述出错。

    使用分类误差最小化方法获取上述阈值，得出结果为0.005。即当$MOS$小于该阈值时，判定为偏色图像，当$MOS$大于该阈值时，判定为无偏色图像。

2.2 Color Balancing of the Color Cast Hazy Images

    定义：$\eta =\frac{{\mu }_c}{{\mu }_{max}}(\le 1)$，其中，${\mu }_c$为图像$c$通道的均值， μ m a x = max ⁡ i ∈ { r , g , b } μ i \mu_{max} = \max\limits_{i \in \{r, g, b\}} \mu_i μmax​=i∈{r,g,b}max​μi​。颜色平衡图像$I^{\prime }$从输入图像$I$通过下列公式获得：
I c ′ ( x ) = min ⁡ ( I c η ( x ) , max ⁡ i ∈ { r , g , b } I i ( x ) ) (3) I^\prime_c(x) = \min(I_c^\eta(x), \max\limits_{i \in \{r, g, b\}} I_i(x)) \tag{3} Ic′​(x)=min(Icη​(x),i∈{r,g,b}max​Ii​(x))(3)

2.3 DCP Calculation for all Hazy Images

    场景深度通过DCP计算：
D ( y ) = min ⁡ x ∈ Ω ( y ) ( min ⁡ c ∈ { r , g , b } I c ′ ( x ) ) (4) D(y) = \min _{x \in \Omega(y)}\left(\min _{c \in\{r, g, b\}} I_{c}^{\prime}(x)\right) \tag{4} D(y)=x∈Ω(y)min​(c∈{r,g,b}min​Ic′​(x))(4)

    $I^{\prime }$为颜色平衡后的图像。对于无偏色图像，$I^{\prime }=I$。

2.4 Airlight Estimation and Refinement

1) Airlight estimation for all images

    初始大气光估计采用DCP中的大气光估计方法：分三通道计算大气光值，暗通道中最亮的0.1%的点（定义为$P_D^{0.1\%}$）对应雾图像素点的均值。公式如下：
A c = 1 ∣ P D 0.1 % ∣ ∑ x ∈ P D 0.1 % I c ′ ( x ) , ∀ c ∈ { r , g , b } (5) A_{c}=\frac{1}{| P_{D}^{0.1 \%}|} \sum_{x \in P_{D}^{0.1 \%}} I_{c}^{\prime}(x), \forall c \in\{r, g, b\} \tag{5} Ac​=∣PD0.1%​∣1​x∈PD0.1%​∑​Ic′​(x),∀c∈{r,g,b}(5)

    对于无偏色图像，$I^{\prime }=I$。

2) Refinement for color cast images

    三个通道大气光值的差异越大，大气光越需要优化。根据MOS的值来定义优化项：
$${\alpha }_c=(\frac{A_{max}}{A_c}{)}^{\sqrt{{\kappa }_c}}\text{\hspace{1em}(6)}$$

    其中， A m a x = max ⁡ c ∈ { r , g , b } A c A_{max} = \max\limits_{c \in \{r, g, b\}}A_c Amax​=c∈{r,g,b}max​Ac​，${\kappa }_c=2\sqrt{v}$，$v$为$(1)$中计算的MOS值。根据优化项，使用如下公式更新最终大气光：
$$A_c=\frac{A_c}{{\alpha }_c}\text{\hspace{1em}(7)}$$

2.5 Transmission Map Estimation

    使用DCP的方法获得传输率图：
t c = 1 − ω Λ ( D ) A c , ∀ c ∈ { r , g , b } (8) t_c = 1 - \omega\frac{\Lambda(D)}{A_c},\forall c \in \{r, g, b\} \tag{8} tc​=1−ωAc​Λ(D)​,∀c∈{r,g,b}(8)

    其中，和DCP方法一样，$\omega =0.95$。$\Lambda$为经过Weighted Least Squares(WLS)滤波后的暗通道，该操作能够平滑边界，减少伪影。

2.6 Scene Radiance Computation

    最后一步，使用大气散射模型计算原始场景辐射：
J c ( x ) = A c + I c ′ ( x ) − A c max ⁡ ( t 0 , t c ( x ) ) , ∀ c ∈ { r , g , b } (9) J_{c}(x)=A_{c}+\frac{I_{c}^{\prime}(x)-A_{c}}{\max \left(t_{0}, t_{c}(x)\right)},\forall c \in \{r, g, b\} \tag{9} Jc​(x)=Ac​+max(t0​,tc​(x))Ic′​(x)−Ac​​,∀c∈{r,g,b}(9)

    $t_0=0.1$。

3. 读后感

    本文提出了一种能够处理偏色图像的传统去雾方法。两点值得学习，一是对偏色图像判断的方法，二是使用WLS处理DCP中的暗通道，减少DCP中结果中存在的伪影。