论文阅读：DehazeNet: An End-to-End System for Single Image Haze Removal

代码(MATLAB)：https://github.com/caibolun/DehazeNet
代码(PyTorch)： https://github.com/thuBingo/DehazeNet_Pytorch

1. 摘要

    本文提出了一种称为$\mathrm{D}\mathrm{e}\mathrm{h}\mathrm{a}\mathrm{z}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$的可训练端到端系统，用于媒体传输估计。$\mathrm{D}\mathrm{e}\mathrm{h}\mathrm{a}\mathrm{z}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$将雾图像作为输入，并输出其传输率图，随后将其用于通过大气散射模型恢复无雾图像。 $\mathrm{D}\mathrm{e}\mathrm{h}\mathrm{a}\mathrm{z}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$采用基于卷积神经网络的深度架构，其各个层专门设计为体现图像去雾中已建立的假设/先验。具体来说，$\mathrm{M}\mathrm{a}\mathrm{x}\mathrm{o}\mathrm{u}\mathrm{t}$单元的图层用于特征提取，可以生成几乎所有的与雾相关的特征。我们还在$\mathrm{D}\mathrm{e}\mathrm{h}\mathrm{a}\mathrm{z}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$中提出了一种新的非线性激活函数，称为双边整流线性单元，它可以提高恢复的无雾图像的质量。$\mathrm{D}\mathrm{e}\mathrm{h}\mathrm{a}\mathrm{z}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$的组件和现有方法中使用的组件之间建立连接。

2. 雾相关特征

2.1 Dark Channel

    暗通道先验是基于对室外无雾图像的大量观察。在大多数无雾块中，至少一个颜色通道具有一些像素，这些像素的强度值非常低，甚至接近零。暗通道定义为局部色块中所有像素颜色的最小值：
D ( x ) = min ⁡ y ∈ Ω r ( x ) ( min ⁡ c ∈ { r , g , b } I c ( y ) ) (1) D(x) = \min\limits_{y \in \Omega_r(x)} (\min\limits_{c \in \{r, g, b\}} I^c(y)) \tag{1} D(x)=y∈Ωr​(x)min​(c∈{r,g,b}min​Ic(y))(1)

    其中$I^c$是$I$和的RGB颜色通道，${\Omega }_r(x)$是一个以$x$为中心的局部块，大小为$r\times r$。暗通道特征与图像中的雾度高度相关，并用于直接估计介质透射率$t(x)\propto 1-D(x)$。

2.2 Maximum Contrast

    根据大气散射，雾会降低图像的对比度，即${\sum }_x\parallel ▽I(x)\parallel =t{\sum }_x\parallel ▽J(x)\parallel \le {\sum }_x\parallel ▽J(x)\parallel$。基于此观察，局部对比度是指${\Omega }_s$中像素强度的方差与中心像素有关，${\Omega }_r$局部对比度的局部最大值定义为：
$$C(x)=\underset{y\in {\Omega }_r(x)}{\max }\sqrt{\frac{1}{|{\Omega }_s(y)|}\sum _{z\in {\Omega }_s(y)}\parallel I(z)-I(y){\parallel }^2}\text{\hspace{1em}(2)}$$

    其中，$|{\Omega }_s(y)|$对比度特征与介质透射率t之间的相关性在视觉上很明显，因此，通过最大化$(2)$所示的局部对比度，可以增强图像的可见性。

2.3 Color Attenuation

    颜色衰减先验（CAP）参考这篇文章，这里不多赘述。

2.4 Hue Disparity

    Semi-inverse（半反转）图像定义如下：
I s i ( x ) = max ⁡ [ I c ( x ) = 1 − I c ( x ) ] , c ∈ { r , g , b } I_{si}(x) = \max [I^c(x) = 1 - I^c(x)], c \in \{r, g, b\} Isi​(x)=max[Ic(x)=1−Ic(x)],c∈{r,g,b}

    原图与半反转图像之间的色度差异可以用于检测雾。对于无雾像素，并非所有三个半反值都会从原始值反转，这会导致$I_{si}(x)$和$I(x)$之间的色度变化很大。另一方面，对于有雾像素，所有三个半反值都将翻转，因此不会出现色度变化。色度差异定义为：
$$H(x)=|I_{si}^h(x)-I^h(x)|\text{\hspace{1em}(3)}$$

    其中，$h$表示在HSV颜色空间的色度通道。色度差异的原因是由于He描述的图像特性。在无雾区域，由于至少一个通道的特征是较小的值，因此该操作将用其反转数代替该值。 在天空或薄雾区域中，由于所有值均具有较高的值，$\max$操作将返回相同的值。因此，通过这种半反转与原始图像的直接色度比较，能够找到需要还原的像素，同时保留与原始图像相似的颜色外观。

3. 模型介绍

图1 DehazeNet模型结构 表1 DehazeNet结构配置

    这一部分详见文章。

3.1 Feature Extraction

$$F_1^i=\underset{j\in [1,k]}{\max }{\mathrm{g}}^{i,j}(x),{\mathrm{g}}^{i,j}=W_1^{i,j}\ast I+B_1^{i,j}\text{\hspace{1em}(5)}$$

3.2 Multi-Scale Mapping

$$F_2^i=W_2^{\lceil i/3\rceil ,(i\backslash 3)}\ast I+B_2^{\lceil i/3\rceil ,(i\backslash 3)}\text{\hspace{1em}(6)}$$

3.3 Local Extremum

$$F_3^i(x)=\underset{y\in \Omega (x)}{\max }{F}_2^i\text{\hspace{1em}(7)}$$

3.4 Non-Linear Regression

$$F_4=\min (t_{\max },\max (t_{\min },W_4\ast F_3+B_4))\text{\hspace{1em}(8)}$$

4. 和传统去雾方法的联系

    DehazeNet中的第一层特征$F_1$设计用于与雾相关特征的提取。

4.1 Dark Channel

    当滤波器$W_1$结构如下，

Opposite filter

    而$B_1$是一个单位偏差，则特征图的最大输出等于颜色通道的最小值，类似于暗通道（请参见公式$(1)$）。

    颜色通道乘以-1，则最大值变为最小值，最小值变为最大值。此时再取最大值，就相当于取最小值。即暗通道的思想。

4.2 Maximum Contrast

    当滤波器$W_1$结构如下，

Round filter

    $F_1$类似于最大对比度（请参见公式$(2)$）。

4.3 Color Attenuation and Hue Disparity

    当$W_1$包含All-pass filters（见下）和Opposite filters时，相当于提取了$I$中的最大特征图和最小特征图，而这两个操作是RGB空间转换成HSV空间的算法中的原子操作。之后再通过设计相应的算法就能提取颜色衰减和色度差异的特征图了。

All-pass filter

5. 损失函数

    均方误差：
$$L(\Theta )=\frac{1}{N}\sum _{i=1}^N\Vert \mathcal{F}(I_i^P;\Theta )-t_i{\Vert }^2\text{\hspace{1em}(9)}$$

     Θ = { W 1 , W 2 , W 3 , B 1 , B 2 , B 3 } \Theta = \{\mathcal{W}_1, \mathcal{W}_2, \mathcal{W}_3, \mathcal{B}_1, \mathcal{B}_2, \mathcal{B}_3\} Θ={W1​,W2​,W3​,B1​,B2​,B3​}代表网络的参数，$I^P$表示图像块。

6. 读后感

    这篇文章可以说是传统和深度结合的文章。尽管现在2020年，仍然有CVPR的论文在指标对比上和DehazeNet比较，可见影响力还是挺大的。