论文阅读：Multi-scale Optimal Fusion model for single image dehazing

代码：https://github.com/phoenixtreesky7/mof_dehazing

1. 摘要

    逐像素（pixel-wise）估计传输率图会导致过饱和，而逐块（patch-wise）估计会导致边缘的传输率错误估计（Transmission MisEstimated，TME），从而引起去雾图像的边缘伪影。如下图1所示。本文提出了一种Multi-scale Optimal Fusion（MOF）模型，该模型原理为在边缘使用逐像素估计，而在非边缘处使用逐块估计。同时，还提出了两种预处理方法提升该模型的鲁棒性和减少计算复杂度。

图1 两种传输率图估计方法的结果对比

2. 提出的方法

2.1 大气散射模型和暗通道先验

    太基础，不做介绍。
$$\mathbf{I}(\mathbf{x})=\mathbf{J}(\mathbf{x})\cdot t(\mathbf{x})+\mathbf{A}(1-t(\mathbf{x}))\text{\hspace{1em}(1)}$$

d Ω ( x ) = min ⁡ y ∈ Ω ( x ) [ min ⁡ c ∈ { r , g , b } I c ( y ) ] (2) d_{\Omega}(\boldsymbol{x})=\min _{\boldsymbol{y} \in \Omega(\boldsymbol{x})}\left[\min _{c \in\{\boldsymbol{r}, g, b\}} \boldsymbol{I}^{c}(\boldsymbol{y})\right] \tag{2} dΩ​(x)=y∈Ω(x)min​[c∈{r,g,b}min​Ic(y)](2)

t p a ( x ) = 1 − α min ⁡ y ∈ Ω ( x ) [ min ⁡ c ∈ { r , g , b } I c ( y ) A c ] t p i ( x ) = 1 − α [ min ⁡ c ∈ { r , g , b } I c ( y ) A c ] (3) \begin{aligned} & t_{p a}(\boldsymbol{x})=1-\alpha \min _{\boldsymbol{y} \in \Omega(\boldsymbol{x})}\left[\min _{c \in\{r, g, b\}} \frac{\boldsymbol{I}^{c}(\boldsymbol{y})}{\boldsymbol{A}^{c}}\right] \\ & t_{p i}(\boldsymbol{x})=1-\alpha \left[\min _{c \in\{r, g, b\}} \frac{\boldsymbol{I}^{c}(\boldsymbol{y})}{\boldsymbol{A}^{c}}\right] \end{aligned} \tag{3} ​tpa​(x)=1−αy∈Ω(x)min​[c∈{r,g,b}min​AcIc(y)​]tpi​(x)=1−α[c∈{r,g,b}min​AcIc(y)​]​(3)

    $t_{pa}$为逐块传输率，$t_{pi}$为逐像素传输率。
$$\mathbf{J}(x)=\frac{\mathbf{I}(x)-\mathbf{A}}{t(x)}+\mathbf{A}\text{\hspace{1em}(4)}$$

2.2 MOF

    本文的思想为结合两种传输率估计方法。具体而言，就是在边缘使用逐像素估计，而在非边缘使用逐块估计。如下图2所示，图2(a)为蓝色虚线框处边缘区域（即TME区域），图2(b)为该模型的核心思想（详见后文）。

图2 MOF模型思想

    该模型的公式化如下：
$$t_{mof}(\mathbf{x})={\mathbf{W}}_{tme}(\mathbf{x})\cdot t_{pi}(\mathbf{x})+{\mathbf{W}}_{\overline{tme}}(\mathbf{x})\cdot t_{pa}(\mathbf{x})\text{\hspace{1em}(5)}$$

    $t_{mof}$为该模型得到的理想传输率图，$t_{pi}$和$t_{pa}$为逐像素和逐块传输率图，${\mathbf{W}}_{tme}$和${\mathbf{W}}_{\overline{tme}}$为结合$t_{pi}$和$t_{pa}$两者的权重。因为$0<t_{mof}(\mathbf{x})<1$，所以${\mathbf{W}}_{tme}+{\mathbf{W}}_{\overline{tme}}=1$。
    正如前文所说，该模型原理为在边缘使用逐像素估计，而在非边缘处使用逐块估计。转换为数学公式，即在TME区域，最小化$t_{mof}$和$t_{pi}$和的差异，在非TME区域，最小化$t_{mof}$和$t_{pa}$的差异。结合$(5)$，有：
$$\begin{array}{rl}& {\mathbf{W}}_{\overline{tme}}(\mathbf{x})\approx 0\text{ and }{\mathbf{W}}_{tme}(\mathbf{x})\approx 1,\mathbf{x}\in TME\\ & {\mathbf{W}}_{t\overline{me}}(\mathbf{x})\approx 1\text{ and }{\mathbf{W}}_{tme}(\mathbf{x})\approx 0,\mathbf{x}\notin TME\end{array}\text{\hspace{1em}(6)}$$

    如图2(b)所示。
    该模型的目标函数如下：
$$\begin{gathered} \underset{t_{mof}}{\min }{\Vert {\mathbf{W}}_{tme}\cdot t_{mof}-t_{pi}\Vert }_2^2+{\Vert {\mathbf{W}}_{\overline{tme}}\cdot t_{mof}-t_{pa}\Vert }_2^2+{\lambda }_t{\Vert 1-t_{mof}\Vert }_2^2+\mathbf{R}\left(t_{mof}\right) \\ \text{\hspace{1em}(7)} \end{gathered}$$
    ${\lambda }_t$为标准化系数，用于避免无效输出。$\mathbf{R}\left(t_{mof}\right)$为平滑项。因为${\mathbf{W}}_{tme}$和${\mathbf{W}}_{\overline{tme}}$为TME区域的掩模，所以首先需要从图像中识别出TME区域。

1) 获取${\mathbf{W}}_{tme}$&${\mathbf{W}}_{\overline{tme}}$

    从$(3)$分析可知，TME区域可以大致的用如下公式提取：
$$D_t=\max \left[\left(1-\alpha d_{pa}\right)-\left(1-\alpha d_{pi}\right),0\right]\text{\hspace{1em}(8)}$$

    其中，$d_{pa}$和$d_{pi}$为$\mathbf{I}/\mathbf{A}$的逐块和逐像素的暗通道。

    由上可知：
d p a = min ⁡ y ∈ Ω ( x ) [ min ⁡ c ∈ { r , g , b } I c ( y ) A c ] d_{pa} = \min\limits_{y \in \Omega(x)}[\min\limits_{c \in \{r, g, b\}}\frac{I^c(y)}{A^c}] dpa​=y∈Ω(x)min​[c∈{r,g,b}min​AcIc(y)​]

d p i = min ⁡ c ∈ { r , g , b } I c ( y ) A c d_{pi} = \min\limits_{c \in \{r, g, b\}}\frac{I^c(y)}{A^c} dpi​=c∈{r,g,b}min​AcIc(y)​

    在非TME区域，$d_{pa}$和$d_{pi}$两者相近，而在TME区域，$d_{pa}$要小于$d_{pi}$。根据这一特性，可以提取TME区域。

    如图3所示，图3(a)为$D_t$，包含了很多纹理信息。但是判别TME区域不需要这些纹理信息，所以通过高斯滤波器进行滤波，结果（用$D_g$表示）如图3(b)所示。之后再通过$tanh$函数增强对比度，结果（用$D_f$表示）如图3(c)所示。可以到看，纹理信息很平滑，但是边缘信息仍然保留着。
    定义${\mathbf{W}}_{tme}=D_f$，${\mathbf{W}}_{\overline{tme}}=1-D_f$。

图3 TME提取过程图

2) 单尺度融合模型

    由上定义${\mathbf{W}}_{tme}=D_f$，${\mathbf{W}}_{\overline{tme}}=1-D_f$，$(7)$重写为：
$$\begin{gathered} \underset{t_{mof}}{\min }{\Vert D_f\cdot t_{mof}-t_{pi}\Vert }_2^2+{\Vert (1-D_f)\cdot t_{mof}-t_{pa}\Vert }_2^2+{\lambda }_t{\Vert 1-t_{mof}\Vert }_2^2+\mathbf{R}\left(t_{mof}\right) \\ \text{\hspace{1em}(9)} \end{gathered}$$
    从$(9)$中不容易直接求出$t_{mof}$，转化为下面两个步骤求解：

1. 去除平滑项，直接求解下式：
   $$t_{mof}(x)=\frac{D_f(x)\cdot t_{pi}(x)+\left(1-D_f(x)\right)\cdot t_{pa}(x)+{\lambda }_t}{D_f^2(x)+{\left(1-D_f(x)\right)}^2+{\lambda }_t}\text{\hspace{1em}(10)}$$

    本文中，${\lambda }_t=10^{-6}$。

2. 通过快速GD-GIF平滑$t_{mof}$，下面再讨论。

3) 多尺度融合模型

    上述单尺度融合模型中，逐块估计传输率的块大小，该模型不能很好的处理不同分辨率的图像。因此作者提出了多尺度融合模型，即选择多个块大小的逐块融合传输率图，通过权重进行融合求得最终$t_{mof}$。具体如下。
    首先，需要确定不同的块大小$r^j(j=1,2,...,\beta )$：
$$r^j=\lfloor 2j\cdot \log (w\times h)\rfloor -1,j=1,2,\dots ,\beta \text{\hspace{1em}(11)}$$

    有了不同尺度的块，通过$(10)$可以求得$t_{mof}^j$，对于所有$t_{mof}^j$，通过不同权重融合成最终$t_{mof}$：
$$t_{mof}=\sum _j^{\beta }{v}^j\cdot t_{mof}^j,j=1,2,\dots ,\beta \text{\hspace{1em}(12)}$$

    $v_j$为第$j$个尺度逐块估计传输率的权重，${\sum }_j^{\beta }{v}^j=1$，定义如下：
$${\mathbf{v}}^j=\frac{e^{\tau \cdot |r(\beta -j+1)-1|}}{{\sum }_i^{\beta }{e}^{\tau \cdot |r(i)-1|}},j=1,2,\dots ,\beta \text{\hspace{1em}(13)}$$

    $\tau$为比例控制因子，$\tau$越大表示权重的不均匀性越大。本文中，$\tau =0.138$。
    通常在该模型中，$J=2$。

2.3 后处理

1) 快速梯度域引导图像滤波(GD-GIF)

    为了抑制$(12)$结果的纹理，增加对$t_{mof}$的快速GD-GIF。

原理详见Gradient Domain Guided Image Filter。

2) 曝光度增强

    $t_{pa}$通常比$t_{mof}$要大，这就导致通过$t_{mof}$处理后的图像会偏暗。为了解决这一问题，增加如下自适应的曝光度拉伸：
$$\underset{S}{\min }{\Vert 1-S\cdot \left({\mathbf{I}}_Y/{\mathbf{J}}_Y\right)\Vert }_2^2+{\lambda }_e\Vert S-1{\Vert }_2^2+R(S)\text{\hspace{1em}(14)}$$

    这里没看懂。

3. 读后感

    本文提出了一种解决逐块估计传输率固有的一个诟病“边缘伪影”的方法。实验结果不错，但是运行时间不是很理想，因为本方法中用到了许多技术，都是比较耗时的。