论文阅读：HardGAN: A Haze-Aware Representation Distillation GAN for Single Image Dehazing

代码：https://github.com/huangzilingcv/HardGAN

1. 摘要

    本文提出了Haze-Aware Representation Distillation GAN(HardGAN)，用于单幅图像去雾。

2. 网络结构

    下图1展示了生成器结构。对于判别器，文章已说明，使用的是《Image-to-image translation with conditional adversarial networks》中的patch-GAN的判别器。

图1 生成器结构

Generator

    图中，蓝色HARD模块为Haze-Aware Representation Distillation(HARD)模块。生成器由粗到细分为三层，即图1中的三行。第一层为最粗略层，包含五个HARD模块；第二层为中间层，包含了六个HARD模块；第三层为最精细层，包含了八个HARD模块。
    给定一张雾图$X$和其对应的Ground-Truth $Y$，用$x_m^n$和$y_m^n$表示第m层的第n个HARD模块。第一层和第二层的输入分别为$X\downarrow$和$X\downarrow \downarrow$，其中$\downarrow$代表下采样。

    符号举例如图所示，$x$表示模块输入，$y$表示模块的输出。

    第一层和第二层前半部分的输入公式化如下：
$$x_2^n=ADD\left(y_3^{n-1}\downarrow ,y_2^{n-1}\right)\text{\hspace{1em}(2)}$$

$$x_1^n=ADD\left(\left(y_3^{n-1}\downarrow \right)\downarrow ,y_2^{n-1}\downarrow ,y_1^{n-1}\right)\text{\hspace{1em}(3)}$$

    有了上图的解释，$(2)(3)$就很好理解了。举个例子，当$n=3$时，有：
$$x_2^3=ADD\left(y_3^2\downarrow ,y_2^2\right)$$

$$x_1^3=ADD\left(\left(y_3^2\downarrow \right)\downarrow ,y_2^2\downarrow ,y_1^2\right)$$

    第二层和第三层后半部分的输入公式化如下：
$$x_2^n=ADD\left(y_1^{n-1}\uparrow ,y_2^{n-1}\right)\text{\hspace{1em}(4)}$$

$$x_3^n=ADD\left(\left(y_1^{n-1}\uparrow \right)\uparrow ,y_2^{n-1}\uparrow ,y_3^{n-1}\right)\text{\hspace{1em}(5)}$$

    其中，$ADD(\cdot )$表示逐通道相加，$\uparrow$表示上采样。

HARD模块

    HARD模块结构如图2所示。

图2 HARD模块结构

    每个HARD模块包含两个分支。第一个分支（图2下半部分）用于生成每个通道的大气亮度和空间信息。第二个分支（图2上半部分）用于每个通道组合空间信息和大气亮度，它包含了三个子分支，分别用于雾感知图生成，全局大气亮度估计和空间信息插入。
    本文将每个通道的大气亮度编码为1×1×2的矩阵，表示为${\gamma }_i^g$和${\beta }_i^g$（即1×1×2矩阵的第三个维度的两个值，$i$表示第$i$通道），第一分支通过网络学习得到这两个元素。对于第二分支的第一子分支，利用这两个元素和输入图像得到全局大气亮度，公式如下：
$$G_i={\gamma }_i^g\frac{x-\mu }{\sigma }+{\beta }_i^g\text{\hspace{1em}(6)}$$

    其中，$\mu$和$\sigma$为输入$x$的均值和标准差。
    同样，对于每个通道的空间信息，第一分支将其编码为H×W×2的矩阵，表示为${\gamma }_i^l$和${\beta }_i^l$。第二分支的第三子分支，利用这两个元素和输入图像得到：
$$L_i={\gamma }_i^l\frac{x-\mu }{\sigma }+{\beta }_i^l\text{\hspace{1em}(7)}$$

    为了自适应地融合大气亮度和空间信息，将输出特征图馈入实例规范化，然后馈入Sigmoid层，以生成每个通道的雾度感知图$A$，其中$A_i$表示第$i$通道的雾度感知图。这种方法可确保我们的模型在遇到不规则类型的雾时更改其焦点。
    融合上述三个特征，得到输出：
$$y_i=\left(1-A_i\right)\otimes G_i+A_i\otimes L_i\text{\hspace{1em}(8)}$$

    $\otimes$表示逐元素相乘。

    不知道是我的理解有问题还是作者写的有问题，这一部分看的我云里雾里。例如，大气亮度如果是逐通道的话，为什么$(6)$中的$x$没有下标$i$？又比如，第一分支相同的网络结构，为什么得到两种不同尺寸的输出（1×1×2和H×W×2）。

3. 损失函数

    损失函数包含三部分，分别为：对抗损失，平滑$L1$损失以及感知损失。总损失如下：
$$\mathcal{L}={\lambda }_{adv}{\mathcal{L}}_{adv}+{\lambda }_{L_1}{\mathcal{L}}_1+{\lambda }_{per}{\mathcal{L}}_{per}\text{\hspace{1em}(9)}$$

    其中，${\lambda }_1=1.2$，${\lambda }_{per}=0.04$，${\lambda }_{adv}=0.05$。

3.1 Adversarial Loss

$${\mathcal{L}}_{adv}(G,D)=E[D(y)]-E[D(G(x))]+\lambda E\left[(|\nabla D(\alpha x-(1-\alpha G(x)))|-1{)}^2\right]\text{\hspace{1em}(10)}$$

    该对抗损失应该只是理论上的。

3.2 Smooth $L1$ Loss

    $L1$损失公式如下：
$${\mathcal{L}}_1=\frac{1}{N}\sum _{y=1}^N\sum _{i=1}^3\alpha \left({\hat{Y}}_i(z)-Y_i(z)\right)\text{\hspace{1em}(11)}$$

    其中${\hat{Y}}_i(z)$和$Y_i(z)$分别为去雾图和Ground-Truth在像素点$z$上第$i$通道的值。$N$为总像素点数，$\alpha$定义如下：

$$\alpha (e)=\{\begin{array}{rlr}0.5e^2,& & \text{ if }|e|<1\\ |e|-0.5,& & \text{ otherwise }\end{array}\text{\hspace{1em}(12)}$$

3.3 Perceptual Loss

    感知函数不多赘述，公式如下：
$${\mathcal{L}}_{\text{per}}=\sum _{j=1}^3\frac{1}{C_j{H}_j{W}_j}\Vert {\varphi }_j(y)-{\varphi }_j\left(y_t\right)\Vert \text{\hspace{1em}(13)}$$

    ${\varphi }_j$为预训练的VGG19的第$j$层激活函数。

4. 其余部分

    其余部分感兴趣的可以去看原文，没什么值得分析的。

5. 总结

    本文提出了一种新颖的多尺度图像去雾网络。 所提出的方法没有明确估计传输图和大气光强度，而是自适应地将局部空间信息和全局大气亮度融合在一起，这些学习方法是通过学习的单个通道的雾度感知图指导的。 在合成和真实雾图像上进行的大量实验证明了本文方法的有效性。 除了具有均匀雾的图像，本文的方法还可以很好地去除图像中的密集非均匀雾。