论文阅读：FD-GAN: Generative Adversarial Networks with Fusion-discriminator for Single Image Dehazing

最新推荐文章于 2023-11-14 20:12:39 发布

Space_walk

最新推荐文章于 2023-11-14 20:12:39 发布

阅读量2.3k

点赞数 5

分类专栏：图像去雾论文阅读文章标签：图像去雾

本文链接：https://blog.csdn.net/space_walk/article/details/108851350

版权

图像去雾论文阅读专栏收录该内容

22 篇文章 114 订阅

订阅专栏

本文提出了一种名为FD-GAN的生成对抗网络，利用融合判别器结合图像的高频和低频信息进行图像去雾。通过在判别器中融合低频和高频信息，生成器能够生成更自然、真实且少有偏色和伪影的去雾图像。实验表明，这种方法在保留图像结构和色彩保真度方面表现优越。

摘要由CSDN通过智能技术生成

论文题目及作者
代码：https://github.com/WeilanAnnn/FD-GAN

1. 摘要

本文提出了Generative Adversarial Networks with Fusion-discriminator (FD-GAN)。该网络用到了图像的频率信息作为额外的先验。模型输出的结果更加真实和自然，且有更少的偏色和伪影。

2. 提出的方法

网络的整体结构如图1所示。
网络整体结构

图1 网络整体结构

2.1 Densely Connected Encoder-decoder

本文生成器是一个端到端的网络，即输入雾图，输出无雾图，而不用使用中间结果和大气散射模型。生成器是一个编码-解码器结构，如图1(a)所示。编码器包含了稠密块，稠密块包含了一系列的卷积，BN和ReLU层。编码器中的池化层将特征图缩减到输入的1/8。而在解码器中，本文使用最近邻差值逐步上采用特征图到原始图像的大小。

2.2 Fusion-discriminator

有雾和雾图图像之间有许多差异。例如，和有雾图像相比，无雾图像通常有更高的对比度和更尖锐的边缘。本文设计判别器时，将频率信息作为额外限制信息。
图像可以被分解为高频（high-frequency，HF）和低频（low-frequency，LF）组件。高频组件为图像强度骤变的区域，例如尖锐边缘，纹理信息等。相反，低频组件为强度变换缓慢的区域，即平滑区域。随着高频信息被移除，LF着重在图像的亮度，颜色和对比度，并且可以让颜色对比更加方便。本文使用这个思想提出了一个新颖的融合判别器。高频和低频可以帮助判别器判别雾图和无雾图在纹理和主色调的差别。本文使用高斯滤波移除图像的高频信息而得到低频信息；使用拉普拉斯锐化图像，从而得到高频信息。图2展示了雾图和无雾图提取到的高频和低频信息。

图2 雾图和无雾图提取到的高频和低频信息

如图1(b)所示，给定输入雾图 $I$ 和Ground-Truth $J$ ，生成器输出结果为 $G (I)$ 。分别求取 $G (I)$ 和 $J$ 的低频组件和高频组件， $G(I)_{LF}$ ， $G(I)_{HF}$ ， $J_{LF}$ ， $J_{HF}$ 。训练判别器时，将 $G(I),G(I)_{LF},G(I)_{HF}]$ 标定为 $f a k e$ ，将 $J,J_{LF},J_{HF}]$ 标定为 $r e a l$ 。因此，本文的方法可以公式化为如下min-max优化问题：
$\begin{array}{l} \min _{G} \max _{D} E_{J \sim p_{{train }}(J)}\left[\log D\left(J \bowtie J_{L F} \bowtie J_{H F}\right)\right] \\ +E_{I \sim p_{G}(I)}\left[\log \left(1-D\left(G(I) \bowtie G(I)_{L F} \bowtie G(I)_{H F}\right)\right)\right] \tag{3} \end{array}$

其中， $\bowtie$ 表示concat操作。通过将低频和高频信息融合到判别器中，可以产生更加自然和真实的结构，并且会有更少的偏色和伪影。

2.3 Discussions on discriminator

本文还尝试了分别使用 $G(I),G(I)_{LF}]/[J,J_{LF}]$ 和 $G(I),G(I)_{HF}]/[J,J_{HF}]$ 来训练融合判别器，分别称为Fusion-LF和Fusion-HF。除了判别器，其余部分的网络完全相同。表1和图3展示了相应的结果。

表1 不同判别器的定量指标

不同判别器的定量指标
不同判别器的视觉结果

图3 不同判别器的视觉结果

以上结果，可以得到如下观察：1）Fusion-full模型在SOTS和NTIRE18数据集上均达到最高PSNR和SSIM值，其次是Fusion-LF模型。 2）每个模型在真实世界图像上的视觉效果都可以相互媲美。它们都能去雾，并产生令人满意的去雾效果。 3）与Fusion-LF相比，Fusion-HF具有更大的雾度效果，但倾向于在物体上产生很少的色彩失真。 4）由于LF强调图像的主色调，对比度和结构，因此Fusion-LF的除雾效果具有更好的色彩保真度和对比度 5）全融合模型可以成功融合Fusion-HF和Fusion-LF模型的优势，并产生更自然的结果，具有更好的对比度，亮度和色彩保真度。直观上，HF强调图像的边缘和纹理，而雾图像通常会丢失边缘信息，这可能有助于鉴别器检测和区分雾的区域。因此，Fusion-HF可以去除更多的雾。对于LF，它强调图像的主要颜色和对比度信息。因此，在LF约束下，Fusion-LF模型可以产生视觉上令人满意的结果，并且颜色失真更少。结果表明，不同的变体可以根据不同的融合信息表现出不同的特性。总体而言，融合判别器的所有三个变体都可以获得出色的性能，体现了这种架构的有效性。

2.4 Loss Function

1. Pixel-wise loss
给定雾图 $I_i$ ，生成器输出 $G(I_i)$ 和Ground-Truth $J_i$ ， $N$ 个样本的 $L 1$ 范式损失定义如下：
$L_{1}=\sum_{i=1}^{N}\left\|G\left(I_{i}\right)-J_{i}\right\|_{1} \tag{4}$

它可以测量图像像素空间中去雾图像与Ground-Truth之间的失真/逼真度。

2. SSIM loss
SSIM用于测量两幅图像之间的结构相似度，定义如下：
$\operatorname{SSIM}(G(I), J)=\frac{2 \mu_{G(I)} \mu_{J}+C_{1}}{\mu_{G(I)}^{2}+\mu_{J}^{2}+C_{1}} \cdot \frac{2 \sigma_{G(I) J}+C_{2}}{\sigma_{G(I)}^{2}+\sigma_{J}^{2}+C_{2}} \tag{5}$

其中， $\mu_x$ 和 $\sigma_x^2$ 分别表示 $x$ 的均值和方差。 $\sigma_{xy}$ 表示 $x$ 和 $y$ 的协方差。 $C_1,C_2$ 为保持稳定性的常数。因为SSIM的值在 $[0, 1]$ 之间，SSIM损失定义如下：
$L_{S}=1-S S I M(G(I), J) \tag{6}$

3. Perceotual loss
感知损失在前面多篇博客中都有提到，这里不再赘述。感知损失定义如下：
$L_{p}=\sum_{i=1}^{N}\left\|\phi\left(G\left(I_{i}\right)\right)-\phi\left(J_{i}\right)\right\|_{1} \tag{7}$