[NTIRE18]Multi-scale Single Image Dehazing using Perceptual Pyramid Deep Network

1. 概述

作者采用 Encoder-Decoder 结构进行去雾。与以往将大气散射模型嵌入网络中不同，作者让模型直接学习从雾图到GT的非线性映射。此外，由于 $L_2$ 损失函数对去雾效果的副作用，作者采用了 MSE 和 感知损失函数（VGG16）作为新的损失函数。

2. 网络结构

网络结构如下图所示，作者采用稠密块（DenseBlock）残差块（ResBlock）的结合作为编/解码器，解码器部分采用了反卷积。金字塔池化模块见代码，论文中作者并未详述网络细节。

图1 网络结构

3. 损失函数

损失函数如下：

$L_E$ 为标准 MSE 损失函数，$L_P$ 为感知损失函数，$V$ 表示 VGG16。

4. 数据处理

由于 NTIRE 数据集的图片尺寸过大，作者将其进行了处理。考虑到直接将其下采样到低分辨率会丢失细节信息，作者采用了下述办法：

• 将原始图片裁剪到不同尺寸（512×512, 1024×1024, 1024×2048, 2048×2048 和 原始尺寸)

transforms.RandomCrop

• 调整分辨率到 640 × 640 分辨率（作者采用的GPU能够处理的最大分辨率）。

transforms.Resize

• 对每个 Patch 进行去雾，采用适当的办法对齐进行合并得到完整的去雾图像。

具体怎么合并的见代码

5. 参考文献

[1] He Zhang Vishwanath Sindagi Vishal M. Patel, “Multi-scale Single Image Dehazing using Perceptual Pyramid Deep Network”. CVPR 2018.