DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better阅读笔记

论文：https://arxiv.org/pdf/1908.03826.pdf
代码：https://github.com/TAMU-VITA/DeblurGANv2

abstract

我们提出了一个名为DeblurGAN-v2的端到端的生成对抗网络，它对于去模糊产生了非常好的性能。DeblurGAN-v2基于conditional GAN(带有两个判别器)。我们将特征金字塔网络结构作为DeblurGAN-v2生成器的核心构建块。 它可以灵活地与各种backbone配合使用，在性能和效率之间取得平衡。如果使用复杂的backbone(如Inception-ResNet-v2)可以得到非常好的去模糊效果。同时，若使用轻量的backbone(e.g., MobileNet and its variants) ，DeblurGAN-v2比最接近的竞争对手快10到100倍，同时保持接近最先进的结果，这意味着可以选择实时视频去模糊。

Introduction

本文以DeblurGAN的成功为基础，旨在再次大力推动基于GAN的运动去模糊。 我们引入了一个新的框架DeblurGAN-v2来改进DeblurGAN，并且在质量效率范围内实现高度灵活性。 我们的创新总结如下:

Framework Level : 我们构建了一个用于去模糊的新条件GAN框架。 对于生成器，我们将特征金字塔网络（FPN）(最初用于目标检测)引入到图像恢复任务中。 对于鉴别器，我们采用 relativistic discriminator ，并且使用最小均方损失在两个尺度上分别进行评估。

Backbone Level : 在生成器部分选择不同的 backbone 会有不同的去模糊效果。如果想得到最好的去模糊效果，我们使用复杂的 backbone : Inception-ResNet-v2 。 如果想得到更高的效率 ，我们使用清量的backbone : MobileNet, 并进一步创建他的变形：具有深度可分离卷积的 MobileNet-DSC。很明显后面两个具有更快的速度。

Experiment Level : 我们在三个流行的基准测试中展示了非常广泛的实验，以展示DeblurGANv2实现的最先进（或接近）性能（PSNR，SSIM和感知质量）。 在效率方面，DeblurGAN-v2与MobileNet-DSC的速度比DeblurGAN快21倍[21]，比[33,45]快100多倍，模型尺寸仅为4 MB，这意味着可能实现 时间视频去模糊。 我们还对真实模糊图像的去模糊质量进行了主观研究。 最后，我们展示了我们的模型在一般图像恢复中的潜力，因为它具有额外的灵活性。

DeblurGAN-v2 Architecture

DeblurGAN-v2 结构如下图所示，通过对生成器的训练，可以从一张模糊图像中恢复清晰图像。