Deblurring by Realistic Blurring 论文笔记

前言

图像去模糊任务是目的是给定一幅被未知模糊核或空间变异核所破坏的模糊图像，(盲)图像去模糊的任务是通过减少或去除模糊图像中不期望的模糊来恢复原始图像的锐化版本。传统的去模糊方法通过估计模糊核来处理这个问题，通过该核可以恢复模糊输入图像的锐化版本。该论文提出了一种新的基于GAN生成对抗模型来解决图像模糊任务的方法，可以放宽对成对清晰模糊图像的需要，从而对训练所需数据要求更低，因为以往的训练过程都需要成对的图像进行有监督训练，在BGAN模块中使用未配对的图像进行直接训练。主要创新点有两个：①提出了一种新的模糊和去模糊的GAN模型，两者可以互相作用并且取得了不错的效果；②提出了一种新的GAN模型的模糊损失。

网络框架

整体的网络框架如上图，分为两个GAN网络，第一个是图像模糊网络——BGAN，用于将清晰的图像变模糊，另外一个是图像去模糊网络DBGAN，用于将模糊图像变清晰，每个网络分别是一个GAN模型，并且都分别有自己的生成器和辨别器。

BGAN

在图像模糊GAN网络中目的是模拟图像退化变模糊的过程，生成器先随机采样四个高斯噪声图然后和清晰图像进行拼接，得到的特征图经过卷积网络之后得到模糊图像。辨别器经过对真实模糊图像的学习后对生成的模糊图像进行辨别，判断它是模糊图像的概率。生成器和辨别器损失分为两个部分，分别为感知损失和对抗损失。基于从所提出的BGAN合成的模糊图像和从公共数据集中获取的图像来计算感知损失。这样，它们就可以有相似的内容。在合成的模糊图像和真实的模糊图像之间计算对抗损失。真正的模糊图像来自我们新创建的数据集。

DBGAN

DBGAN就是一个基于GAN的图像去模糊网络，也分为生成器和辨别器。生成器和辨别器的结构和BGAN网络差不多，损失也分为感知损失和对抗损失。

Relativistic Blur Loss

除了感知损失和内容损失之外，论文提出了一种新的RBL损失，RBL的目标是更新生成器以生成接近0.5的合成图像，同时愚弄辨别器模型，使真假图像难以区分。这样应用于BGAN网络可以生成更多多样性的模糊图像，来模拟真实世界多种图像退化的过程。

实验

论文对GoPro数据集上进行实验，并且提出了自己新的数据集RWBI在多个设备上拍摄的模糊图像。分别对三种模型进行了实验，首先是DBGAN网络：单独训练DBGAN网络；DBGAN(-)：和DBGAN有相同的结构，但是损失函数没有加入RBL；DBGAN(+)：在DBGAN的基础上，还载入了BGAN生成的模糊数据进行迁移学习。虽然取得了不错的效果，但是说服力不是很足，因为额外加入数据进行迁移学习理论上本来就可以提升模型的性能，并不能证明BGAN网络可以提出性能的有效性。

总结

本文提出了一种基于GAN的图像去模糊方法，分为两个GAN模型，一个用于图像模糊，生成多样性的模糊图像；另外一个用于图像去模糊任务。虽然结果来看还是不错，但是其实DBGAN网络在单独作用的情况下也能取得不错的效果，对于BGAN模型对去模糊任务的帮助其实并不大，至少在实验上不能证明，而且也不能说帮助更好地进行训练或者降低训练数据的要求，有点画蛇添足的感觉。