学习笔记 Deblur系列 【1】-- Blind Motion Deblurring Using Conditional Adversarial Network

学习笔记 Deblur系列 【1】-- Blind Motion Deblurring Using Conditional Adversarial Network
欢迎转载交流学习，跟我说一下就行

论文创新点

1. 新的loss function，在motion deblurring方面比现有方法快五倍。
2. 新的产生模糊图像的方法，基于random trajectory。
3. 评价deblurring algorithm 效果的新视角，通过目标检测的结果来反映。

论文内容

1. Introduction
本文研究了单幅图像的blind motion deblurring。在图像超分辨率和图像修复方面GAN的应用取得了很大的进步。 众所周知，GAN能够保留图像纹理细节，并且看起来与原图像非常相似。在GAN图像超分辨率和图对图转换等方面应用的启发下，我们可以把deblurring当作一个图对图的转换问题。因此，提出了基于条件生成对抗神经网络和多元损失函数的DeblurGAN。不同于之前我们使用的含有梯度惩罚和感知损失的Wasserstein GAN，这个方法在感知上比较难区分处理后与真实图像，并且相比于使用传统的MSE或者MAE标准作为优化目标，它能够获得更好的纹理细节。
本文有三点贡献。首先，我们提出了在motion deblurring 方面获得很好效果的损失函数，其速度是其他方法的五倍。其次，我们提出了基于随机轨迹的模糊图像生成方法，能够在清晰图像数据库中自动化得产生motion deblurring 训练库。结合motion deblurring 数据库进行训练后相比于只用真实图像数据库的效果要好很多。最后，我们提出了基于如何提高目标检测效果的评价deblurring algorithm效果的新方法。

2. Related Work

2.1 Image Deblurring
非均匀模糊核模型一般形式如下：

IB是模糊图像，k（M) 是未知模糊核由运动M决定，IS是潜在清晰图像，*表示卷积操作，N是加入的噪声。所有的deblurring 问题都分为两类，blind 和 non-blind deblurring。早期的研究阶段主要研究non-blind deblurring，对模糊核进行模拟。主要依赖于Lucy-Richardson 算法，Wiener 或者 Tikhonov 滤波来进行去卷积操作并获得对潜在清晰图像的估计。一般来说模糊函数是未知的，所以blind deblurring算法主要对潜在清晰图像以及模糊核进行估计。寻找能够对应于每一个像素的模糊函数是一个病态问题，并且现有大部分算法都依赖于heuristics，图像的统计数据以及对模糊形成的猜想。这些方法主要用于解决因相机抖动而在图像中形成的均匀模糊。 首先，通过模糊核可以估计相机运动，然后进行去卷积来得到逆向的效果。在Fergus取得成功之后，过去是十年间出现了很多方法，一些是基于迭代方法，通过使用参数先验模型在每一次迭代中来提高对运动模糊核和潜在图像的估计。然而，运行时间同停止机制一样对于这类方法来说是很重要的问题。另一些方法使用对模糊函数的局部线性度猜想和simple heuristics来快速估计模糊核。这类方法比较快但是只在小的图像集合中表现较好。
最近，Whyte 提出了新的非均匀的blind deblurring 算法，这个算法是根据相机曝光时的角速度来设计了一个图像模糊过程的参数几何模型。Gupta 也猜想模糊是由于3D相机的移动产生的。在过去的几年里，出现很多基于CNN的方法。Sun 使用CNN来估计模糊核