模糊（二）DeblurGAN

论文主要贡献：

1）提出基于cGAN的网络DeblurGAN 和content loss
2)  提出一个合成模糊图像的方法

损失函数

  Adversarial loss

WGAN-GP：实现了在多种GAN结构上稳定训练，且几乎不需要调整超参数。

 Content loss

内容损失，也就是评估生成的清晰图像和ground truth之间的差距。

两个常用的选择是L1（也称为MAE，mean absolute error）损失，和L2（也称为MSE）损失。

最近提出了“perceptual loss”，它本质上就是一个L2 loss，它计算的是CNN生成的feature map和ground truth的feature map之间的距离。

运动模糊图像生成 

step1. 采用了Boracchi和Foi[1]提出的运动轨迹随机生成方法（用马尔科夫随机过程生成）；

step2. 对轨迹进行“sub-pixel interpolation”生成blur kernel。这种方法也只能在二维平面空间中生成轨迹，并不能模拟真实空间中6D相机的运动。

 训练：

perform 5 gradient descent steps on D, then one step on G, using Adam as a solver.

The learning rate is set initially to 10^-4 for both generator and critic.

After the first 150 epochs we linearly decay the rate to zero over the next 150 epochs.

 batch size = 1

DeblurGAN 

损失函数：

保留DeblurGAN中PatchGAN鉴别器，还引入了全局鉴别器，称此为双尺度鉴别器（double-scale discriminator）。这样的改进可以使得DeblurGAN-v2更好的处理较大的和异质的真实世界模糊。

  

Ladv: contains both global and local discriminator losses.

content loss Lx:

pixel-space loss Lp:  mean-square-error (MSE) loss. correct color and texture distortions.

运动模糊图像生成

将原始240fps视频通过视频插帧方法变为3840fps视频，然后再同一时间窗下采用均值池化方式制作模糊数据。它会导致更平滑和更连续的模糊。该方法对PSNR/SSIM无明显影响，但提高了视觉质量