【Learning a Discriminative Prior for Blind Image Deblurring】阅读笔记

1. contribution

• 提出了一种有效的鉴别图像先验，通过$CNN$分类器实现，使用全局平均池化和多尺度训练策略训练，使得可以应对不同尺寸的输入。
• 提出的分类器可以作为$MAP$框架中潜像的正则化项，并开发了一种高效的方法去求解模糊模型
• 证明了所提出的方法的优越性（特定领域任务和广泛使用去模糊任务）
• 证明了该方法可以直接推广到非均匀去模糊

1.1 Data-Driven Image Prior

基于MAP框架的图像去模糊是解决如下的优化问题：

在这个问题中，最后一项至关重要，代表潜在图像先验。从问题的描述可以看出，这个值仅与I有关，同时在I接近清晰图像时，该值较小；在I接近模糊图像时该值较大。因此，如何给出一种衡量生成图片的清晰/模糊的度量成为当前问题。本文就是提出了一个神经网络来解决这一问题。下图为网络架构。

值得注意的时，在全局池化之前的操作中，卷积层不改变feature map大小，只有池化层会使feature map尺寸减半，因此到全局池化层时，feature map的尺寸到了$M/8$，$N/8$。为了应对不同尺寸图像的输入，提出了两种方式去解决这一问题。

全局平均池化

由于在全局平均池化前，feature map的尺寸为（$M/8$，$N/8$），因此只要做一个kernel大小与之M,N有关的池化，就可以将其变成固定的尺寸。这里采用的就是与feature map相同大小的kernel，因此最终输出一个值，应对了不同尺寸的输入。

多尺度训练策略

在训练时，随机将当前图片的尺寸变为原来的[0.25,1]，从而得到更鲁棒的结果。

loss

该任务说白了是一个分类的任务，采用二分类交叉熵损失函数。

1.2 Blind Image Deblurring

由于给出的优化目标中自变量有两项I和k，因此将原目标分解成为两个分别关于I和k的子问题。

Solving I

关于I的子问题中有两项是非凸的，这里采用了半二次分裂法，引入了两个变量，进而继续将该问题分成为分别关于三个自变量的子问题。分别采用最小二乘优化、文献[26]给出的方法、梯度下降来解决三个问题。

Solving k

为了提高精度，将原式中的I和B用梯度代替，通过FFT解决。

Extension to Non-Uniform Deblurring

将一张模糊图片表示成为几张清晰图片下的几何变换，这里采用了一组已知的几何运动模型$H_t$
同之前的问题相比，原式子中的$I⨂k$变成了现在的$KI$和$Ak$

2 Experiment

实验主要分为三个部分，自然图像部分、特定任务部分以及非均匀模糊部分

2.1 自然图像部分

数据集
【Recording and playback of camera shake: Benchmarking blind deconvolution with a real-world database】
4张清晰图像和12个模糊核
对比网络
【Fast motion deblurring】
【Non-uniform deblurring for shaken images】
【Two-phase kernel estimation for robust motion deblurring】
【Blind image deblurring using dark channel prior】
【Image deblurring via extreme channels prior】
评价指标
PSNR

数据集
【Edge-based blur kernel estimation using patch priors】
80张清晰图片
【Understanding and evaluating blind deconvolution algorithms】
8个模糊核
对比方法
【Blind deconvolution using a normalized sparsity measure】
【Efficient marginal likelihood optimization in blind deconvolution】
【Blind image deblurring using dark channel prior】
【Edge-based blur kernel estimation using patch priors】
【Two-phase kernel estimation for robust motion deblurring】
【Unnatural l0 sparse representation for natural image deblurring】

【A neural approach to blind motion deblurring】
评价指标
错误率
【Understanding and evaluating blind deconvolution algorithms】

2.2 特定任务部分

数据集
【Deblurring text images via l0-regularized intensity and gradient prior】
15张清晰文本图片
【Understanding and evaluating blind deconvolution algorithms]
8个模糊核
对比方法
4【Fast motion deblurring】
20【Efficient marginal likelihood optimization in blind deconvolution】
26【Deblurring text images via l0-regularized intensity and gradient prior】
27【Blind image deblurring using dark channel prior】
36【Two-phase kernel estimation for robust motion deblurring】
38【Unnatural l0 sparse representation for natural image deblurring】
评价指标
$PSNR$