【文献阅读】 局部最大梯度先验Local Maximum Gradient Prior——对盲图像去模糊（L. Chen等人，CVPR，2019）

一、文章背景

文章题目：《Blind Image Deblurring with Local Maximum Gradient Prior》

这篇文章的第一单位是华东师范，主要工作就是对图像去模糊。之前做过DeblurGAN也能实现去模糊，不过这篇文章里面没有提及deblurGAN，所以准备看看这篇文章和deblurGAN的区别。

文章的下载链接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Blind_Image_Deblurring_With_Local_Maximum_Gradient_Prior_CVPR_2019_paper.pdf

文献引用格式：L. Chen, F. Fang, T. Wang, et al. "Blind Image Deblurring with Local Maximum Gradient Prior." IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2019.

二、文章导读

网上目前还没有看到这篇文章的解读，所以我就写写自己的一些收获。

先来看看文章的摘要部分：

Blind image deblurring aims to recover sharp image from a blurred one while the blur kernel is unknown. To solve this ill-posed problem, plenty of image priors have been explored and used in this area. In this paper, we present a blind deblurring method based on Local Maximum Gradient (LMG) prior. Our work is inspired by the simple and intuitive observation that the maximum value of a local patch gradient will diminish after blurring process, which is proved to be true both mathematically and empirically. This inherent property of the blurring process allows us to establish a new energy function. By introducing a linear operator to compute the Local Maximum Gradient, together with an effective optimization scheme, our method can handle various specific scenarios. Extensive experimental results illustrate that our method is able to achieve favorable performance against state-of-the-art algorithms on both synthetic and real-world images.

这里作者说到了对于盲图像（Blind image）的去模糊一直都是研究热点。去模糊的过程是一病态过程，因为构建的一个方程式中有三个待求解的参数，所以没有唯一解，这时候必须要引入先验知识来进行约束，才能求得最优解。因此，核心问题就在于如何引入先验知识，这里作者引入了局部最大梯度先验（ Local Maximum Gradient (LMG) prior）来解决这个问题。因为可以从数理和经验上来验证，局部区域梯度的最大值在模糊处理后会消失，据此可以建立能量函数（energy function），以解决去模糊的问题。

三、文章详细介绍

从数学上来说，模糊图像可以表达成：

                                                                     

其中B表示模糊图像（blurry input），I表示真实图像（latent image），K表示模糊核（blur kernal），表示不可测噪声（inevitable noise），表示卷积操作。一般情况我们需要根据这个方程求解I和K，而仅仅有B是已知，所以这个过程往往是病态的，因此需要引入先验。

求解过程目前主要有两种思路，一种是基于优化的方法（optimization-based），另一种则是基于学习的方法（learning-based）。而引入先验的话，目前主要是引入梯度信息。

本文作者提出的局部最大梯度LMG先验，将其引入到稀疏能量函数中，并用L1范数来约束LMG，最后的结果可以看一下：

这篇文章的主要贡献有：

(1) we present a new image prior termed as LMG and mathematically prove why it works during deblurring process; （提出并解释了局部最大梯度项LMG）

(2) we adopt L1 norm on the LMG involved term, and provide an effective optimization scheme for the energy function; （使用L1范数约束LMG）

(3) our method performs well on both synthetic benchmark datasets and real images against state-of-the-art algorithms. （达到最好的去模糊效果）

下面是介绍及对局部最大梯度LMG的推导：

其中，x, y分别表示像元的横坐标和纵坐标，P(x)是中心在x处的图像小斑块，c是颜色通道，包含rgb三种。

举个栗子，来看看一维的情况：

图中红色的线是一维模糊向量，黑色的线是一维清晰向量，可以从（b）和（c）中看出，红色线的梯度分布在[0 0.4]，黑色线的梯度分布在[0 2]，从累计图中也可以得出这一结论。如果扩展到二维也能得到类似的结论。通过计算LMG和累加LMG可以看到两种图像是存在区别的。

我们可以根据LMG定义式知道，像元LMG的理论最大值为2，对LMG进行缩放推导证明，并引入L1范数，最终可以得到下面的关系：

介绍完LMG，下面要说的是作者所用的能量函数：

上式中的第二项就是前面介绍到的LMG，第三项强调边缘，以去除细小目标，最后一项是用来平滑和函数的，至于第一项，应该是来约束I和K的。

处理这个能量函数还是有一点点小技巧的，因为取模操作求导比较麻烦，我们可以将最大值max和取模操作看作是一个映射矩阵（mapping matrix），取模操作可以看做矢量化的图像梯度，记为矩阵A，并令A的值为1（梯度大于0）或-1（梯度小于0），因此可以将其简化为：

同时再引入稀疏矩阵M，简化LMG，此时LMG就可以表示为M*A*▽：

综合考虑，我们可以将上述问题考虑为两个方程的求解，上面的式子（10）为了求解I，下面的式子（11）为了求解K：

为了评估真实图像I，引入两个参数u和g，另u → 2-LMG(I) 而g→▽I，则有：

变成向量的形式：

而上式的G是非常大的，求解梯度速率非常慢，因此引入变量q：

将上式拆开变成：

方程（15）的求解需要用到快速傅里叶变换，方程16解得：

如果我们给定I，同样也可以求得u和g：

方程（17）可以解得：

方程（18）可解得：

接下来要求解核函数，也就是优化：

第二个方程用于求解模糊核，这里作者也给出了伪代码：

下来就是一些超参数的设置，能量函数里面的第二项和第三项的系数设置为0.004，第四项的系数设置为2。

最后就是和其他算法比较的图像生成效果了（作者做了很多类型的去模糊图像效果比较，这里只挑一部分）：

文字类的效果图：

下面是一点另外的分析部分，关于patch size，其实差异不大，从PSNR（峰值信噪比）结果来看，35*35的效果最好：

最后一个问题就是该算法只适用于高斯噪声图像，如果给图像添加非高斯噪声，效果则不理想，但是作者试图添加一次滤波，效果则变得非常惊艳：

四、小结

这篇文章是对于传统的去模糊算法实现的，重点在于算法的推导，适用于任意模糊图像，和GAN去模糊的思路有点不太一样，deblurGAN的去模糊是针对二维空间抖动产生的模糊，重点在于构建模型。