1.论文主要解决的问题:
(1).检测图片的模糊区域;
(2).将模糊区域正确分类,主要分为等向性模糊(near-isotropoc blur)和定向运动模糊(directional motion blur)。下图(a)为定向运动模糊,(b)为等向模糊。
2.解决方法
2.1图像模糊区域检测
论文提出三种用于图像模糊区域检测的方法:(1).Local Power Spectrum Slope ;(2).Gradient Histogram Span;(3).Local Autocorrelation Congruency.最后构造贝叶斯分类器结合三种方法实现模糊区域检测。
(1).Local Power Spectrum Slop
本部分对形状为N×N的图片进行傅立叶变换,获得图片的功率谱S(u,v):
在极坐标系下,上式可表示为(直角坐标系u,v在极坐标系下的表示为u = f cosθ , v = f sinθ):
根据论文论文1 ,功率谱近似等于:
其中,A为每个方向的振幅缩放因子,α为頻域分量称之为功率谱斜率(slope of power spectrum)。根据以往研究,一个模糊图片图片的α值大部分分布在2~10之间,而非模糊的图片往往具有很小的α值。但是,不同图片具有不同的边界形状,其α值变化区间较大,所以仅仅通过α值判断图片模糊并不靠谱。论文提出了使用α的斜率判断图片的清晰程度。论文的第一个判断图片模糊公式如下:
使用q1计算图像局部是否模糊。其中为全局α值,为图片当前区域α值。
(2).Gradient Histogram Span
本部分使用图片像素值梯度信息判断图片模糊区域。一般清晰图片边缘信息更加明显,所以梯度的方差分布具有更长的尾巴,而模糊图片颜色变化相对较小,所以其梯度大多集中于零附近。a,b两个图片红框为清晰部分,绿框为模糊部分。c,d中Empirical distribution 线条对应a,b中模糊区域(绿框)的梯度分布,e,f中Empirical distribution 线条对应a,b中清晰部分(红框)。论文使用两个高斯分布的加权和拟合图片的梯度分布:
其中, ,。是造成原始分布重尾的主要原因。
图片中Gaussian 1,Gaussian2 和Mixture Gaussion分别对应上式G1(加号左边),G2(加号右边)和加和后的分布。
但仅仅通过并不足以判断图片的模糊程度,比如白云的清晰照片也可能有较小的梯度变化。所以要结合图片梯度信息和区域的颜色变化区间来判断图片模糊。定义C:
其中Lmax 和Lmin分别为当前判断区域的像素最大值和最小值。
论文的第二个判断模糊公式为:
是个很小的值以防止分母为0,超参数,π为指定的参数,论文中π的值为25。
(3).Maximum Saturation
本部分使用颜色饱和度来判断图像模糊。颜色饱和度:
论文的第三个判断模糊公式为:
max(Sp)为当前区域(patch)颜色饱和度的最大值,max(So)为全图颜色饱和度最大值。
最后结合以上三种方式,构建贝叶斯分类器:
假设三种判断方法相互独立:
通过训练获得最佳判断参数。
(注:论文并没有给出最好效果的参数,需要自己调参哈)
2.2. 模糊分类
(由于本部分和项目无关,所以我只关注其大致思想,没关注相关的实现)
对于模糊的区域,使用自相关函数(Local autocorrelation function):
将其一阶泰勒展开:
求M的特征值,( > )和对应的特征向量v1(x,y)和v2(x,y)。
1.对于定向模糊,边缘区域的梯度垂直于模糊方向,使得边缘梯度具有特定的方向。
2.对于等向模糊,梯度在各个角度均匀分布。
角点检测 给出了判断是否有方向的方法:
1.λ1,λ2都很小且近似,E在所以方向接近于常数;
2.λ1>>λ2,或者λ2>>λ1, E将在某一方向上很大;
3.λ1,λ2都很大且近似,E将在所有方向上很大;
如果λ1>>λ2则为定向模糊,否则为等向模糊。
论文使用的值构建不同角度的hist(θ)分布图,运动模糊的值主要分布在特定的区域,而等向模糊在各个方向具有大致相等的分布,所以其方差较大。
论文的模糊种类判别公式为:
构建贝叶斯分类器:
通过训练获得最佳阈值。
3.Results
模糊检测(a)和模糊分类(b)的Precision-Recall曲线:
准确率: