A NO-REFERENCE PERCEPTUAL BLUR METRIC
Pina Marziliano, Frederic Dufaux, Stefan Winkler and Touradj Ebrahimi∗
一种无参考感知模糊算法
摘要
在本文中,我们提出了一种对图像和视频进行模糊检测的无参考算法。这种模糊检测算法是基于对图像边缘的扩散程度进行分析的。它的感知的意义已经通过主观实验得到验证。这种新型的算法更接近实时应用,计算复杂度低,对一系列图像内容表现出较好的算法性能。算法的潜在应用包括优化信源编码、网络资源的管理和影像捕获设备的自动对焦。
1 引言
当前,对消费者来说,对用技术来感知数字图像或者数字视频的质量的要求越来越高。为了改善对数字图像和视频的感知质量,就需要采用一种识别的方法或步骤,在主观和客观方面,出现了一些应用于此的人工产品。现在存在着很多感知模糊方面,例如,在MPEG压缩中产生的方块效应,或者是在JPEG2000压缩中产生的模糊和振铃[5]。
现有的大部分算法都需要参考处理过的图像来评估这些模糊的可视程度。这很明显的强行限制了算法应用范围。而相比之下,无参考算法就更为有效。无参考就表明算法与源图像不相关而是与所给的图像或者视频直接相关。现有的很多算法都是针对方块效应的,例如文献[6]中提到的。对于其他方面的图像损伤则研究较少。
在图像或者视频序列中测量感知模糊的方法还没有研究。相关的研究包括模糊识别[4],模糊估计[2],图像去模糊[1]和盲去卷积[3]。去模糊和盲去卷积都可以应用于图像恢复,因此,全参考的算法变得适用。在实际应用中,由于计算的要求,这些需要反复计算。
在这篇文章中,我们主要关注的是模糊估计。我们的目标是设计一种一般性的模糊测量方法且不需要在模糊处理中进行任何假设。首先,我们对模糊给出一个简短的定义,然后介绍我们的内容独立的无参考感知模糊算法。感知模糊测量是定义在空间域的相当于边缘的扩散。这种算法的计算复杂度低。最后,我们通过展示主观实验可以看出本文中的新型感知模糊算法与主观模糊等级高度吻合。
2 无参考模糊算法
当一幅图像频谱中的高频分量丢失时,图像就会变模糊。模糊有很多种。例如,由于镜头和场景之间的相互运动引起的运动模糊,由于镜头散焦和畸变引起的离焦模糊。当处理图像数据的时候,例如对其进行压缩,也会引进模糊。
在这一部分,我们提出了一种无参考模糊度量算法。我们假设没有源图像的任何信息,也不对图像的内容获知图像的模糊化处理做任何假设。结果就是一种只与感知的模糊有关的客观算法。
图1 基于边缘的无参考模糊测量流程图。TotBM表示模糊测量总量,NbEdges表示的边缘数量
这种模糊度量的方法定义在空间域。模糊可以被明显感知在图像的边缘区域或者是纹理区域。我们的算法是基于模糊对边缘的平滑效应,因此,算法要求是这度量边缘的扩散。在实际操作过程中,测量垂直边缘的模糊是可行的方法。
图1中给出了算法总结。首先,应用边缘检测算子进行边缘检测(例如垂直Sobel算子),找到图像的垂直边缘;然后扫描图像的每一行,对应于边缘位置的像素,边缘的起始和终止位置被定义为接近边缘的局部极值。边缘宽度由终止位置和起始位置之间的差得到,即为此边缘的局部模糊测度。最后,整体图像的模糊测量由所有边缘局部模糊值的平均值得到。
图2 模糊图像的一行。检测到的边缘用短虚线表示,边缘附近的最大最小值用点虚线表示。在P1处的边缘宽度即为P2'-P2。
以在图2中所示图像的一行为例。对边缘位置P1来说,局部最大值P2定义为起始位置,局部最小值P2'定义为终止位置。对此例来说,边缘宽度即为P2'-P2,或者说是11个像素。与此类似,对于边缘P3,局部最小值P4是起始位置,局部最大值P4'为终止位置,P4'-P4即为边缘宽度。
对彩色图像来说,模糊的测量时基于亮度分量Y的。以上所描述的方法考虑的都是静态的图像,通过测量每一帧图像的模糊,此方法可直接扩展应用到数字视频方面。
3 实验和结果
在这里,我们展示了在前一个部分定义的基于边缘的无参考模糊度量的实验结果。我们还展示了主观实验的结果,并将主客观算法的结果进行比较。
图3 测试图片:(a) caps; (b) girl; (c) houses; (d) lighthouse
图4 基于边缘的无参考模糊算法对摩托车越野赛图片的执行结果。(a)客观模糊度量,对应标准差为的高斯滤波器;(b)由压缩比的JPEG2000压缩得到客观模糊度量
表1 主观测试与本文中算法的吻合度
图5 摩托车锦标赛测试图片:(a)无模糊;(b)存在大量的高斯模糊;(c)大量的JPEG2000压缩模糊;
在接下来的实验中,我们采用了尺寸为768×512的彩色图像和24Bit的RGB图像如图3和图5所示。我们测试两种不同的模糊。第一组模糊图片是用标准差分别为{0.4,0.8,1.2,1.6,2}的高斯滤波器对图像进行滤波得到。第二组模糊图像是由压缩比的JPEG2000压缩得到。图4表明了这种基于边缘的无参考模糊度量算法在每种模糊水平下的性能。算法对所有的测试图片都保持了良好的线性相关性。
我们通过对所有的55幅图像,包括5幅源图像,25幅加了高斯噪声的图像(=5幅测试图像×5个失真等级),25幅经过JPEG2000压缩的图像,进行主观测试实验来验证我们的感知模糊算法。主观测试设置如下:让10个专业观测者对图像质量按从0到10进行打分,(0表示没有模糊,10表示严重模糊,如图5所示)。来表示图像中模糊的量。
主观评价等级仅仅是10个打分等级的简单平均。图6表明了我们的基于边缘的无参考模糊度量算法与主观模糊检测等级高度吻合。从误差条形图中可以看出置信区间达到95%。表1给出了相关性总结。观测专家发现很难从JPEG2000压缩图像中区分出振铃模糊,这说明了对高斯模糊图像具有较低的相关性。
图6 误差条形图中主观测试模糊等级相对于客观无参考边缘模糊度量算法的置信区间达到95%。(a)高斯模糊图片;(b)JPEG2000压缩图片。
4 结论
我们定义了一种基于边缘的无参考模糊度量算法。这种新型的算法与主观模糊检测等级高度吻合。这种算法更接近实时应用,计算复杂度低,不依赖与图像的内容。算法的应用包括优化信源编码、网络资源的管理和影像捕获设备的自动对焦。未来的研究包括其他不同的人工噪声例如振铃等。