matlab 增加图像对比度_图像质量评价（二）：VSI

Visual Saliency-Induced Index（VSI）主要利用图像显著性特征图的失真来计算图像质量。VSI是一个全参考（FR）的评价标准，所以可以使用无失真的参考图像。

研究发现质量失真会引起视觉显著性（Visual Saliency，VS）的改变，并且这种改变与失真有很强的相关性。为了验证这个猜想可以进行实验，可以对TID2013数据集的VS maps进行分析。TID2013有25个参考图像，24种失真类型，5个失真水平。每种类型的每个水平的失真对应25个失真图像。首先使用GBVS模型对数据集中所有图像计算VS map。然后对每个失真图像计算其与对应参考图像的VS map的MSE（均方误差）。对同一类型同一水平失真的MSE求均值。结果如下图所示（括号内是对应主观评分）：

从上面结果可以发现，对大部分类型的失真VS map的MSE越大对应的主观评分越低。

上图中a是参考图像，c和e是不同类型失真。bdf分别是ace对应的VS map。c和e的主观评分分别是5.05，2.40。d和b的VS map的MSE为4.49，f和b的VS map的MSE为198.36。可以看到e的主观质量比c更差，其VS map的失真（MSE）也越大。

从上面表格中可以看到VS map的失真在大部分情况下可以很好的度量图像失真。但是对于 CTC (Contrast Change)类型失真表现的不好，根本原因在于进行VS计算时进行了归一化操作，像素的VS值反映的是其与周围像素的相对值。如果图像本身对比度比较大，VS值就无法很好反映对比度失真。

上图中a是参考图像，b是失真图像失真类型是对比度失真。cd分别是ab的VS map，可以很清楚的看到b相对于a失真很大，而其对应的VS map却没有反映出失真。为此需要使用额外的特征来弥补VS的缺陷，这里采用gradient modulus（GM）。计算梯度的方法有很多， Prewitt operator， Sobel operator，Roberts operator， Scharr operator等，这里采用 Scharr operator。首先计算图像f(x)的水平和垂直梯度：

图像f(x)的最终梯度为：

上图中图像ab对应的GM map分别为ef。可以明显的观察到f相较于e有失真。说明GM map能很好的反映图像对比度失真。

在上面的表格中还可以发现VS map对于 CCS (Change of Color Saturation)类型失真表现不好。同时，颜色失真也无法有GM度量，因为计算梯度只使用亮度分量而不使用色度分量。为了度量色度失真需要考虑色度信息，对于RGB图像需要将其进行颜色空间变换。

上面变换的权重是针对HVS优化过的。计算梯度时只使用L通道。M和N通道包含了色度信息，可以作为特征度量颜色失真。

使用上面的VS，GM和色度特征可以定义VS-based index (VSI)。例如，对于给定的图像f1和f2，其VSI计算方式为，首先提取f1和f2的VS map分别为VS1和VS2，然后是f1和f2的GM map分别为G1和G2，M1和M2分别代表f1和f2的M通道，N1和N2分别代表f1和f2的N通道。

上式中C1,C2,C3都是取值为正的常数。

最终VSI为:

alpha和beta是参数用来调整每个因子权重。

通过上面步骤得到每个像素的VSI值后，整幅图像的VSI计算方法为：

其中VS_m(x)=max(VS1(x),VS2(x))，作为S(x)的权重。omega是整个像素空间。

实验

在TID2013， TID2008，CSIQ，LIVE四个数据集上进行实验。使用SROCC ，KROCC，PLCC，RMSE四个指标评价VSI的效果。结果如下：

源码地址（matlab）：VSI.m

参考

VSI: A Visual Saliency-Induced Index for Perceptual Image Quality Assessment

A Visual Saliency based IQA Index​sse.tongji.edu.cn

感兴趣的请关注微信公众号Video Coding