我们的模型基于自然场景和视频统计理论(NSS/NVS)。该理论指出,未失真的图像和视频显示出某些统计特性,当相同的内容暴露于失真时,这些特性就会丢失。
该模型利用了从视频中提取的6个NVS特征。
A. Model Foundation
空间NSS模型依赖于图像的均值减和除数归一化变换的统计特性
我们的NVS模型建立在帧差统计的基础上,帧差统计曾被用作测量时域失真的可靠工具。我们将帧差定义为具有M帧的视频序列中两个连续帧之间的差,如下所示
已经证明了当通过(1)中的变换(I(I,j)=ΔFt)处理时,与原始视频的帧差也表现出高斯分布,并且当它们被扭曲时,这种高斯分布丢失。我们的模型利用这些统计规律从用于估计质量的视频中提取一组六个特征(f1,…,f6)。
B. Full Frame Difference Features
前两个特征(f1,f2)是根据序列中的完整帧差计算的。我们指的是ΔFt是由(1)转换的帧差。为每个ΔFt,估计相应GGD的形状参数α。然后,第一个特征被计算为形状参数的平均值(随着时间的推移)
图片通常包含多尺度信息,失真的影响会在不同尺度上产生影响。因此,我们还计算形状参数,以将帧差(使用双三次插值)的分辨率降低2倍
C. Patched Frame Difference Features
畸变的一个非常重要的部分发生在局部。因此,特征(f3,f4,f5)是从变换帧差的矩形片中获得的ΔFt.每一个补丁ΔFt,计算相关GGD的形状参数α。我们用得到的α值调用Ap集。然后,根据阈值u1、u2将Ap元素分为三个级别l1、l2、l3。最后,特征(f3,f4,f5)被计算为每个级别中每帧差的α数
D. Single Frame Feature
单帧图像的空间失真也是影响视频质量的重要因素。除了前面描述的基于帧差的特征之外,我们还添加了与单个图片质量相关的特征(f6)。BRISQUE[17]IQA算法更加健壮,因为它确实利用从用户收集的感知信息来评估图像质量。因此,我们使用它来计算每帧质量分数的时间平均值f6
E. Prediction Model
。这里,我们使用支持向量回归(SVR)与高斯(或径向基函数)核。SVRs已经被广泛而成功地用于图像和VQA[9]、[17]、[18]。
A. Underwater Video Database
它包含31个不同的场景,涵盖广泛的水下视频内容(动物、植物、岩石和海底)。这些内容还包括时间和空间变化尺度的广泛范围。场景用H.264压缩,有几个目标平均比特率(8到20 kb/s)、帧速率(1到10 ft/s)、颜色深度(8-b灰度和24-b RGB)和分辨率(QVGA和QQVGA放大到QVGA)
本文从主观的角度探讨了质量评价问题。我们在ITU P.910建议的指导下设计并执行了一个实验来收集高质量的数据。西班牙海洋学研究所提供了来自真实水下镜头的视频来源,并由21海洋科学家作为评估。
尽管考虑到较高的比特率也倾向于产生更好的意见值,但根据所比较的帧速率,这些差异可视为边际增强。这在1fps的高变化含量样本中可以看到,当比特率增加150%时,只有16%的改善。此外,在类似的视频条件下,MOS值远高于G.1070参数模型预测的值