结合视差补偿与3D数据处理的盲光场图像质量评价

摘要：与传统的2D图像相比，光场图像记录了场景中光线的强度和方向信息，在多媒体技术应用领域中占据着重要的地位。但在光场图像的产生、传输等处理过程中会不可避免地引入失真，影响用户视觉体验，因而需构建有效、准确的光场图像质量评价方法对其进行评估。本文基于光场图像的伪视频和极平面图像提出了结合视差补偿与3D数据处理的盲光场图像质量评价方法。首先，采用视差补偿模块处理光场图像伪视频序列，然后对经过视差补偿后的伪视频序列进行三维离散小波变换以及三维去均值对比度归一化处理，并提取频域和空域特征。同时，在极平面图像上提取方向梯度直方图特征表征其角度信息的失真。最后，运用支持向量机建立图像质量评价指标到主观质量得分的回归模型。所提算法在公开数据库NBU-LF1.0，Win5-LID和SHU上的PLCC分别达到0.8861，0.9287和0.9769，实验结果表明，与经典的二维图像质量评价方法以及先进的光场图像质量评价方法相比，本文方法与主观质量评价结果的一致性更高。

关键词：光场图像质量评价；伪视频序列；视差补偿；角度一致性

1 引言

光线作为人们感知世界的重要媒介，携带着3D环境中丰富的信息。光场图像（LightFieldImage，LFI）不仅记录了场景的空间信息，更记录了场景中光线的强度信息和方向信息［1］，可为终端用户提供沉浸式的观看体验［2］，因而在渲染［3］、重聚焦［4］、3D重建［5］等方面都有广泛的应用。

光场图像作为一种重要数字媒体显示方式，在其采集、传输、显示等各个处理环节都会引入不同程度的失真［6］，从而影响系统性能和用户的主观感知体验。根据原始图像信息的使用情况，客观图像质量评价方法（ImageQualityAssess⁃ment，IQA）通常被分为全参考（FullReference，FR）、半参考（ReducedReference，RR）以及盲/无参考（Blind/NoReference，NR）三类。全参考和半参考质量评价方法需要全部或部分原始图像的信息，因而其应用受到一定的限制；而无参考质量评价方法不需要原始参考信息，有更为广泛的应用。传统的盲/无参考图像空间质量评估器［7］、基于局部二进制模式梯度加权直方图的多失真盲评估模型［8］、梯度幅度和高斯拉普拉斯的联合统计模型［9］等方法对于传统二维图像有较好的评价效果。但光场图像不仅是更高维的数据，还有角度一致性约束，因此针对传统二维图像所设计的图像质量评价方法并不适合于评价光场图像质量。

针对于光场图像设计的全参考质量评价算法不断被提出，并取得了不错的效果。例如，Tian等人［10］提出了多阶导数特征模型，该模型测量原始和失真光场图像中各子孔径图像（Sub-ApertureImage，SAI）的导数特征的相似度，并将各失真SAI分数的平均值作为失真光场图像的分数。Min等人［11］从全局空间质量、局部空间质量以及角度质量三个方面量化失真光场图像质量，利用SAIs的结构匹配度和计算近边缘区域的均方误差评估光场图像的全局和局部空间质量，结合视图密度和视图质量变化信息来估计光场图像的角度质量。Huang等人［12］基于LFI的空间和几何特征提出算法模型，采用轮廓波变换对SAIs处理提取空间特征，结合3D-Gabor滤波器处理SAIs序列作为几何特征，联合空间特征和几何特征进行光场图像质量的评估。

光场图像的无参考质量评价方法也得到快速发展。Shi等人提出了一种光场图像盲质量评估器［13］，将失真SAIs生成中央眼图，然后提取张量第一成分空间特征来度量光场图像的空间失真，并分析第一成分与光场图像中央眼图的结构相似性来度量光场图像的角度一致性退化。考虑到人类视觉感知特性，Shi等又提出了基于中央眼图阵列和光场极平面图像（E-bipolarPlaneImage，EPI）提取全局和局部特征的无参考方法［14］，采用自然度分布衡量SAIs质量，并在极平面图像中提取方向梯度分布特征和加权局部二值模式特征来度量光场图像的角度一致性。Zhou等提出基于张量分解的无参考质量评价方法［15］，利用Tucker分解得到水平、垂直、主副对角四个方向上SAIs阵列的主成分，提取主成分的自然度和频率特征来表征光场图像的空间信息。然后，利用第一主成分与各SAI之间的结构相似度分布来度量光场图像的角度一致性。Pan等提出了将张量切片与奇异值相结合的盲光场图像质量评价方法［16］，在第一成分提取了清晰度特征，在张量其他成分提取了信息分布和角度奇异值特征来衡量光场图像失真。Xiang等采用四维离散余弦变换（4DDiscreteCosineTransform，4D-DCT）对高维光场数据进行频域处理，并在4D-DCT域进行特征提取以进行光场图像失真质量评价［17］。

上述方法虽然从不同角度进行光场图像质量评估，但对于光场图像的独特显示方式及其特点并未完全利用。考虑到SAIs可以反映特定角度下的场景纹理信息，EPIs反映场景的深度信息并且对角度一致性有很好的表述作用［18］，不同程度和不同类型的失真引入都会影响这两种表示方式，本文提出了结合视差补偿与3D数据处理的盲光场图像质量评价算法。对由SAIs按照特定顺序组成的光场图像伪视频序列（PseudoVid⁃eo，PV）进行频域分解和空域数据处理以提取能表征光场图像质量的特征，并在EPIs上提取角度域特征作为补充。特别地，考虑到光场图像伪视频序列中伪运动的存在，增加了视差补偿模块对伪视频帧间的像素偏移进行补偿，以更好地消除伪视频序列的冗余，提高特征提取的有效性。

2 提出方法

光场图像可表示为4D函数L={L(u，v，x，y)}，其中，（u，v）和（x，y）分别描述视点的角度位置和空间位置，U×V为其角度分辨率，X×Y为其空间分辨率。光场图像可视为一组2D的图像阵列，每个视图称为SAI，如图1（a）所示。角度坐标上的SAI可表示为Iu，v={L(u*，v*，x，y)}，即固定某一角度下的视图信息。EPI是光场图像的另一种表示形式，如图1（b）所示，EPI通过截取SAIs的某行或某列得到，包含光场图像的角度信息。令Eu，x={L(u*，v，x*，y)}表示水平EPI，可简化为Eu，x={E(u*，x*)}，类似地，垂直EPI表示为Ev，y={L(u，v*，x，y*)}。

伪视频序列PV是光场图像的一种可视化形式。如图1（c）所示，将单幅SAI视为一帧可构建光场图像PV，表示为P={P(x，y，v)}，其中v为PV的伪时间轴。PV反映了每个特定角度对应的SAI的场景信息，充分体现了光场图像的角度