基于编码应用的主观全景视频质量评价数据库(译)

subjective panoramic video quality assessment database for coding applications

IEEE TRANSACTIONS ON BROADCASTING, JUNE 2018

abstract:

随着虚拟现实技术的发展，需要更高质量的全景视频来保证沉浸式的观看体验。因此，质量评价对于相关技术非常重要。考虑到投影时的几何变化以及头戴式设备（HMD）分辨率的限制，我们提出了一个针对主观测试的高质量序列的播放策略，即基于屏幕和人眼之间几何约束找出最佳播放分辨率。通过在编码之前，将序列采样到最佳分辨率，我们提出的方法可以减轻播放时HMD采样的干扰，进而保证了对视频编码的主观评价的可靠性。使用提出的播放测量，我们建立了针对编码应用的全景视频主观评价数据库。数据库包含50个失真序列，这些序列由10个原始全景序列生成。失真类型是HEVC压缩。每一个序列都有30个受试者进行评价，遵循隐藏参考序列的绝对类别评级方法。数据库中包含等级评分以及DMOS值。然后在提出的数据库上进一步进行近期客观质量评价方法的相关性分析。数据库中包含视频序列，主观评级分数，DMOS，可用于促进未来的编码应用研究。

Ⅰ introduction

VR吸引了大量的关注，并且研究人员进行了许多相关研究。通过头戴式设备（HMD）播放全景或者立体视频，可以为用户提供一个沉浸式的环境。全景视频是VR一个非常重要的基础媒体内容，可以为观察者提供360°的自由视角，与传统的在屏幕上播放的2D视频非常不同。
沉浸式场景的建立需要更高质量的全景序列，以及对全景视频更快的传输。 然而，在到达观察者之前，视频的压缩会带来失真。质量退化可能对体验质量(QoE)有很大影响。因此全景视频的质量评价对于未来VR以及相关技术的发展至关重要。
客观和主观方法都用于质量评估。 客观方法使用数学模型评估视频质量，数学模型可以在没有太多人为参与的情况下自动进行。 有了这个优势，客观的质量评估已得到很好的调查[。 还有一些客观的质量评估方法已被应用于评估受损全景视频的质量。 例如，在[10]中提出了基于球的峰值信噪比（S-PSNR）方法，该方法被广泛用于质量评估。 S-PSNR通过在球体上而不是在映射平面上利用均匀采样点计算PSNR来估计所有观察方向上的平均质量。 另外，对于头部运动数据的统计结果，进一步提出了纬度加权的S-PSNR，其具有在球体的相应纬度上的相对观察频率，以更好地接近视口的质量。
不考虑客观模型的便利性，主观评价方法是最直接并且最可靠的方法来知道观察者对视频质量的感受。因此，主观质量评估的发展对于评估视频质量和对客观模型的性能进行基准测试非常必要。ITU，VQEG 组织针对图像和视频推荐各种主观评估测试计划，以评估多媒体处理系统的不同方面。给出了不同的测试目标和要评估的目标时，评估测量是明显不同的。
在这个环境下，针对不同的应用场合大量的主观实验被提出，比如LIVE视频质量评价数据库，Lutz Goldmann等人为3D视频的QoE工作，3D视频数据库NAMA3DS1-COSPAD1，无线网络中移动视频的LIVE移动视频质量数据库，Jooyoung Lee等人在混合分辨率立体视频广播服务方面的工作。
但是近期全景视频的主观数据库数量却很少。由于其独特的性质，以及作为新媒体的内容，全景视频需要特定的主观质量评价数据库来分析清楚观察者感受到的质量，这也推动着QoE和编码系统的提升。
此外，在主观质量评估期间，不会给测试视频带来额外伪影的理想回放系统是必不可少的。在自然视频质量评价中，带有编码伪影的测试序列通常按照每像素的原则播放，这样可以避免其他质量改变。因此，我们也尝试对全景视频保证每像素的表示。然而据我们所知，视野（FoV）以及HMD频率的分辨率是有限的，但是全景视频通常具有很高的分辨率。以HTC VIVE为例，FoV为110°，8K视频的水平播放分辨率大概为2503，然而屏幕的水平分辨率只达到1080。这种不匹配不可避免地导致视频的采样，隐藏或放大要在主观质量评估中评估的编码伪像。例如，如果视频被下采样，则可能无法感知来自压缩的块效应伪像，并且如果进行上采样，则伪像将相反地更加明显。
因此，干扰会误导视频质量的感知。由于全景视频的主观质量评估是一个新兴的话题，因此很少有关于如何确保全景视频的逐像素显示的现有研究。目前，现有研究直接应用HMD进行主观实验，忽略了复杂光学系统和投影在压缩和显示时所带来的影响，不符合主观质量评估的要求，需要进一步讨论。
针对上述所有问题，本文建立了编码条件下全景视频的主观质量数据库。在主观测试期间，提出了在编码之前将视频重新采样到最佳分辨率的想法，并且我们认为能够减轻HMD显示器对主观评估的干扰。主观质量评估测试基于具有编码失真的60个高分辨率全景视频进行。使用具有隐藏参考的绝对类别评级（ACR-HR）方法。 30名受试者参与对视频质量的评级测试。 此外，还使用建议的数据库评估现有客观质量评估方法的性能。
本文的其余部分安排如下。 第二节介绍了一些有关质量评估的相关工作。 第三节讨论了全景视频显示的采样问题和主观质量评估的最佳显示协议。 第四节描述了建立主观质量数据库的过程。 第五节讨论了主观质量评级数据的处理，并对数据库进行了总结。 第六节显示了基于数据库的一些现有客观质量评估模型的性能评估。 第七节对该论文作出结论。

Ⅱ related work

考虑到图像和视频应用中主观质量评估的重要性，已经有各种方法获得主观质量意见和建立用于不同目的的数据库。 在本节中，回顾了主观评分测试的策略，现有的主观质量数据库和主观测试期间序列表示的问题。

A. protocols for subjective quality assessment

视频的主观质量评价的测量已经被研究的很多了。评估可以分成两种类型，单激励（SS）和双激励（DS）。不同的方法可以根据测试的目的来选择。在这个部分，介绍了一些具有代表性的方法，在相关建议和报告中也可以找到更多评价方法的可能性。
当测试的目的在于发现视频的绝对质量时，可以使用单激励（SS）方法，这种方法每次为受试者独立地播放一个序列。其中一个具有代表性的方