数字视频质量评价 Video-Quality Metric

1.研究背景

随着全国范围内的数字有线电视的普及，一些大中城市已经逐步完成有线电视的数字化改造，数字电视的概念也开始逐渐成为人们日常生活中的组成部分。在大多数用户开始体会到由此带来的各种便利的同时，高清晰的图像质量也开始成为一些用户的需求，各地的高清频道也在积极筹备和陆续开播中。但是，由于高清电视系统投入价格不菲，还不能在短时期内完全取代标清播出系统；处于节省带宽的考虑，某些不需要以高清格式传输的电视信号可以通过标清格式传输；加上高清接收终端高昂的价格以及传统的收看习惯等原因，使得标清电视播出系统以及接收终端还会长期存在。

在一部分人对画面清晰度提出更高要求的同时，更多的用户开始意识到信息接收高效性和实时性的重要，这部分用户更注重于收看场合的随意性和便捷性，手机电视、移动电视业也渐渐进入我们的视线，随着移动多媒体广播行业标准（CMMB）的颁布以及各地电视台移动数字化系统的完善，加上2008北京奥运的推动，移动接收终端已经无处不在。由于考虑到无线传输技术水平，移动电视中使用的视频格式又不同于现有的标清、高清电视标准。

随着信息化社会的不断进步，电视节目已经不仅仅存在于广大用户的客厅卧室，更多的出现在城市的各个角落，我国正处于多种接收终端，多种分辨率视频共存的数字电视时代。高清、标清、移动多媒体甚至IPTV等多种电视系统将会在一定时期内共存是我们不得不面临的一个现状。

因此，各地电视台在电视节目的转播、制作、播出过程中，都需要考虑各种播出系统对视频信号源的共享使用问题，难免会需要将高清素材下采样变换为标清格式适用于标清播出，或者将标清素材上采样变换为高清格式，亦或者将标清素材下变换为适用于移动多媒体播出的CIF格式。由于要兼顾多种分辨率系统并存的播出现状，同时需要考虑经过格式变换、压缩编码、传输等多个处理环节后，会产生大量分辨率不同、图像质量不一的视频；而对于观看节目的终端用户而言，画面质量是他们关心的主要问题之一，丝毫明显的画面损伤都是不能容忍的。因此，对于视频图像质量的准确评价是一项重要的研究课题。

2.数字视频质量评价研究现状

数字视频质量评估方法（VQM: Video-Quality Metric）的研究是当前的一大热点，1997年ITU（International Telecommunication Union）组织成立了VQEG（Video Quality Experts Group）组织，以致力于视频质量测量方法的研究以及标准化工作。除此以外，国际上也研究产生了不少进行测量的方法。这些方法大致分为主观测量和客观测量两个方面。

在评价模拟视频和全带宽数字视频的质量时，人们可以采用直接测量静态测试信号失真的方法，然而，对于数字压缩电视系统的质量评价却要复杂得多。在压缩系统中，图像的质量随着数据率、图像的复杂程度以及所采用的编码算法而变化的。测试信号的静态特性不能反映图像质量的真是特性。在这种情况下，需要采用自然内容和运动测试场景，通过人眼的观察来评价图像质量，在传统上，人眼观察测试是按照ITU-R Rec.BT.500-11所描述的方法进行的。在一密闭的受控环境中播放含有自然内容和自然运动的测试场景，观察者根据自己对图像质量的感受给出一差值平均主观记分或DMOS。但是由于要求很多的评估者参与需按复杂的程序和步骤进行，调查结果由于受到人的心理、文化背景、周围环境和不同应用场合等多种因素的影响，评价结果也有所不同。主观评价方法的效率低，进行这样的测试往往需要几个星期甚至几个月的时间，测试费用可能也是高昂的，而且所得的结果是不可重复的，也非常不客观，因此，凭借人眼观察的主观测试方法是不实用的。

随着图像质量客观评价方法的发展和应用，为视频图像质量分析提供了一种快速的、适用的、可重复的测量方法，即客观评价方法，并将逐步取代视频图像质量的主观评价。客观评价方法是指以电子测量的方式来对视频质量做出评价。传统的客观评价方法是源于数据传输过程中的均方信噪比的思想，最常用的有均方差（Mean Squared Error, 简称MSE）和峰值信噪比（Peak Signal-to-Noise Ratio, 简称PSNR）。

根据失真视频与其相应的原始参考视频的比较程度，可以把视频质量客观评价方法分成三大类：基于全参考帧的视频质量测量（FR-VQM，Full-Reference Video Quality Metric）、基于缩减参考帧（RR-VQM，Reduced- Reference）、基于无参考帧（NR-VQM，Non- Reference）。

基于全参考帧的视频质量测量FR-VQM是基于失真视频图像序列和无失真原始图像序列之间的逐帧逐像素差而计算的。简单的全参考VQM是峰值信噪比（PSNR），通过逐帧逐像素地计算出测试图像与参考图像的差值影射图。全参考VQM，概括起来基本上采用的是图像差值法，即使用一个基于矩阵的数学运算处理每帧图像或图像序列，处理后的数据代表滤波后的图像数据，包含有与原始图像数据相似的大量数据。通常用滤波后的参考图像和测试图像之间的各样点差值来形成客观质量评价。全参考VQM对于图像在时间和空间上的偏置十分敏感，使用这类模型预测图像质量失真时，需要在时间和空间以及灰度点评方面对图像序列进行必要的重合调整。需要原始的视频图像，而在某些应用环境下特别是频繁的压缩传输的节目制作过程中是不可能获取的。同时，它是使用压缩前后两段视频的全部数据进行比对，涉及的运算量非常大；对于接收端而言，很难及时获得测试视频原始序列的全部数据，因此不适合实时的质量监测。FR-VQM典型的是Sarnoff的JND metric视觉模型以及泰克（Tektronix）公司的PQA300、PQA500。

缩减参考（RR-VQM）将失真图像序列进行运算得到一些代表图像特征的统计数值，然后将这些数值与保存的相应得无失真图像序列的统计数值进行比较，通过传统的回归分析选择和校正统计数值。即利用从原始参考视频抽取的特征信息，判断视频的失真程度，从而得到失真视频的质量。压缩参考VQM不易受到重合失真的影响，但是压缩参考VQM存在两个缺点：很多在理论上可能精确符合无失真原始图像统计特性的图像，主观上看起来可能会存在很大的差异，通过增加更多的统计数据可以改善这一缺点，但数据增加到极限时，这种方法将演变成全参考VQM。其次，压缩参考VQM很难适应观看条件变化的场合，因为统计特性随着这些条件的变化而变化。典型的例子是NIST&NTIA（National Institute for Telecommunication Sciences National Telecommunications and Information Administration）开发的标准清晰度视频序列的VQM模型。

无参考（NR-VQM）即在判断视频质量时不需要来自原始参考视频的任何信息，仅仅通过对失真视频空域和频域的处理分析来提取失真视频的特征，得到视频质量。如提取边缘能量差、水平和垂直边缘能量、空间频率差、活动能量差等技术指标，用来检测视频序列的缺陷。由于这种方法本身不需要任何来自原始视

频图像的数据，而仅仅在接收端对压缩受损视频图像进行测量，因此具有最大的研究难度和运算量，要实现这样一个系统非常困难。典型的是Rohde & Schwarz公司的SSCQE（Single Stimulus Continuous Quality Evaluation）图像质量测量。

3.不同分辨率图像间的质量评价

在目前已有的视频图像质量评价研究中，我们一般假定原始视频图像与受损视频图像具有相同的分辨率，因此只需要对两幅图像或两组序列进行校准便可直接进行质量评价。但在实际应用环境中，某些节目素材是经过上下变换后获得的，在进行图像质量评价时，我们无法获取相同分辨率的原始素材作为参考，而只能在分辨率不同的视频图像之间来进行质量的比较和分析。

对于不同的分辨率和不同帧频之间的图像质量比较，最新的应用于泰克PQA500图像质量分析仪中。每一参考视频序列和测试片断可以有不同的分辨率和不同的帧频，PQA500可以提供HD与SD之间、SD与CIF之间或其他组合之间的图像质量测量结果。有了这一功能。就可以为诸如格式转换之类的各种视频再应用（repurposing applications）的评测提供支持。例如DVD创作，IP广播等。

4.实际应用背景

正如前文所述，在我国数字化广播电视领域今后的发展中，在一段相当长的

时间内，多种分辨率视频共存，是我们即将或者已经面临的情况；在全国各地的电视台的节目制作中，经常会遭遇到需要将某一中视频分辨率的节目素材（通过上/下变换）应用到另一种视频分辨率系统中去。其后，随着压缩编码，传输等等过程无可避免的造成画面质量的损伤； 结合目前的实际应用背景，可能出现的情况：

（1） 历史遗留下来的SD素材，要在HD系统中使用，就必须将SD素材上变换

至HD素材之后进行编辑处理等工作得到受损的HD视频；

（2） 在HD系统中的素材，有时需要同时应用于SD系统中，就必须将HD素材

下变换至SD之后进行编辑处理等工作得到受损的SD视频；

（3） 在SD系统中使用的素材，要在CIF系统中应用（目前我国移动多媒体广

播中的视频素材大多是由SD下变换而来），就必须将SD素材下变换至CIF格式，经过编辑处理等工作得到受损的CIF视频；

而现有的质量评价算法，大多都是通过对被测试视频（质量较差）和与其对应的参考序列视频（质量较好）进行比较得出评价结果，并且两者视频分辨率必须相同，显然，对于那些经过分辨率调整之后得到的受损视频素材，找到与其对应的同分辨率参考视频几乎是不可能的。

既然我们无法找到与受损图像分辨率相同的参考图像，那么就要考虑通过分辨率调整，使得受损的图像和我们可以获得的参考图像（上/下变换之前的原始素材）两者分辨率匹配，这样就可以利用现有图像质量评价算法得到评价结果。

5.本课题的创新点

常用的客观评价算法中，无论是全参考还是半参考，都需要获得受损图像和

参考图像以进行比较，并且两者分辨率必须相同；然而考虑到实际应用的情况，当二者分辨率无法匹配时，我们可以先将二者分辨率调整后使其相同再进行比较，从而完成了从特殊的图像质量评价到一半的图像质量评价的转换。

在分辨率调整过程中，势必要涉及到两种调整方式，一种是上变换，即将低分辨率图像转换为高分辨率图像；一种是下变换，即将高分辨率图像转换为低分辨率图像；究竟这两种方式那一种更好，如何通过实际的测量比较出二者的区别，除了在实验中通过对经过这两种调整方式后的一般客观评价算法的结果进行比较之外，我们还将通过计算色度熵的变换对这两种调整方式进行比较。

由于实验中，我们需要完成一个从测量视频图像输入到最后输出评价结果的完整的测试平台，那么就不得不涉及到视频上下变换的问题，虽然，实际应用中的上下变换器种类繁多，技术也十分成熟，但是将其复杂的结构应用于这个以客观评价为主的平台中是不太适当的，同时，上下变换本身亦会带来图像质量的损伤，因此如何设计及实现一个适合本课题相关实验的上下变换方式，使其即能使得测试平台不过于繁琐，又能不严重影响辨率调整之后的客观评价的准确性；将成为课题中的难点。

为了比较出两种分辨率调整方式的差异，课题中引入了色度熵的比较。在现有的图像质量客观评价算法中，比起对亮度特征，色度并不是常用的用来进行客观评价的元素