腾讯技术开放日 | 腾讯会议如何进行视频质量评估与优化？

 

 

腾讯会议系统中，视频质量是影响用户体验的主要因素，对视频质量进行评估和优化是吸引和留住用户的关键。在开发腾讯会议质量评估系统的过程中，有哪些技术难点和相应的解决方案？在【腾讯技术开放日 · 云视频会议专场】中，腾讯多媒体实验室高级研究员王海强进行了分享。

 

本次分享共包括四部分，第一部分是视频质量评估的背景介绍；第二部分，介绍在视频会议这种实时通信系统中，与质量损伤相关的环节及对应的优化策略；第三部分，介绍针对腾讯会议场景所开发的基于深度学习的全参考视频质量评估算法；第四部分是围绕腾讯会议搭建的一个端到端的质量评估系统，它能够对会议进行自动化评估和监测。

 

什么是视频质量评估？

 

视频质量评估致力于评估视频的人眼感知质量，总的来说有两种评估方式：

1. 主观质量评估，依赖人眼观看并打分，这种得到的分数比较精确，但是很耗时间，而且不方便大规模部署。
2. 客观质量评估，主要是计算损伤视频的质量分数。评价一个算法的好坏就是衡量主观分数和客观分数的相关系数，一般来说系数越高越好。

 

客观质量评估算法大概分三类，主要取决于是否使用无损的源视频作为参考。

1. 全参考，比如PSNR就是典型的全参考算法，通过与源视频进行各种层面比对，来衡量损伤视频的质量。
2. 无参考，有的算法不使用源视频，只使用接收端的视频，来衡量它自己本身的质量。
3. 部分参考， 比如从源视频中提取一个特征向量，特征向量随着损伤视频一块发送到用户端用来计算质量。视频会议这种场景要做全参考本来是不现实的，因为不可能把本地无损的源视频送到用户端或者其他地方计算质量，我们这次所做的工作就是把会议这种典型的实时场景转化成一个可以使用全参考算法离线优化的场景。

 

根据视频内容，视频质量评估可以分为PGC质量评估和UGC质量评估。PGC，就是专业制作内容，比如传统的电影、电视剧，它的内容，设备、光照、演员各种指标都是接近完美的状态。UGC是用户原创内容，像短视频、直播、实时视频通话都属于这一类。

 

UGC对视频质量优化提出了更多挑战。下面的图表给出了原因，右上角这个代表着传统的PGC，而UGC可能属于四种情况中的任意一个。对于传统的PGC，大家基本默认很难增强它的质量，像素改变越多它的质量会越低。而UGC情况就比较复杂，有的视频可以通过算法，渐渐增强质量，但是如果做的过的话反而又会降低质量；有些视频的特性是，在小范围内调整它的质量几乎是不变的；还有些视频，这种比较少，质量改变和象素改变几乎成线性关系。会议这种场景就属于典型的UGC场景。