实时互动下视频 QoE 端到端轻量化网络建模

在实时视频互动中，影响观众对视频体验的有较多且复杂的因素，包括：画质、流畅度以及与其耦合的观看设备等。传统客观算法会利用网络传输或编解码参数拟合接收端人的感知体验，或者使用图像质量结合其他相关参数拟合实时视频质量。由于缺少除画质外的量化指标且没有直接衡量视频感知体验，所以当前QoE算法有一定局限性。目前端到端的QoE模型可以有效解决上述面临的难题，但同时也面临着主观实验复杂、数据依赖与模型运算量大等问题。LiveVideoStackCon 2022北京站邀请到郑林儒老师为我们介绍视频体验数据库的建立、视频画质评估建模及其端上轻量优化。

文/郑林儒

编辑/LiveVideoStack

大家好，我是来自声网的视频算法工程师郑林儒，今天给大家分享的是实时互动下视频QoE端到端轻量化网络建模。

今天将从影响视频主观体验的因素、针对这些影响因素现阶段建立的一些数据库、对于视频画质评估做了一个端到端建模、考虑模型端上运行的实时性介绍了当前主流的深度学习模型加速方法和对视频QoE的展望五个部分展开介绍。

-01-

QoE介绍

视频或者实时互动场景下QoE体验的影响因素主要有媒体体验和互动体验。媒体体验分为视频体验和音频体验。视频体验包括画质、流畅度、播放设备等。音频体验则包括清晰度、流畅度、播放设备。除此之外还有连接视频和音频的音画同步。互动体验目前主要定义为延迟。

为什么要建立一套端到端的QoE评估体系呢？上图是视频从编码传输到被用户感知的流程。编码器将视频编成码流，经过复杂的网络环境会有各种码率自适应算法去感知当前网络变化或根据客户端播放情况自动做出合理的码率调整，以最大化用户在线观看视频的体验。一个端到端的QoE指标可以提供相对于PSNR、SSIM更贴合主观的画质指标。从而基于这个指标可以指导编码器选择最优编码参数，进而在不影响用户感知画质情况下实现码率节省。类似的，它也可作为ABR算法的参考指标。

-02-

QoE建库