OWT(Open WebRTC Toolkit)云游戏自动音视频测试探索

在日益临近的5G时代下，5G网络和新的流视频游戏服务将在未来几年内让云游戏的增长一触即发，云游戏已渐成行业热点。英特尔基于OWT（Open WebRTC Toolkit）也对云游戏使用场景所需要的高分辨率，高比特率和高帧率的视频超低延时的实时传输做了深入研究和广泛优化。云游戏中音视频延时，音画同步尤为重要。游戏中最为关注的音视频检测是怎么实现的？音视频同步检测是通过什么方式自动化实现的呢？本次讲座将围绕上述几个问题从痛点，难点和解决方案一一展开。

文 / 张琰彬

整理 / LiveVideoStack

大家好，我是英特尔亚太研发中心OWT测试负责人张琰彬，这次给大家带来的议题是OWT（Open WebRTC Toolkit））云游戏自动音视频测试探索。

内容主要涉及四个部分，分别是项目背景介绍、音视频传播流程（从分析中看哪些因素会引起音视频偏差）、音视频评估的标准和方法，系统性能评估辅助方法介绍。

1. 项目背景介绍

大家看到这些图会想到什么？会不会想到我们最近疫情在家工作的场景。随着流量包的提升和带宽计费的下降，长短视频最近非常火爆，疫情期间，在家上班、小朋友在家学习、在家会议已经成为了一种生活的常态，它们从生活的可选项瞬间变成了生活的必需品。上图左边的云游戏作为一种新的游戏视频服务方式，在未来几年云游戏的增长一定会因为各种原因一触即发。云游戏已然成为了业界追踪的热点，我们英特尔基于OWT对于云游戏使用场景所需要的高分辨率、高帧率的视频，同时又需要满足低延时的实时传输，在这方面我们做了深入的研究和广泛的优化。其实无论是音视频会议系统还是云游戏场景中，音视频的质量，用户的体验比如说音视频的延时、音视频的卡顿、音画是否同步都极为重要。那么最为关注的音视频的检测是怎么实现的呢，比如说音画同步怎么做？音视频的检测方法和算法有哪些呢？怎么融入到我们检测体系中呢？这就是我将一一展开和大家讲解的内容。

2. 音视频传播流程分析

2.1 传统音视频传输流程和问题分析

• 传输流程

上图是一个传统的音视频传输的流程，左边是发送方，我们可以想像成一个一对一的会议模式，右边是接收方。发送方首先要进行视频的采集，不管是用什么设备，用浏览器、用中间设备、用虚拟摄像头、用真正的文件传输或是用真正的Camera传输或者视频，首先都得进行采集。采集之后进行前处理降噪，加水印或美颜的功能，再进行编码，通过网络的传输，编码后的视频传输到中间服务器，服务器会进行视频的中转、处理，比如说会议模式会将多路收集到的视频进行合并、压缩、转码等等。在服务器会进行解码压缩再编码，随后视频通过网络传输送到接收方，接收方拿到这个视频后会进行后处理和渲染。

• 问题分析

在整个流程中哪些地方会对音视频的质量或者说发送给接收方的音视频造成偏差呢？首先是发送方的采集，采集会有有损的损耗；其次是前处理；再然后是编码，最后是发送方到接收方网络因素的干扰，可能是网络带宽，网络丢包等等影响。服务端这边如果进行一个转码，解码，再编码，或者进行编码的转变，或者进行一个压缩都是有损的。接收方这边处理渲染也会带来一部分的损耗，可以看到视频从发送方到接受方的过程会经过各种各样的曲折。

2.2 云游戏音视频传送流程分析

其实云游戏和上述传统音视频传输流程很类似，它们不同的点在于在云游戏的云端会有个终端游戏服务器，终端游戏服务器会进行游戏音视频的捕捉，在捕捉之后将游戏音视频进行一个编码，编码之后传输到客户端，客户端可能是浏览器，也有可能是终端设备，再解码、后处理、渲染播放。那么整个流程中哪些会对音视频有影响呢？一是服务端音视频的捕捉和编码；二是网络传输；三是终端的解码，后处理，渲染播放等等。

3. 音视频评估标准和方法