机器学习帮助WebRTC视频质量评价

本文来自CosMos Software创始人Alex. Gouaillard的博客，他同时为WebRTC、QUIC等标准组织工作。LiveVideoStack对原文进行了摘译。

文 / Alex. Gouaillard

译 / 元宝

原文 http://webrtcbydralex.com/index.php/2018/10/11/webrtc-video-quality-assessment/

如何确保WebRTC视频通话或视频流的质量良好呢？可以从统计API中获取所有可能的指标，但仍然无法接近答案。原因很简单。首先，报告的大部分统计数据都是关于网络的，而不是视频质量。然后，众所周知，并且尝试过的人也知道，虽然这些影响了通话的感知质量，但它们并不直接相关，这意味着您无法根据这些指标猜测或计算视频质量。最后，通话质量是一个非常主观的问题，而这些问题是计算机难以直接计算的。

在受控环境中，例如在实验室中，或在进行单元测试时，人们可以使用参考指标进行视频质量评估，即在发送方标记带有ID的帧，然后捕获接收方的帧，匹配ID （以补偿抖动，延迟或其他网络引起的问题）并测量两个图像之间的某种差异。谷歌的 “ 全栈测试 ” 可以解决许多编解码器和网络损伤的问题，可以作为单元测试套件的一部分运行。但是如何在生产和实时中做到这一点呢？

对于大多数WebRTC PaaS用例，参考框架（https://chromium.googlesource.com/external/webrtc/+/master/video/full_stack_tests.cc）不可用（服务提供商以任何方式访问客户内容都是非法的）。当然，服务的用户可以在发送方和接收方来记录流，并离线计算质量得分。但是，这不允许对突然的质量下降采取行动或做出反应。它只会有助于事后分析。那么如何在不需要额外录音、上传、下载...的情况下实时检测到质量下降并采取行动呢？

在我的案例中，或者在某些特定情况下，哪个WebRTC PaaS提供了最佳视频质量呢？对大多数人来说，这是一个无法回答的问题。如何在检测网络的同时实时、自动实现4×4比较，或者这种Zoom与WebRTC（https://jitsi.org/news/a-simple-congestion-test-for-zoom/）的比较呢？

CoSMo R＆D推出了一种新的基于人工智能的视频评估工具，与其KITE测试引擎和相应的网络仪表模块相结合，实现了这一壮举。

介绍

1992年，康奈尔大学(Cornell University)的CU-SeeMe开始进行第一次互联网上实时通信(RTC)实验。随着Skype在2003年8月的推出，RTC在互联网上迅速普及。从2011年开始，WebRTC技术使得RTC可以直接在web浏览器和移动应用程序上使用。

根据2017年6月发布的思科视觉网络指数【1】，实时视频流量（流媒体，视频会议）应从2016年互联网视频流量的3％（每月1.5 exabyte）急剧增长到2021年的13％（每月24 exabyte）。

对于任何处理视频的应用程序，终端用户的体验质量(QoE)是非常重要的。行业中已经有许多工具和指标来自动评估视频应用程序的QoE。例如，Netflix开发了视频多方法评估融合(VMAF)度量【2】，通过使用不同的视频编码器和编码设置来度量交付的质量。这个度量有助于常规和客观地评估几十个编码设置下的数千个视频编码的质量。

但它需要原始参考非失真视频来计算压缩后的视频质