WebRTC的现状和未来:专访W3C WebRTC Chair Bernard Aboba(下)

本文是关于WebRTC技术发展的深入访谈,探讨了可扩展视频编码(SVC)、AV1编解码器的现状与未来,以及机器学习在WebRTC中的潜在应用。SVC提供了处理组呼叫中不同接收者条件的能力,而AV1的全分辨率编码支持是其广泛采用的关键。此外,文中还提及了端到端加密、可插入流API和WebCodecs如何影响实时通信的性能和安全性。未来,机器学习有望在WebRTC中扮演重要角色,尤其是在娱乐和实时会议的融合场景中。
摘要由CSDN通过智能技术生成

正文字数:6285  阅读时长:9分钟

每年,我都会在IIT-RTC会议上与许多WebRTC标准人员进行交流,这场疫情显然让今年有所不同。虽然我们在今年的Kranky Geek会议上确实谈到了标准化和“WebRTC的未来”,但我们没有时间深入研究更多细节,所以我们将在这里讨论。

作者 / Chad Hart

原文链接 / https://webrtchacks.com/webrtc-today-tomorrow-bernard-aboba-qa/

可扩展视频编码

可拓展视频编码(SVC)可以说是处理来自同一发送者的多个媒体流以处理组呼叫中每个接收者的不同条件的更好方法。在许多方面,它也被认为更复杂。Sergio&Gustavo对此主题发表了精彩的文章。

Chad:如果还没有Simulcast,那SVC在哪里呢?

Bernard:在某些方面,SVC比Simulcast容易一些。今天,它在Chromium中作为时间可伸缩性的实验性实现。在计划B中,还支持时间可伸缩性-因此实际上已经存在,并且会议服务器都支持它。因此,对于大多数会议服务而言,从某些方面来说,这实际上是一个更轻松的进步,例如,同时支持RID和MID。

MID是SDP媒体标识符,RID 是用于限制单个流的较新的限制标识符。我将它留给读者查看各种SDP规范,以获取有关这些规范的更多信息。

我认为许多会议服务都支持RID和MID,Medooze和Janus都支持。关于SVC的理解之一是,在VP8和VP9中都是必需的-解码器必须支持这一点。因此,没有什么可以谈判的。编码器可以将其推出。如果不希望,SFU甚至不必丢弃[SVC层],但这显然更好。

AV1

很久以前,Chris Wendt在这里写了一篇文章,内容涉及 H.26X和VPX阵营之间的编解码器之战,以及一个编解码器统治它们的潜力。今天,该编解码器已经存在,它被称为AV1。

WebRTC何时将AV1作为标准?

 

Bernard:  [使用AV1]面临的挑战是设法在大量设备支持全分辨率编码之前弄清楚如何使其有用和可用。

Chad: 我应该向听众解释说AV1是下一代的开源免费编码解码器。

Bernard:  AV1本身不需要对WebRTC PeerConnection进行任何更改。但是作为示例,AV1支持许多新的可伸缩性模式。因此,你需要该控件,这就是WebRTC SVC的用武之地。

另一件事是AV1具有非常有效的屏幕内容编码工具,你希望能够将其打开。因此,我们添加了一个称为内容提示的内容 ,可能会导致AV1内容编码器工具打开。

Floren t [Castelli]提出了一种混合编解码器Simulcasts。这样做的想法是,例如,如果你想执行360P或720P之类的操作,并且你拥有可以做到的机器,则可以以较低的比特率对AV1进行编码。你可以在软件中做到这一点,不需要硬件加速。然后,在较高分辨率下,你将使用另一个编解码器。例如,你可以使用VP8或VP9。

这样一来,你就可以立即引入AV1编码,而不必强制将其全部或全部删除。随着混合编解码器Simulcasts和内容提示基本上只要AV1编码器和解码器进入的WebRTC PC,也就是时候了。我认为人们对AV1的考虑不多,但是通过这些扩展(对API的调整很少),我们的目标是立即使它可用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值