随着计算规模的增大及对计算精度要求的提高,端侧AI运算已经不能满足高精度、高算力要求的应用场景,很多AI处理算法就要搬到算力强大的云端处理。而要达到近乎等同于端侧的效果,则需要在端云传输实时性、稳定性、抗弱网、分布式、集群等技术做深入优化,从而更好的发挥云端优势。LiveVideoStackCon2022北京站邀请到李雪松老师分享与RTC紧密结合的AI应用场景,ORTC在低延时、抗弱网所做的策略保证,媒体服务器如何实现AI算法解耦、如何保障大规模AI处理的有序进行,以及如何进行有效的预警及事后取证。
文/李雪松
整理/LiveVideoStack
大家好,我是李雪松,来自OPPO。今天和大家分享的主题是ORTC与AI相互成就之道。我的分享有四部分:1.ORTC简介;2. AI是如何赋能ORTC的;3. ORTC是如何促进AI更好落地;4. ORTC与AI之间的融合实践。
-01-
ORTC简介
首先简单介绍一下ORTC:它是OPPO实时音视频平台,是OPPO万物互融战略下的重要基础设施,面向终端和业务提供音视频实时通信基础能力。ORTC目前支持视频会议、视频通话、云游戏、云渲染等产品。
ORTC架构分为两部分,端侧和服务侧。端侧包括APP层、SDK层、核心库,以及系统层和硬件层。服务端分为业务服务器和ORTC服务器:业务服务器主要管理如认证、监控和调度等;ORTC服务器主要有信令服务器、媒体服务器,以及STUN、TURN、MCU和网关服务器等。所有这些服务器都是基于OPPO混合云架构之上的微服务。
接下来通过一个应用场景介绍ORTC交互流程。
如图是一个点对点视频通话场景,业务管理服务器用于资源分配,信令服务器用于链路建立以及SDK协商,媒体转发服务器用于媒体流收发。
ORTC作为一个PaaS平台,不只提供简单的应用,还可以进一步扩展,它是对开发者开放的。此外,作为OPPO三大战略之一的潘塔纳尔系统也是借助PRTC来实现原厂互联通信能力的。
-02-
AI=>ORTC
接下来我们看AI能够从哪些方面给ORTC带来惊喜的呢?