ORTC与AI相互成就之道

随着计算规模的增大及对计算精度要求的提高，端侧AI运算已经不能满足高精度、高算力要求的应用场景，很多AI处理算法就要搬到算力强大的云端处理。而要达到近乎等同于端侧的效果，则需要在端云传输实时性、稳定性、抗弱网、分布式、集群等技术做深入优化，从而更好的发挥云端优势。LiveVideoStackCon2022北京站邀请到李雪松老师分享与RTC紧密结合的AI应用场景，ORTC在低延时、抗弱网所做的策略保证，媒体服务器如何实现AI算法解耦、如何保障大规模AI处理的有序进行，以及如何进行有效的预警及事后取证。

文/李雪松

整理/LiveVideoStack

大家好，我是李雪松，来自OPPO。今天和大家分享的主题是ORTC与AI相互成就之道。我的分享有四部分：1.ORTC简介；2. AI是如何赋能ORTC的；3. ORTC是如何促进AI更好落地；4. ORTC与AI之间的融合实践。

-01-

ORTC简介

首先简单介绍一下ORTC：它是OPPO实时音视频平台，是OPPO万物互融战略下的重要基础设施，面向终端和业务提供音视频实时通信基础能力。ORTC目前支持视频会议、视频通话、云游戏、云渲染等产品。

ORTC架构分为两部分，端侧和服务侧。端侧包括APP层、SDK层、核心库，以及系统层和硬件层。服务端分为业务服务器和ORTC服务器：业务服务器主要管理如认证、监控和调度等；ORTC服务器主要有信令服务器、媒体服务器，以及STUN、TURN、MCU和网关服务器等。所有这些服务器都是基于OPPO混合云架构之上的微服务。

接下来通过一个应用场景介绍ORTC交互流程。

如图是一个点对点视频通话场景，业务管理服务器用于资源分配，信令服务器用于链路建立以及SDK协商，媒体转发服务器用于媒体流收发。

ORTC作为一个PaaS平台，不只提供简单的应用，还可以进一步扩展，它是对开发者开放的。此外，作为OPPO三大战略之一的潘塔纳尔系统也是借助PRTC来实现原厂互联通信能力的。

-02-

AI=>ORTC

接下来我们看AI能够从哪些方面给ORTC带来惊喜的呢？