下一代音视频SDK的方案设计

点击上方“LiveVideoStack”关注我们

经过五年的努力，腾讯云终端团队不断完善并积累出了一套完整的终端SDK方案体系，包含即时通信，主播推流，直播播放、点播播放、RTC实时互动、短视频录制，特效编辑等一系列音视频和实时通信相关的功能特性。在这些功能背后，团队是如何完成了框架设计、组件打磨、数据流转、性能优化的呢？本次LiveVideoStackCon 2021北京站我们邀请到了腾讯云的常青来从产品能力、架构设计、以及技术原理等多个角度进行剖析分享。

文 | 常青

整理 | LiveVideoStack

我们团队在腾讯云主要做音视频通讯类的SDK，这一部分包含功能相对比较丰富，包括RTC通讯、直播推流、播放器、短视频的录制、音视频的特效处理、还包括IM的技术通讯，种类方方面面，符合各种场景下的需求。现在大热的全真互联网会对业务产生新机遇、挑战。如何去面对机遇、迎接挑战是我本次分享重点，是技术部分内容和思想内容的融合。

1. 全真互联网

首先说一下全真互联网，不同的人有不同的理解，我以我的角度说一下对其的理解。全真互联网在我看来是四个更加，更加清晰、更加沉浸、更加强互动、更加低延时。

1.1 更清晰的画质

上图左边是腾讯云统计的所有端包括PC、PAD、手机全网流媒体平均观看码率。可以看出从2018年上半年到现在，每年平均码率都在慢慢增长。大家对观看清晰度的需求越来越高，在码率变高同时，压缩效率也在提升，从H.264到H.265到最近提交的100多个技术预案H.266技术，都是让码率的压缩比变得更好。比方说现在H.266可以比H.265多出50%的压缩率。

1.2 更好的沉浸感

沉浸式体验也在逐步拓展，例如3D导览、3D模型构建、AR、VR游戏、多点位赛事自由观看都是新交互体验创新。

1.3 更强的互动能力

更强的实时互动性方面例如可以通过手机采集面部点云，通过云端回馈到观众端做到很强的实时交互。

1.4 更低的互动延时

过去几年中感受最深的更快的延时方面，几年前网页上是十几、几十秒的延时，现在可以做一些几十毫秒级别的直播间实时合唱延时，可以看出延时在不断降低。

1.5 全真互联网的四大要素

所以更高的清晰度、更强的互动性、更佳的沉浸式体验、更低的延时共同构成了我所理解的全真互联网。这一块在背后云端和终端需要付出更多的努力，迎接更多的挑战。我们需要处理一些绕不开的困难。

2. 一座塔的故事 

我是一个比较喜欢讲故事的人，我将从一座塔的故事开始分享我的一些感受。

2.1 《圣经》中的巴比伦塔

《圣经·旧约》中讲的是犹太教的故事。旧约中有七约，故事比较有意思，两个年轻男女亚当和夏娃，因偷吃禁果，创造孩子，由于孩子越来越多，相互斗争，上帝怒发洪水，上帝派诺亚造了一艘船救了动物，而诺亚的子孙们吸取前人的教训，齐心协力想要创造一个功绩-----一座塔，希望可以直通上帝。塔越造越高，上帝认为如果塔建成了，就没有他们搞不定的事情了，于是就让人类说不同的语言，相互产生隔阂猜忌࿰