陈曦：超低延迟下的实时合唱体验升级

点击上方“LiveVideoStack”关注我们

RTC（实时音视频通信）近年来广泛应用于语聊房、直播连麦、视频会议、互动课堂等场景，延迟一般在200ms-300ms，已经可以满足大部分场景的互动需求。但还有一些场景对延迟的要求非常苛刻，延迟的高低直接影响用户体验，如“线上KTV”、“云游戏”等。本文来自即构科技行业解决方案总监 陈曦在LiveVideoStack公开课的分享，结合即构科技在实时合唱场景中实现极致工程化的经验，对超低延迟体验的优化思路进行了详细解析。

文 | 陈曦

整理 | LiveVideoStack

陈曦

 公开课

大家好，我是即构科技的陈曦，目前主要负责解决方案架构方面的工作，包括新产品、新场景设计以及线上项目维护。

 

本次分享的主题是即构科技在超低延迟下如何进行优化，以及如何在超低延迟的支持下研发新场景，如实时合唱等。内容主要分为四个部分：第一，RTC发展与泛娱乐场景创新；第二，超低延迟体验的优化思路；第三，实时合唱场景中实现极致工程化的经验；最后是即构即将推出的新场景以及RTC行业的未来展望。

01

RTC发展与泛娱乐场景创新

 

首先回顾一下在线实时娱乐的发展历程。十几年前还没有实时互动的概念，那时主要是单向直播，技术条件的限制使得延迟高达3-5s，没有观众及麦上用户和主播进行互动；近十年，基于传统CDN技术，延迟勉强可以压缩至1s左右，因而陆续出现了“伪实时互动”。在1s延迟的前提下，一来一回延迟大概是2s，这是人们在面对面交流时无法适应的；随着Google WebRTC技术框架的兴起，近几年延迟逐步压缩至500ms、300ms、200ms，300ms和200ms也就是大家线上语音、连麦、开黑时的常见延迟时长。

 

结合已有的创新场景，主要是实时共享体验。人类是社会动物，分享欲是与生俱来的，我们乐于向他人分享语言、情感、甚至是肢体语言和表情。由于疫情的发生，以及当前工作压力越来越大，生活节奏越来越快，大家在周末可能更倾向于宅在家中而非线下社交，因此创造贴近线下的线上实时共享体验就成为了主流诉求。目前的共享体验场景主要围绕“一起+”展开，如一起玩、一起看、一起听、一起唱，甚至包括未来网络实时互动的走向，也就是“元宇宙”，通过VR/AR等设备开展沉浸式体验。

日常生活中，恋人、朋友会共用一副耳机来分享好听的歌曲。“一起+”系列中的“一起听”就是将这种分享模式转换为线上，喜马拉雅在今年3月推出了“一起听”，用户可以邀请好友进入房间一起分享音乐，随时进行评论、开麦聊天等。

当我们向好友分享一部好看的影片或是一段搞笑片段时，仅仅通过分享链接无法得知对方是否观看以及看完之后的感受评价。“一起看”的推出避免了以上问题，把朋友拉入视频所在房间，可以直观地看到对方观感，可以实时连麦、打开摄像头进行交流，这就真正地模拟了线下社交时的种种体验。

以前的斗鱼游戏主播进行游戏直播时只能通过打字和粉丝进行弱互动，而且在玩游戏时可能漏掉许多留言。“一起玩”中，无论是主播或是任意玩家，都可以在玩游戏时通过实时直播连带画面及音效一同推出，同时可以和粉丝以及小队队友保持语音连麦，相较于之前的互动模式实现了质的飞跃。

“一起唱”包括元宇宙中的沉浸式“一起看演唱会”等，其对延迟的要求更为极致，前面介绍的场景延迟在200-300ms左右就可以满足当前需求。“一起唱”模拟的是线下多位好友一同去KTV包厢时，各拿一个麦克风，或是两到三个甚至是四个麦克风同时唱一首歌，歌的旋律是固定的，不会停顿。如果A和B在合唱时，A需要听到相同进度节奏时B的歌声，并且没有网络传输的延迟以防打乱节奏，这些需求之前行业内基本无法实现，所以更多的是单人唱、排队轮唱、抢唱，后两者存在转场可以留出延迟时间。