问题背景：
其实音视频这个领域非常的窄，很长一段时间都没有属于自己专一和垂直的社区。最近几年，随着国外的FFmpeg和WebRTC的普及，国内SRS和LVS在这个领域也变得越来越活跃。从2017年LVS组织第一次线下大型活动到现在已经五个年头了，感谢LVS提供的平台和机会，让大家每年有一两次线下面对面交流机会，也感谢这个时代对音视频技术的持续推动。
我大概第三次参加LVS，每次参加的体验都有所变化，下面是一篇杂文写写在现场的所见所得，仅供参考。
现场见闻：
谈谈参展商和讲师
本次大会，腾讯，阿里和华为大厂都悉数到场，特别是阿里有淘系技术和视频云专场，腾讯有腾讯会议和腾讯云专场。较之以前的大会，含金量有所提升。特别是华为已经持续了十几年在积累相关技术，每年这块研发费用大概在20亿美金左右，腾讯今年也提出了全真互联网概念即由实时RTC通信网+IM即时消息通信网络+流媒体分发网络组成，这些提法让人眼前一亮，也让相关从业人员对音视频的层次感有了明确认知。阿里的音视频业务主要在淘系电商直播，视频云以及钉钉的视频会议进行落地。可以看得出，大厂纷纷加码音视频技术，显示了大厂对音视频技术趋势和红利即将释放的敏锐判断。
现场体验
第一天没开空调实在太热，第二天有所改善，两天的课程听下来比较累，因为会议中间没啥空隙，需要不断转场。我主要听的还是编解码和RTC传输网络这块，整体听下来还是非常不错。现场的志愿者和参展商提供的小礼物也挺好玩，感谢这些志愿者背后的默默付出。
谈谈门票和人员
首先门票是越来越高了，现在门票已经上涨到三千元附近，这一波疫情持续放大了线上音视频的相关需求，热度水涨船高，导致参会人员越来越多。主办方说这是目前规模最大的一次线下集会，下半年还有计划会欧洲和美国举行，小编也在此期待LVS能把海外大厂的经验带入国内，国内有实力的团队走出去分享。其次对于想在音视频领域深耕的人员还是非常值得来的，可能别人的一个点子或者一个落地方案会给你目前产品和技术有所启发，最后建议音视频刚入门的同学可以前期先听听线上社区分享再来，做一些前期准备工作，因为需要一定的音视频基础来听讲。
观感思考：
RTC+X依然是当红辣子鸡
疫情加速了各项线下业务线上化，会场分享最多的还是RTC实时视频传输和编解码方面的经验，其中宋利老师把C的概念从communication拓展到compute、connection等概念，这种理解还是非常新颖的观点。因为实时通讯的确需要更大的算力来解决编解码所需的计算消耗问题，需要更大的带宽解决人和人、人和物以及未来拓展的物与物链接问题。实时和低延时音视频技术最后会全面沉淀到公有云基础设施层，被各种应用集成，加速各行各业的数字化线上转型。音频社交、远程医疗、沉浸式体验和工业互联网为RTC提供了更为广阔的应用场景。
低延时之外还需要什么
本次大会能捕捉到一个明确的信号，就是各个云服务厂商以及视频会议厂商还是把进一步降低延时作为自己的目标，疫情之前大家觉得能把端到端延时降低到400ms都是一个非常不多的指标，但是疫情之后新的业态如AR、VR 以及6dof的出现以及一些5G等技术的普及，让大家延时降低到100ms越来越成为可能和急迫，所以本次大会能看到一些落地案例在超低延时方面的优化，所以我们会看到大家在追求低延时通信的路上越走越远，未来端到端延时只有更低没有最低，估计再过几年几十毫秒的延时会成为标配。
只要做好低延时就可以了，答案显然是否定的，除了要继续在质量、成本以及延时的三角区域里追求最优解，还要让实时通信有身临其境感，线上的体验要进一步优化。如果不能把线下那种肢体面部更丰富的语言信息以及更多维度的还原线下体验，那就会抑制大家应用RTC的场景和需求，这块也是要在解决了低延时通信要考虑的问题。
5G到底能为音视频通信带来什么
2020年可以算是5G的元年，这一年国内正式商用，基础铺设工作全面开展。热度在今年逐渐降低，因为5G暂时没有出现特别让人兴奋的应用场景。但是这能说明5G就不重要了吗？或者能简单的认为5G时代的到来会让一切低延时、广连接的问题都可以自然得到解决？答案显然没有这么简单。来自虎牙的分享者大概分享了下面几个我们对5G认识的误区，说实话这些误区我自己有过类似看法，需要引起注意：
1. 5G解决的是空口延时（大概就是从设备端到5G基站这块的延时），显然空口延时只是传输延时的一部分，像音视频领域的编码延时，骨干核心网的传输延时以及路由器的处理排队延时，这些是没办法通过5G进行解决的。最后我们关心的端到端的低延时，其中空口延时能占多少，即使优化了其它延时的解决依然需要考虑。
2. 网络带宽足够，链路空载的延时和实际大并发业务落地上传的带载延时还是两个概念，带宽对音视频传输延时还是有决定性作用，带宽非常有限，即使再牛逼的QOS算法也体现不出来核心优势。
3. 理论延时和实际延时同样是两个概念，许多是理想情况的实验室测试数据，跟实际落地差异还比较大，而且宣传语的应用场景肯定比音视频这种需要大带宽的场景还是不一致。
4. 即使享受了5G eMBB带来的空口延时优势，但是使用APP不是在公司WIFI就是在家里WIFi,只有在户外没有WIFi情况下我们才会用5G移动流量。随着WIFi6技术的到来，5G产生的空口延时效益将迅速被追平。所以5G对大部分消费者和应用来说，带来的效益和红利没有想象那么高。
5. 未来5G产生收益应该更多的ToB业务，比如车载娱乐应用以及工业互联网领域，一些远程医疗和边缘计算可能会有比较大的收益。5G对消费者的影响可能在户外直播和虚拟现实AR上。
6. 未来端上网络理想情况应该是WiFi完成室内通信，户外城市等场景使用5G，在野外等人迹罕至的场景可能还要依赖马斯克的天际同步卫星来提供联网功能。
说了这么多，就是启发我们正视5G理论值和实际工程化的差异，关注端到端的整体延时解决，根据其特点找到5G适合落地的业务场景尽早的把实时音视频延时推到10毫秒时代。
编解码技术的新突破口-AI
了解编解码技术的同学基本都清楚，目前的编码技术框架大概从30年前就确定下来了。以H.261/H.264/H.265技术为代表，编码的核心都是从人的视觉生物特征入手解决大量的空间和时间冗余，要经过预测、变换、量化和熵编码等过程。这一传统编码方案同样适用于后来的VP9/AV1以及国内的AVS编码框架，在可预见的范围内，这些还是主流的编码框架和技术。随着新一代编码技术H.266和AV1发布，已经显示出传统编码方案复杂性以及对计算量的迅速提升，要向继续向后面演进已经越来越难。
前几年就能听到一些高校老师和大厂音视频实验室分享利用AI技术来突破传统编码框架的想法。这些内容以前听得还是比较朦胧，分享出来能落地的案例也几乎没有。但是本次大会能听到这个趋势越来越明确化，特别是在帧内编码和基于深度学习的Lyra语音编码器的开源和发布，利用AI技术来进行端到端编解码可能要成为下一代编码技术的主流，五到十年之内应该会取得比较大的突破，希望大家关注并留意这一重大技术趋势。
做好音视频产品和服务的关键-细节
音视频技术落地到产品或者服务中，大厂之所以比一般中小公司更有竞争力或者体验更好，除了更大的资金和人力投入之外，其实技术路线并没有非常大的差别。通过分享基本得知大厂在场景分类和核心指标上做的非常好，从编码-传输-解码整条链路上细节把控得很优秀，能够端到端的进行优化，并利用质量评价体系实现了业务闭环，通过对大数据的分析进一步优化了用户体验，并且这种优势随着数据的积累和实际场景的锤炼会变得越来越大。
音视频的人才和门槛
SRS作者谈到项目初衷之一的时候，说本来就是想让零基础的开发者快速入门搭建起音视频的学习环境，但是没想到随着音视频技术的快速演进已经也变得越来越复杂。不可否认的是音视频技术的开发门槛到现在依然存在而且初学者在找这块的专业资料时少的可怜，一般有积累的大厂全靠内部带和口口相传，如果完全从一个陌生开发领域切换过来更是云里雾里感觉，因为要学的东西非常多，我也是有过类似经历。其次就算入门，无论是搞传输还是编解码又发现，这个领域深如海，需要大量的数学、网络通信和协议规范要学习。AI目前还在强攻这个领域，后面估计一般的开发者还要学习深度学习等知识。
针对这块，一方面LVS会推出一款产品加快人才的合理流动和泛化，其次华为给出的建议也非常不错，产业界需要和大学实验室相结合培养，总之这个领域需要的人才越来越多，但是有经验的人才供给还是太少。对于想进入这行的还是要趁早，但是也要做好长期打算，三五年甚至十几年的学习周期是非常必要的。
感兴趣可以关注本人公众号进一步学习音视频知识：
往期文章回顾:
音视频常见问题分析和解决：HLS切片丢帧引起的视频卡顿问题排查
音视频解封装：MP4核心Box详解及H264&AAC打包方案
个人转载内容至朋友圈和群聊天，无需特别申请版权许可。
引用转载该订阅号文章，注明文章来源即可。
记得右下角点“在看”，还可以关注该订阅号，防止遗漏推送哦
今天就说这么多，祝您工作顺利！
1859
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
