聊一聊互联网直播技术

       现在是2024年，转眼间自己在音视频直播领域已经工作了十多年时间了，亲眼见证了流媒体直播技术的发展过程，下面我以个人的亲身经历来聊一聊直播技术。

       首先，直播技术的发展是随着音视频编码技术的进步逐步发展起来的。视频编码技术经历了从MPEG-1→MPEG-2→MPEG-4→H.264→H.265→H.266这样一个发展阶段。这些编码技术都成为了行业内共同遵循的国际标准，它是直播技术不断发展和繁荣的基础。在H.264→H.265这个发展阶段，是互联网直播应用发展最快的阶段，这个视频编码技术的成熟促成了我们当前互联网直播应用的热潮。

       在这个发展阶段，同步出现了其它多种视频编码技术，比如VC-1、VP8、VP9等。VC-1是微软公司主导开发的视频编码技术，是在微软早期的WMV视频编码技术基础之上升级而来的，现在已经成为了国际标准；VP8和VP9是google公司主导开发的视频编码标准，当前已经开源，这也是WebRTC实时流媒体应用所采用的主流视频编码技术。

当前我们所看到最火热的、主流的视频应用，都是伴随着直播技术的成熟而逐渐成长起来的。比如国内的抖音、快手、微信视频、QQ视频、腾讯云、阿里云等，国外的Youtube、Telegram、Snapchat、Tiktok、Facetime、Instagram、Zoom等。这些直播应用，在发展初期都是基于H.264这个视频编码标准来实现直播功能，因为这个标准更开放，专利授权费更低，因此它是直播应用繁荣背后的功臣。在这个标准之后，又出现了编码压缩效率更高的H.265国际标准，虽然这个标准与H.264相比有很大的技术进步，并且这项技术从成熟到现在已经有八年时间了，但是却迟迟未发展成为互联网应用的主流，主要是因为这项技术的专利权人太多，而且这些专利权都掌握在国际性大公司手里，在利益面前大家都忘掉了公益。正是这个原因，直接促成了VP8和VP9编码技术的出现。Goolge为了打破视频编码技术被垄断的局面，斥巨资收购了On2公司开发的VP8视频编码引擎，它可以直接和H.264技术相媲美；后来又升级到VP9，它直接对标H.265视频编码技术。2010年，Gooogle公司又收购了Global IP Solutions的GIPS引擎，更名为现在的WebRTC，这正式当前互联网低延时直播所依赖的底层核心技术。自从WebRTC技术出现后，Google公司将其内嵌到了它的开源浏览器引擎Chromium中，当前互联网第一大浏览器Chromium采用的就是Chromium引擎，因此Google是推动互联网低延时直播技术进步的最大贡献者，他们把互联网的开放理念践行到了极致，也是我本人从业这么多年来最敬佩的互联网企业。

       再回到我们的直播技术发展现状上来。当前，各大互联网直播应用除了以来于这些底层视频编码技术以外，还依赖于视频流传输技术的进步，它就是流媒体传输协议。比如我们目前做直播时常用的直播推流协议RTMP，它就是流媒体传输协议的一种。RTMP协议是目前互联网直播应用最广的一个协议，虽然它不是国际标准，但是它是事实上的行业标准，每天被全球几十亿的用户在使用。说到RTMP协议，我们一定不要忘记它的贡献者Adobe公司。这也是一家伟大的公司，大家耳熟能详的PhotoShop图像编辑软件就是Adobe公司的标志性产品，其实，最早的互联网直播应用的起步正是来自于Adobe公司，他们公司在2008年发布了FlashMediaLiveEncoder直播采集编码软件和FlashMediaServer流媒体服务器软件，同时发布了RTMP协议（当时不开源）。早期做互联网直播，大家主要依赖于Adobe公司提供的互联网直播技术来实现，在客户端浏览器中需要调用Adobe公司的Flash Player播放器来播放。虽然当前各大主流的浏览器已经摈弃了Flash Player这个视频播放控件，但是Adobe公司为互联网直播技术的进步所做出的贡献也是不可磨灭的。当前，各大互联网直播应用平台还仍然在沿用他们所开发的RTMP互联网直播协议。除此之外，互联网直播还同时在使用其它几个主要协议，包括标准的HTTP协议、Apple公司所开发的HLS协议、WebRTC协议等。大家之所以还在支持HLS协议，主要是为了兼容Apple公司的终端设备（比如iPhone、iPad等）。

        当前，各大直播平台所采用的主要技术路线还是H.264+RTMP+HTTP+HLS+WebRTC，未来H.265可能会成为直播应用的主流技术（随着专利费的降低）。

       再聊一聊低延时直播技术，这是当前最热门的互联网直播技术。比如各大直播平台的视频连麦、微信视频通话、各种基于H5浏览器的视频会议、云游戏等等，都是基于WebRTC这种低延时直播技术来实现的。前面说过，这个直播技术的主要贡献者是Google公司，目前也是一个开放、开源的音视频技术标准，因此后来我们才能看到腾讯、阿里、抖音、甚至我所在的小公司都能开发出各种低延时的直播和会议系统等产品。如果没有Google的贡献，这些都是零。基于WebRTC这种低延时的直播技术，行业内已经可以在互联网环境下实现端到端200~300ms的延时指标，在复杂的网络环境下也可以将端到端延时控制在500ms以内，因此很多实时的视频应用成为了可能，比如各大直播平台的视频连麦、机器的远程视频操控、远程应急指挥、实时的远程游戏控制、远程医疗手术、互联网视频会议、微信视频通话等。目前WebRTC低延时直播应用所采用的底层视频编码技术主要是H.264、VP8和VP9，未来有可能支持H.265或者更先进的H.266视频编码技术。技术发展的方向永远是提高效率、节省成本，因此我们对低延时直播技术的未来也是充满信心。

今天时间有限，先和大家聊到这里，欢迎行业内同行互相交流，大咖多多指点！