实现视频和音频的零延迟是标准的零和博弈

最新推荐文章于 2023-06-02 18:50:40 发布

LiveVideoStack_

最新推荐文章于 2023-06-02 18:50:40 发布

阅读量564

点赞数

本文链接：https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/102513259

版权

作为实时音视频行业，我们对为什么不能零延迟推送视频提出很多理由，其中主要集中在网络容量或间歇性，扩展低延迟解决方案的成本，甚至局限性的现成处理器实时处理4K Ultra HD或高动态范围（HDR）内容方面。本文将从根本上分析涉及编解码器本身以及围绕可伸缩流视频出现的打包和分段问题。

文 / Tim Siglin

译 / 屈健宁

原文/ https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Achieving-Zero-Latency-for-Video-and-Audio-Is-a-Zero-Sum-Game-134201.aspx

我们对于为什么视频不能及时、以未压缩的质量交付做出了很多解释。其中许多解释都是合理的，这些问题主要集中在网络容量或间歇性、扩展低延迟解决方案的成本、甚至局限性的现成处理器实时处理4K Ultra HD或者高动态范围（HDR）内容方面。

但是从根本上讲，这个问题比任何一个问题都要深入，涉及编解码器本身以及围绕可伸缩流视频出现的打包和分段问题，这两者都会增加固有的延迟。自HDS，HLS甚至DASH问世以来，我们中的一些人一直在抱怨这些延迟。向OTT实时流传输的转移已将这些延迟或同步性推到了最前沿，正如一位行业同事在StreamingMedia East 2019上提到的那样，这种延迟是同步的。

为了更好地解决流媒体的延迟问题，让我们使用这篇文章来探索提供视频和音频的方法，这些视频和音频绝对、肯定地必须在现在就存在(套用曾经流行的联邦快递(FederalExpress)口号)。

这不是一个理论上的练习，而是可以在InfoComm等贸易展览会上的对话中得到证明的方法，企业正在寻求在本地（通过使用图像放大或IMAG）提供音视频内容同时还可以远程运作（跨校园或远程学习学生）的无延迟解决方案。

这些受教育程度高的用户，由于操作的复杂性和成本效益的原因，不想部署两种解决方案。这两种方案里，一种是本地交付的零延迟解决方案，另一种是非常低延迟的解决方案—用于远程用户，希望演示者和其本地受众进行交互。

编解码器可以挽救这个问题吗？

在零延迟本地交付用例中，标准的分段打包流式传输方法非常失败，但问题早在打包步骤之前就出现了，并且问题就出现在了音视频流式传输的核心：编码器。不过，这不仅是编码器的问题，因为随着时间的流逝，其中许多问题已经被优化并为我们的行业标准编解码器带来进一步提升。问题的主要部分在于编解码器本身，以及零延迟编码和传送的总体缺陷。

有关实时流编码和交付的讨论通常包括经典的三足凳插图，或者本文的受访者将其所称的决策的“编解码器三角形”。为了使流解决方案正常工作，三个“分支”或三角形“边”必须保持平衡。这三个方面分别是速度，质量和带宽。有些人用“成本”一词代替“带宽”，但都强调一个事实，即带宽越高，消费者和公司的成本就越高。

大规模流传输以节省带宽为前提。这样，对于点播内容，重点则放在速度和质量的交集上以保留带宽。为了在最低带宽下获得最佳质量，视频点播编码器可以花费更多的时间（例如，花费2个小时来编码1个小时的视频文件）以创建高完成度的产品，为给定编解码器施加相应带宽以使其达到最佳性能。