Gstreamer的音视频同步

最新推荐文章于 2024-08-23 02:08:20 发布

maeom

最新推荐文章于 2024-08-23 02:08:20 发布

阅读量6.7k

点赞数

分类专栏： (1)Linux编程文章标签： audio object null function buffer video

本文链接：https://blog.csdn.net/maeom/article/details/7729840

版权

本文探讨了Gstreamer中基于音频时钟的音视频同步方法，通过在数据流上打时间戳并根据参考时钟安排播放，确保播放同步。内容包括Gstreamer的音视频分离、时钟提供以及默认由AudioSink作为参考时钟的情况，其中AudioClock利用声卡时钟进行时间同步。

摘要由CSDN通过智能技术生成

一概述

Gstreamer的音频视频同步，概括起来是一个比较大的问题，因为在网上可以看到很多音视频同步的办法。这里我们只看最普通的一种。以音频时钟做为参考时钟(要求参考时钟上的时间是线性递增的)；生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间)；在播放时，读取数据上的时间戳，同时参考当前参考时钟上的时间来安排播放(如果数据块上的时间大于参考时钟的时间，则不急于播放，直到参考时钟达到数据块的开始时间；如果数据块上的时间小于参考时钟的时间，则应"尽快"播放或者干脆"丢弃"该数据块，以使得播放赶上播放进度。)

Gstreamer的因视频分离器如下图：

demux element将音频，视频分离后，给各自的解码器进行解码播放。

                     +-----------+
                     |   Audio   |
                  +--|           |
                 /   +-----------+
   +----------+ /
   |  demux   |/
   |          |\
   +----------+ \
                 \   +-----------+
                  +--|   Video   |
                     |           |
                     +-----------+

二提供时钟