QT多画面播放器-1.音视频同步

简介

本博文是在开源项目hplayer的基础上增加了音频播放功能。

先献上大神原项目地址：

https://hewei.blog.csdn.net/article/details/80764211

大神博客：

https://hewei.blog.csdn.net/category_9275796.html

下面再贴上我添加音频播放的项目地址：

https://gitee.com/zhangjixiang2021/hplayer

音视频播放架构图

1. 音视频播放总共分由4个线程构成，分别是解封装线程、音频解码播放线程、视频解码线程、openGL渲染线程。
2. 解封装线程通过ffmpeg收流、解封装，将音频帧放入到音频帧缓冲区，将视频帧放入到视频帧缓冲区。
3. 音频解码播放线程首先从音频帧缓冲区中获取音频数据，再进行音频重采样，最后使用SDL对进行音频播放。
4. 视频解码线程从视频帧缓冲区中获取视频数据进行解码，然后判断当前帧的pts是否大于当前解码的音频帧的pts,若大于则进行等待，若小于则将解码后的YUV数据放入到YUV数据缓冲区。
5. openGL渲染线程从YUV数据缓冲区中获取数据渲染到屏幕上。

难点分析

1. 音视频播放架构调整

   由于原项目并不支持音视频同时播放，所以需要对音视频播放架构进行调整。

2. 音视频同步

    音视频同步主要有3种方法即音频同步视频、视频同步音频、外部时间同步，要做到精准还可以加入反馈机制等，本文使用的是音频同步视频并未加入其他的控制机制。在做同步时需要注意将音频、视频的pts换成同一时基后再进行比较，即

pts = frame->pts*(1000 * (r2d(m_time_base)))。