FFmpeg简易播放器的实现5-音视频同步

基于 FFmpeg 和 SDL 实现的简易视频播放器，主要分为读取视频文件解码和调用 SDL 显示两大部分。

FFmpeg 简易播放器系列文章如下：
[1]. FFmpeg简易播放器的实现1-最简版
[2]. FFmpeg简易播放器的实现2-视频播放
[3]. FFmpeg简易播放器的实现3-音频播放
[4]. FFmpeg简易播放器的实现4-音视频播放
[5]. FFmpeg简易播放器的实现5-音视频同步

前面四次实验，从最简入手，循序渐进，研究播放器的实现过程。第四次实验，虽然音频和视频都能播放出来，但是声音和图像无法同步，而没有音视频同步的播放器只是属于概念性质的播放器，无法实际使用。本次实验将实现音频和视频的同步，这样，一个能够实际使用的简易播放器才算初具雏形，在这个基础上，后续可再进行完善和优化。

音视频同步是播放器中比较复杂的一部分内容。前几次实验中的代码远不能满足要求，需要大幅修改。本次实验不在前几次代码上修改，而是基于 ffplay 源码进行修改。ffplay 是 FFmpeg 工程自带的一个简单播放器，尽管称为简单播放器，其代码实现仍显得过为复杂，本实验对 ffplay.c 进行删减，删掉复杂的命令选项、滤镜操作、SEEK 操作、逐帧插放等功能，仅保留最核心的音视频同步部分。

尽管不使用之前的代码，但播放器的基本原理和大致流程相同，前面几次实验仍具有有效参考价值。

★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。

见下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

1. 视频播放器基本原理

下图引用自 “雷霄骅，视音频编解码技术零基础学习方法”，因原图太小，看不太清楚，故重新制作了一张图片。

如下内容引用自 “雷霄骅，视音频编解码技术零基础学习方法”：

解协议
将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如 HTTP，RTMP，或是 MMS 等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用 RTMP 协议传输的数据，经过解协议操作后，输出 FLV 格式的数据。
解封装
将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如 MP4，MKV，RMVB，TS，FLV，AVI 等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV 格式的数据，经过解封装操作后，输出 H.264 编码的视频码流和 AAC 编码的音频码流。
解码
将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含 AAC，MP3，AC-3 等等，视频的压缩编码标准则包含 H.264，MPEG2，VC-1 等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如 YUV420P，RGB 等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如 PCM 数据。
音视频同步
根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

2. 简易播放器的实现-音视频同步

2.1 实验平台

实验平台：      openSUSE Leap 42.3  
                Microsoft Visual Studio 2017 (WIN10)  
FFmpeg 版本：   4.1  
SDL 版本：      2.0.9  

本工程支持在 Linux 和 Windows 平台上运行。
Linux 下 FFmpeg 开发环境搭建可参考 “FFmpeg 开发环境构建”。
Windows 下使用 Microsoft Visual Studio 2017 打开工程目录下 ffplayer.sln 文件即可运行。

2.2 源码清单

使用如下命令下载源码：

svn checkout https://github.com/leichn/ffplayer/trunk

ffplay 所有源码集中在 ffplay.c 一个文件中，ffplay.c 代码很长。本实验将 ffplay.c 按功能点拆分为多个文件，源文件说明如下：

player.c    运行主线程，SDL 消息处理
demux.c     解复用线程
video.c     视频解码线程和视频播放线程
audio.c     音频解码线程和音频播放线程
packet.c    packet 队列操作函数
frame.c     frame 队列操作函数
main.c      程序入口，外部调用示例
Makefile    Linux 平台下编译用 Makefile
lib_wins    Windows 平台下 FFmpeg 和 SDL 编译时库和运行时库

本来想将 ffplay.c 中全局使用的大数据结构 VideoState 也拆分分散到各文件中去，但发现各文件对此数据结构的引用关系错综复杂，很难拆分，因此作罢。

2.3 源码流程分析

源码流程和 ffplay 基本相同，不同的一点是 ffplay 中视频播放和 SDL 消息处理都是在同一个线程中(主线程)，本工程中将视频播放独立为一个线程。本工程源码流程如下图所示：

ffplay 的源码流程可参考 “ffplay源码分析3-代码框架”。

2.4 音视频同步

音视频同步的详细介绍可参考 “ffplay源码分析4-音视频同步”，为保证文章的完整性，本文保留此节内容。与 “ffplay源码分析4-音视频同步” 相比，本节源码及文字均作了适当精简。

音视频同步的目的是为了使播放的声音和显示的画面保持一致。视频按帧播放，图像显示设备每次显示一帧画面，视频播放速度由帧率确定，帧率指示每秒显示多少帧；音频按采样点播放，声音播放设备每次播放一个采样点，声音播放速度由采样率确定，采样率指示每秒播放多少个采样点。如果仅仅是视频按帧率播放，音频按采样率播放，二者没有同步机制，即使最初音视频是基本同步的，随着时间的流逝，音视频会逐渐失去同步，并且不同步的现象会越来越严重。这是因为：一、播放时间难以精确控制，二、异常及误差会随时间累积。所以，必须要采用一定的同步策略，不断对音视频的时间差作校正，使图像显示与声音播放总体保持一致。

音视频同步的方式基本是确定一个时钟(音频时钟、视频时钟、外部时钟)作为主时钟，非主时钟的音频或视频时钟为从时钟。在播放过程中，主时钟作为同步基准，不断判