《FFmpeg原理》的社群来了,想加入社群的朋友请购买 VIP 版,VIP 版有更高级的内容与答疑服务。
本系列 以 ffmpeg4.2 源码为准,下载地址:链接:百度网盘 提取码:g3k8
FFplay 源码分析系列以一条简单的命令开始,ffplay -i a.mp4
。a.mp4下载链接:百度网盘,提取码:nl0s 。
ffplay 的大部分主要逻辑已经讲完了,本文主要讲解 ffpaly 暂停跟开始播放是如何实现的,还有在暂停状态下,各个线程在干什么。
首先分析 read_thread() 线程。
知道,read_thread() 线程 主要做的事情是读文件,读出packet,然后插入 PacketQueue 队列,直到插满。
那 如果 视频播放暂停了,is->paused 置为 1了,对read_thread() 会有哪些影响呢?
因为我们的命令是播放本地mp4 ,这种情况下 is->paused 置为 1,对read_thread() 的流程没有影响,read_thread 线程还是插满 队列,然后sleep 10ms,再尝试插队列。
再看看 audio_thread() 解码线程 有没影响,
is->paused 置为 1 对 audio_thread() 解码线程 也是没有影响的,audio_thread 插满 FrameQueue之后,就会阻塞在 frame_queue_peek_writable() 里面等待可写。
video_thread 视频解码线程也是一样,插满 FrameQueue之后,就会阻塞在 frame_queue_peek_writable() 里面等待可写。
再看看音频播放线程 sdl_audio_callback 有没影响。
sdl_audio_callback 在暂停状态下的处理要仔细研究。先看代码。
在 audio_decode_frame() 里的逻辑是 如果暂停了,立即返回 -1,audio_decode_frame 返回 -1 就会导致 sdl_audio_callback() 开始插入静音输入到 stream 指针。虽然他播放的静音数据,但是 音频时钟还在不断更新。set_clock_at() 函数的第二个参数 pts 虽然没变化,但是最后一个参数系统时间一直在递增。也就说即使暂停了,音频时钟也是一直在跑的。剧透一下,但是视频时钟不一样,视频时钟在暂停状态下不跑。
if (!isnan(is->audio_clock)) {
set_clock_at(&is->audclk,
is->audio_clock - (double)(2 * is->audio_hw_buf_size + is->audio_write_buf_size) / is->audio_tgt.bytes_per_sec,
is->audio_clock_serial, audio_callback_time / 1000000.0);
sync_clock_to_slave(&is->extclk, &is->audclk);
}
再看看视频播放线程 event_loop() 有没影响。
event_loop 线程是这样的,即使在暂停状态下,refresh_loop_wait_event 里面也是每隔0.01s循环一次。
video_reflesh() 在暂停状态下是这样的,直接 goto display了,没有执行后面的 update_video_pts() ,所以我说,在暂停状态下,视频时钟没有跑。如图:
在暂停状态下,音频时钟一直在跑,视频时钟却停了,如果开始播放,音频时钟跟视频时钟肯定有很大的不同步,来看看ffplay是如何处理这个问题。
从上图可以看到,在重新启动的时候,ffplay是单独对视频时钟做了处理。把 is->frame_timer 跟 is->vidclk 都重新设置了一下。
这就是为什么 ffplay 重新启动播放的时候,需要对视频时钟单独搞这么一出。
简单总结一下,暂停状态下的情况:
- read_thread(),数据读取线程 还是不断读 packet,插满队列,然后sleep 10ms,再尝试插队列。不断等待队列可以插入数据。
- audio_thread(), 音频解码线程,不断解码数据,插FrameQueue,插满就停在 frame_queue_peek_writable() 里面等待队列有空位可以插入。
- video_thread(), 视频解码线程,不断解码数据,插FrameQueue,插满就停在 frame_queue_peek_writable() 里面等待队列有空位可以插入。
- sdl_audio_callback(), 音频播放线程,暂停状态会写入静音数据,但是每次回调都会修改音频时钟的系统时间,导致音频时钟一直在递增。
- video_reflesh(),视频播放线程,基本什么都没做,在refresh_loop_wait_event 里面每隔 0.01s 循环一次,如果窗口改变,需要重新渲染SDL,也只是重新渲染,不会执行 update_video_pts() 更新视频时钟。
ffplay 源码分析,pause 暂停播放分析完毕。
©版权所属:弦外之音。
由于笔者的水平有限, 加之编写的同时还要参与开发工作,文中难免会出现一些错误或者不准确的地方,恳请读者批评指正。