读取线程(read_thread):从文件读取音视频流编码数据,放到packetqueue(链表队列)中。如果元素个数大于25并且所有包的时常大于1s则等待(stream_has_enough_packets)。
解码线程(video_thread):从packet队列中取出一帧,解码后放入frame_queue(环形缓冲区队列,重点队列容量固定)。阻塞条件:放入frame_queue前,检查队列是否已满,如满则等待读取信号的激活。
frame_queue中放入数据和取出数据都会激活信号( SDL_CondSignal(f->cond));在写入时调用frame_queue_peek_writable查找可以写入的地址,如果满了则等待信号激活;
在读取时调用frame_queue_peek_readable查找读取地址,如果空了则等待信号激活。
所以读取线程和解码线程都能很好的根据缓冲区的元素数量来控制执行速度。而缓冲区元素的数量其实是受回显线程的影响。回显线程会从frame_queue中取数据,frame_queue就有空闲位置,解码线程就packetqueue中读取数据解码进而写入frame_queue中,如此packetqueue就有空闲位置,读取线程就可以读取数据放入packetqueue中。
音频时钟和视频时钟如何标识? 上一帧的pts
计算视频时钟与音频时钟(主时钟)的偏差diff,实际就是视频上一帧pts减去音频上一帧pts。所谓上一帧,就是已经播放的最后一帧,上一帧的pts可以标识视频流/音频流的播放时刻(进度)。
音频和视频的时钟都是按照各自帧的pts在流逝:比如视频帧A->B->C,当播放完C后,视频时钟即为C对应的pts。如果我们快点播放视频帧,则视频时钟就会快点流逝。所以我们是可以控制视频和音频时钟流逝的快慢的。