现在的情况是:
采用DirectSound录音和播放音频;采用DirectShow采集摄像头视频,视频的播放是直接一帧帧地画到界面面板上(用QT编写的应用程序界面)。
已经实现音频和视频的实时采集压缩,分别发送和传输(音频和视频用不同的socekt和端口,UDP传输)和播放。
现希望实现音视频的同步播放(即所谓的唇音同步),看到不少都是用DirectShow去实现音视频同步,
我不想用DirectShow, 该如何去实现音视频同步呢?
现在初步大致的想法是:
方案一:音视频采集时,得到其采集时间戳,然后音视频分别压缩,再将具有相同时间戳的音视频包打包放在一个数据包内,
然后发送传输,接收端从数据包内提取出音频和视频数据,分别同时播放。因为同一数据包内的音视频具有相同的采集
时间戳,即是同一时刻采集的,则实现了同步。
方案二:同样得到采集时间戳信息,音视频分别压缩后,分别加上该时间戳信息,然后音视频分别发送和传输。
接收端分别得到音视频数据,音频正常播放(考虑人对音频播放更敏感),并以音频播放为基准,调整视频的播放速率,
视频帧到达时,将其时间戳与当前播放的音频时间戳进行比较,给定一个同步容忍度范围,如果超前了,则该视频帧暂不播
放,如果滞后后就丢弃该视频帧。从而实现音视频的同步。
请问以上方法是否可行?存在什么问题或者有什么其它更好方法?(不用directshow)
另外,如何得到音视频采集时的时间戳呢?
一般采用第二种方案!
一般 视频解码一个线程 音频解码一个线程
视频解码线程同音频解码线程去同步,同步的代码可以放在视频解码线程里面,音频解码线程自己播自己的。
音频解码线程每播放一帧音频(音频实际是采样),时间
t音=t音+t变化;
视频线程每播放一帧视频,时间
t视=t视+t变化;
同步代码发现:t视-t音>0并超过了一个阈值,就让视频解码线程先歇着,但是这时从网络接收数据没有停,接下来都先扔到视频缓冲队列中。
如果t视-t音<0并超过了一个阈值,就让视频解码线程加快输出,或是丢帧,赶上音频解码线程