音视频同步技术

1.什么是音视频同步？

          音视频同步顾名思义就是视频画面与音频能够对应起来，尤其是对于视频画面中能看到声源动作（如：嘴型）的场景，音视频同步问题非常影响体验。

          在视频源采集端作为音视频的生产者，如果采集端产生的音视频源本身就无法保证同步，那么后面不管经过什么处理，都很难再让用户看到音视频同步的画面了，因此，在采集端保证音视频同步上尤其重要。

2.音视频同步原理

         音视频采集的数据分别来自于麦克风与摄像头，而摄像头与麦克风其实是两个独立的硬件，而音视频同步的原理是相信摄像头与麦克风采集数据是实时的，并在采集到数据时给他们一个时间戳来标明数据所属的时间，而编码封装模块只要不改动音视频时间的相对关系就能保证音频与视频在时间上的对应。如此封装好数据之后，播放端就能够根据音视频的时间戳来播放对应的音视频，从实现音视频同步的效果。

3.时间戳基准

        一般来说取格林威治时间做为对比标准，即音视频时间戳都为采集时间点相对于格林威治标准时间的时间差，或者采集设备的系统开机以后的即时时间。

4.典型的音视频同步框架如图1-1所示：

                                    

                                        1-1  典型音视频同步框架

(1).采集处理

       音/视频被采集到之后会先经过音/视频处理模块，音/视频在被处理之后才进入