实现 Lip-sync

        在网络上,同时传输音频和视频并且在不同的通道传输,就涉及到了唇音同步(Lip-sync)的问题,比如SIP视频通话、视频会议等。
 最近在研究这个问题,对Lip-sync有所了解。介绍一种通用易懂的架构。如下:


 1.发送端的动作
    音频帧和视频帧都打上时间戳(以同样的时间基(timebase),比如系统运行的时间)


 2.接收端的动作
   1)媒体内同步
      创建音频和视频的jitter 缓冲区,来处理延迟抖动、丢包、乱序导致的播放不流畅问题。
   2)媒体间同步
      以音频为主流,视频为从流。
      音频播放之前,缓冲一定数量的音频帧。 定时从音频缓冲区中取得一个音频帧进行播放,
      并记录下时间戳Ta。然后从视频缓冲区中取得一个视频帧,其时间戳Tv与Ta进行对比,来决定
      是立即显示、丢弃还是稍后显示。


      以上就是简单的唇音同步的方案,仅在接收端进行改善,但是音频和视频不同步,

  有很多原因:采集不同步、编码不同步、网络打包不同步、网络传输不同步、 网络解包不同步,解码不同步。

  故,实现唇音同步,不仅可以在接收端进行改善,同时也可以在发送端做改善的处理,在此不做描述。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值