不显示删除回复显示所有回复显示星级回复显示得分回复 点对点局域网音视频通信如何实现音视频同步(不用DirectShow)[...

现在的情况是:
采用DirectSound录音和播放音频;采用DirectShow采集摄像头视频,视频的播放是直接一帧帧地画到界面面板上(用QT编写的应用程序界面)。
已经实现音频和视频的实时采集压缩,分别发送和传输(音频和视频用不同的socekt和端口,UDP传输)和播放。

现希望实现音视频的同步播放(即所谓的唇音同步),看到不少都是用DirectShow去实现音视频同步,
我不想用DirectShow, 该如何去实现音视频同步呢?

现在初步大致的想法是:

方案一:音视频采集时,得到其采集时间戳,然后音视频分别压缩,再将具有相同时间戳的音视频包打包放在一个数据包内,
  然后发送传输,接收端从数据包内提取出音频和视频数据,分别同时播放。因为同一数据包内的音视频具有相同的采集
  时间戳,即是同一时刻采集的,则实现了同步。

方案二:同样得到采集时间戳信息,音视频分别压缩后,分别加上该时间戳信息,然后音视频分别发送和传输。
  接收端分别得到音视频数据,音频正常播放(考虑人对音频播放更敏感),并以音频播放为基准,调整视频的播放速率,
  视频帧到达时,将其时间戳与当前播放的音频时间戳进行比较,给定一个同步容忍度范围,如果超前了,则该视频帧暂不播 
  放,如果滞后后就丢弃该视频帧。从而实现音视频的同步。

请问以上方法是否可行?存在什么问题或者有什么其它更好方法?(不用directshow)

另外,如何得到音视频采集时的时间戳呢?

一般采用第二种方案!
一般 视频解码一个线程 音频解码一个线程
视频解码线程同音频解码线程去同步,同步的代码可以放在视频解码线程里面,音频解码线程自己播自己的。
音频解码线程每播放一帧音频(音频实际是采样),时间
t音=t音+t变化;
视频线程每播放一帧视频,时间
t视=t视+t变化;
同步代码发现:t视-t音>0并超过了一个阈值,就让视频解码线程先歇着,但是这时从网络接收数据没有停,接下来都先扔到视频缓冲队列中。
如果t视-t音<0并超过了一个阈值,就让视频解码线程加快输出,或是丢帧,赶上音频解码线程

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
智慧校园的建设目标是通过数据整合、全面共享,实现校园内教学、科研、管理、服务流程的数字化、信息化、智能化和多媒体化,以提高资源利用率和管理效率,确保校园安全。 智慧校园的建设思路包括构建统一支撑平台、建立完善管理体系、大数据辅助决策和建设校园智慧环境。通过云架构的数据中心与智慧的学习、办公环境,实现日常教学活动、资源建设情况、学业水平情况的全面统计和分析,为决策提供辅助。此外,智慧校园还涵盖了多媒体教学、智慧录播、电子图书馆、VR教室等多种教学模式,以及校园网络、智慧班牌、校园广播等教务管理功能,旨在提升教学品质和管理水平。 智慧校园的详细方案设计进一步细化了教学、教务、安防和运维等多个方面的应用。例如,在智慧教学领域,通过多媒体教学、智慧录播、电子图书馆等技术,实现教学资源的共享和教学模式的创新。在智慧教务方面,校园网络、考场监控、智慧班牌等系统为校园管理提供了便捷和高效。智慧安防系统包括视频监控、一键报警、阳光厨房等,确保校园安全。智慧运维则通过综合管理平台、设备管理、能效管理和资产管理,实现校园设施的智能化管理。 智慧校园的优势和价值体现在个性化互动的智慧教学、协同高效的校园管理、无处不在的校园学习、全面感知的校园环境和轻松便捷的校园生活等方面。通过智慧校园的建设,可以促进教育资源的均衡化,提高教育质量和管理效率,同时保障校园安全和提升师生的学习体验。 总之,智慧校园解决方案通过整合现代信息技术,如云计算、大数据、物联网和人工智能,为教育行业带来了革命性的变革。它不仅提高了教育的质量和效率,还为师生创造了一个更加安全、便捷和富有智慧的学习与生活环境。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值