前言:
最近在进行一个PC对PC端的直播功能的研发,主要需要实现从PC端捕获桌面处理成H264视频流,以及采集PC端的扬声器的声音处理成AAC音频流,通过RTMP推流到服务器端中,然后客户端可以从服务器中拉流并播放视频,最终实现直播的功能。该项目主要运用到FFMPEG实现音视频的编解码和拉流,使用SDL进行对音视频的播放。
在实现该功能的过程中,总共可以分为如下几个模块:
1、音频的采集、编码;
2、桌面捕获和图像编码;
3、音视频的同步及推流(核心);
4、音视频的拉流及解码;
5、音视频同步播放(核心);
其中音视频编解码是项目的基础,音视频的同步是项目的核心,在后续的文章中将分章节讲述该项目实现的过程。
在推流工作和拉流工作都做完之后,这个项目又迎来一个棘手的问题:在音频没有采集音频即没有推流音频的情况下,只推流视频时,在拉流端拉流到的视频是10秒前的数据。这个问题真的有点摸不着头脑,后来感谢CSDN上有些厉害的大牛,原来他们之前也遇到过类似的问题了,问题的根本原因就是使用FFMPEG推流时,FFMPEG默认会有一个等待时间,这个等待时间会等待所有通道是否有数据需要发送的默认最大等待时间,这个默认值是10000000(单位:微秒),即AVFormatContext的max_interleave_delta参数默认为10秒,因此只要将这个值修改到更小的话,推流出去的时延会更加短。如下是我的对这个值修改为10ms:
outputContext->max_interleave_delta = 10000;//AVFormatContex *outputContext;