mplayer demux

mplayer音视频同步浅度学习 && VLC视频处理代码浅析

2010年08月25日 星期三 10:45

mplayer播放时的大循环过程为：
while(!mpctx->eof){

fill_audio_out_buffers();//音频stream的读取，解码，播放
update_video(&blit_frame);//视频stream的读取，解码，过滤处理
sleep_until_update(&time_frame, &aq_sleep_time);//计算延迟时间并睡眠等待
mpctx->video_out->flip_page()；//视频的播放
adjust_sync_and_print_status(frame_time_remaining, time_frame);//根据音视频的PTS做同步矫正处理

}

音视频同步方法为
1）音频播放playsize = mpctx->audio_out->play(sh_audio->a_out_buffer, playsize, playflags); 后，根据数据大小算出时间并累计
mpctx->delay += playback_speed*playsize/(double)ao_data.bps;
2）视频解码前，用累计延迟时间剪掉本祯视频的时间mpctx->delay -= frame_time;
3）计算声音延迟时间*time_frame = delay - mpctx->delay / playback_speed;
其中float delay = mpctx->audio_out->get_delay();为距当前声音OUTPUT BUF里数据被全部播放完为止所需的时间。
4）播放视频同步完成，所以视频的播放是完全根据声卡最后的数据输出来同步的。
5）计算出当前音视频PTS差double AV_delay = a_pts - audio_delay - v_pts;再算出矫正值x = (AV_delay + timing_error * playback_speed) * 0.1f;最后把矫正的时间加到延迟累计中mpctx->delay+=x;

VLC视频处理代码浅析

一 序言          最近看了vlc代码（版本0.5.0）视频处理播放过程，写个总结把视频数据主要流程整理一下。Vlc视频处理及播放的过程主要是三个循环：demux , decoder, display. 二 视频处理播放过程介绍      1，demux循环      在src/input/input.c中__input_CreateThread（）创建一个线程RunThread（）。该线程中的while（）循环，起到一个守护作用，例如对seek的处理等；其中的p_input->pf_demux( p_input )函数进行demux处理。该函数是在InitThread（）时，由p_input->p_demux = module_Need( p_input, "demux",p_input->psz_demux );进行关联的。以TS流为例，demux/mpeg/ts.c 中的activate()会被激活，进而设置p_input->pf_demux = Demux; 所以，TS.C中的Demux（）为执行demux的函数。其中的p_demux->mpeg.pf_read_ts和p_demux->mpeg.pf_demux_ts是在activate（）时由p_demux->p_module = module_Need( p_input, "mpeg-system", NULL )关联到mpeg/system.c中的Readts()和Demuxts()。      2，decoder循环 在Demux（）函数执行时会调用PSI_CALLBACK宏，通过调用该宏最终会调用src/input/input_program.c中的input_SelectEs()函数。该函数会调用src/input/input_dec.c中的input_RunDecoder（）。input_RunDecoder（）中会创建Decoder线程RunDecoder( ) (见ffmpeg/ffmpeg.c) 。RunDecoder( )包含一个while( )循环，在循环中如果数据为VIDEO_ES，会调用codec/ffmpeg/video.c中的void E_( DecodeThread_Video )( vdec_thread_t *p_vdec )函数进行解码，该函数会调用ffmpeg_CreateVout()来创建视频输出线程。      3，display循环 ffmpeg_CreateVout()函数会调用vout_request( )函数，进而通过vlc_thread_create( p_vout, "video output", RunThread,                            VLC_THREAD_PRIORITY_OUTPUT, VLC_FALSE )创建线程RunThread（）。该线程中的while( )中循环执行的函数的主要功能如下：1）找到最近的需要显示的图像，2）rendering 图像 ，3）睡眠到显示图像的时间，4）显示图像， 5）事件处理。其中p_vout->pf_render( )是由src/video_output/video_output.c文件__vout_create( )函数中module_Need（）关联的。 三 其它 1，关于VLC的音视频同步 对于音频数据，前面的过程跟视频类似 ，不同的是音频输出环节。视频播放处理是在一个线程内循环完成的，但音频播放的不同模块运行在不同的线程上。音视频的同步完全是按照demux后音视频各自的PTS进行的，原理上跟mplayer 的同步机制完全不同。