Tech
Gstreamer工作原理分析
Guide
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 2 of 22
Revision History
Date Issue Description Author
<7/03/2008> <0.5> First draft wangfei
目录
1. ABSTRACT ................................................................................................................................................. 3
2. INTRODUCTION ....................................................................................................................................... 3
3. 原理分析...................................................................................................................................................... 3
3.1 术语介绍. ............................................................................................................................................. 3
3.1.1 元素............................................................................................................................................... 3
3.1.2 一些特别的元素。......................................................................................................................... 3
3.2 插件的工作原理。................................................................................................................................ 5
3.3 GST-LAUNCH的工作逻辑............................................................................................................................ 7
3.4 动态PIPELINE的创建原理........................................................................................................................ 9
3.5 DECODEBIN的工作原理............................................................................................................................ 10
3.6 TYPEFIND的实现原理............................................................................................................................. 12
3.7 SETUP ELEMENT........................................................................................................................................ 12
3.8 PLAYBIN的工作原理............................................................................................................................... 14
3.9 数据流动............................................................................................................................................. 16
3.10 总结................................................................................................................................................. 20
4. REFERENCE ............................................................................................................................................ 20
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 3 of 22
1. Abstract
主要讲的是gstreamer的工作原理，包括gst-launch的分析和playbin的分析，以及数据的
流动分析。
2. Introduction
先介绍一些术语，然后介绍了插件的工作原理，后面接着介绍了
gst-launch,playbin,decodebin,typefind,数据流动.
3. 原理分析
3.1 术语介绍.
3.1.1 元素
代码里面的类型是GstElement,可以理解为gstreamer里面的基类。
3.1.2 一些特别的元素。
Source:可以理解为源头，也就是数据流的起始地，就像长江的发源地是沱沱河一样。
Sink:就是这个数据流最终要流向的地方，就像长江最终要流向东海一样。
Filter:过滤器，就像是筛子一样滤掉我们不感兴趣的东西，流下我们想要的东西，或者从代码上来
说就是拦截下数据，对这个数据做一定的修改或者其它动作，当然你什么也不做也是可以的，然后
再把数据传出去：
Pipeline:典型的pipeline是这样的：
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 4 of 22
更复杂一点的：
Bin:有点像pipeline，它们的区别就是pipeline肯定是一个bin，但bin不一定是pipeline，它就像一个盒
子，里面放了什么东西你可以不关心。
Ghostpad:文档上说ghost pad就像linux里面的link文件，我的理解是在一个盒子上开一个口，这样里
就可以访问这个盒子了。
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 5 of 22
3.2 插件的工作原理。
如下图所示，这个所有的基于插件的程序的工作原理类似，本质上都是通过读取动态库实现的，只
需要每个动态库都实现某一个特定的接口就可以了，比如XX_init等，这里就是plugin_init。
里面会有个像注册表一样的数据结构会存储所有的插件的信息。
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 6 of 22
gst_element_register
GST_PLUGIN_DEFINE
(GST_VERSION_MAJOR,
GST_VERSION_MINOR,
"playbin",
"player bin", plugin_init,
VERSION, GST_LICENSE,
GST_PACKAGE_NAME,
GST_PACKAGE_ORIGIN)
gst_plugin_load_file
g_module_open
g_module_symbol
（“gst_plugin_des
c”）
#define
GST_PLUGIN_DEFINE(major,minor,name,description,init,version,license,package,origi
n) /
GST_PLUGIN_EXPORT GstPluginDesc gst_plugin_desc = { /
major, /
minor, /
name, /
description, /
init, /
version, /
license, /
PACKAGE, /
package, /
origin, /
GST_PADDING_INIT /
};
gst_plugin_register_
func
gst_default_registry
_add_plugin
(desc->plugin_init)
(plugin)
plugin_init
gst_registry_add_feature
(gst_registry_get_default
(),
GST_PLUGIN_FEATUR
E (factory))
load_plugin_func
init_post
gst_init_get_option_
group
main（gst-launch.c)
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 7 of 22
3.3 Gst-launch的工作逻辑
它的工作原理就是根据 ！号来划分输入的字符串，然后为每个元素构建一个element，最后建立一个pipeline
把这些元素加入，最后通过setstate来启动整个数据循环。
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 8 of 22
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 9 of 22
3.4 动态pipeline的创建原理
我们经常需要创建动态的pipeline，因为我们不知道源头是什么格式的，这时候需要这么
做：
比如demuxer，
pipeline = gst_pipeline_new ("my_pipeline");
//创建pipeline
source = gst_element_factory_make ("filesrc", "source");
//创建src
g_object_set (source, "location", argv[1], NULL);
//设置输入文件路径
demux = gst_element_factory_make ("oggdemux", "demuxer");
//创建demux元素
gst_bin_add_many (GST_BIN (pipeline), source, demux, NULL);
//把这两个元素加入到pipeline里面
gst_element_link_pads (source, "src", demux, "sink");
//把这两个元素连接起来
g_signal_connect (demux, "pad-added", G_CALLBACK (cb_new_pad), NULL);
//这里是关键，demux会创建出一个pad，于是发出信号，等待我们设定的函数cb_new_pad.
gst_element_set_state (GST_ELEMENT (pipeline), GST_STATE_PLAYING);
//启动整个数据流循环
loop = g_main_loop_new (NULL, FALSE);
g_main_loop_run (loop);
//启动gloop事件循环
static void
cb_new_pad (GstElement *element,
GstPad *pad,
gpointer data)
{
gchar *name;
name = gst_pad_get_name (pad);
g_print ("A new pad %s was created/n", name);
g_free (name);
/* here, you would setup a new pad link for the newly created pad */
…...
}
在这里就可以根据不同pad来连接不同的后面的element,比如：
gst_element_link_pads (pad, "src", fakesink, "sink");
而如何发现源数据的类型则是这样的：
typefind = gst_element_factory_make ("typefind", "typefinder");
g_signal_connect (typefind, "have-type", G_CALLBACK (cb_typefound), loop);
每当typefine插件查出类型的时候就会发出这个信号。
“Once a media type has been detected, you can plug an element (e.g. a demuxer or decoder) to the
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 10 of 22
source pad of the typefind element, and decoding of the media stream will start right after.”
总结:从上面这些例子可以看出，它的工作过程是这样的：
首先连接能够连接的原素，比如前端src->decodebin，然后后端连接
converter->resampler->volume->
audiosink。
通过decodebin的信号，根据源类型创建特定的src pad，再把这个pad连接到后端（后端可以
创建一个ghost pad以方便使用）这样一个pipeline就建好了
3.5 Decodebin的工作原理
3.4节已经用文字介绍了decodebin的工作原理，下面的图是讲它的内部实现的：
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 11 of 22
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 12 of 22
3.6 Typefind的实现原理
这里是讲程序是如何查找出对应文件应该选用什么解码器之类的，可以简单理解为source识别。
3.7 Setup element
这里主要讲的是如何把这些播放一个source所需要的element连接起来的：
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 13 of 22
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 14 of 22
3.8 Playbin的工作原理
有了上面几个步骤就可以很容易理解playbin的工作原理，不过细节依然非常的复杂，我只是画了框
架图：
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 15 of 22
setup_source
gst_play_base_bin_
change_state
gen_source_element analyse_source
http
make_decoder
gst_play_bin_chang
e_state
gstlaunch
gstreamer
null ->ready,
ready->pause ,
setup_source
ready pause
raw
g_signal_connect (decoder, "elementadded",
G_CALLBACK
(decodebin_element_added_cb),
play_base_bin);
g_signal_connect (G_OBJECT
(decoder),
"new-decoded-pad",
G_CALLBACK (new_decoded_pad),
play_base_bin);
g_signal_connect (G_OBJECT
(decoder), "no-more-pads",
G_CALLBACK (no_more_pads),
play_base_bin);
decoder
gst_element_link
source
decorder
decodebin_element
_added_cb new_decoded_pad
new_decoded_pad_f
ull
gen_preroll_element
sinkpad =
gst_element_get_request_pad
(group->type[type - 1].selector,
"sink%d");
gst_pad_link (pad, sinkpad);
add_stream no_more_pads_full
group_commit
decodebin
preroll =
gst_element_factory_make
("queue", name);
overrun_sig = g_signal_connect
(G_OBJECT (preroll), "overrun",
G_CALLBACK
(queue_overrun), play_base_bin);
queue_overrun
res =
GST_PLAY_BASE
_BIN_GET_CLASS
(play_base_bin)->
setup_output_pads
(play_base_bin,
group);
basebin
setup_substreamprepare_output s
gst_pad_add_event_
probe
probe_triggered
eos
setup
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 16 of 22
3.9 数据流动
下面讲的是里面最复杂的数据流动的分析，我主要分析了src的流动和sink的流动，因为中间的数据流动太多，
比如解码器，filter等等，实在没空，但是我想有这两元素的分析，其它的元素就很容易了：
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 17 of 22
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 18 of 22
gst_pad_push
gst_pad_emit_have_
data_signal
(peer =
GST_PAD_PEER
(pad))
gst_pad_chain_unch
ecked (peer, buffer);
(chainfunc =
GST_PAD_CHAIN
FUNC (pad))
gst_pad_emit_have_
data_signal
ret = chainfunc (pad,
buffer);
src pad
peer
pad chainfunc
gst_pad_set_chain_f
unction
plugin init
chainfunc,
chainfunc sink
gst_base_sink_chain
gst_base_sink_chain
_unlocked
gst_base_sink_queu
e_object_unlocked
gst_base_sink_prero
ll_object
gst_base_sink_rende
r_object
gst_base_transform_
handle_buffer
ret = bclass-
>transform_ip
(trans, inbuf);
gst_base_transform_
chain
gst_base_transform_
init
gst_pad_set_chain_functi
on (trans->sinkpad,
GST_DEBUG_FUNCPT
R
(gst_base_transform_cha
in));
gst_base_sink_chan
ge_state
volume
gstbasesink_class-
>render =
GST_DEBUG_FU
NCPTR
(gst_base_audio_si
nk_render);
gst_base_audio_sink
_class_init
赋值
gst_ring_buffer_co
mmit_full
gst_base_audio_sink
_render
gst_pad_push
gst_base_sink_do_s
ync
gst_base_sink_do_r
ender_stats
bclass->render
(basesink, buf);
gst_base_audio_sink
_change_state
gst_base_audio_sink
_do_play
gst_base_audio_sink
_async_play
Change_state
FWD_SAMPLES
memcpy
gst_audio_sink_crea
te_ringbuffer
gst_audio_src_class_init
gstbaseaudiosrc_class-
>create_ringbuffer =
GST_DEBUG_FUNCPTR
(gst_audio_sink_create_ringb
uffer);
设置
gst_base_audio_sink
_change_state
gst_audioringbuffer
_open_device
csrc->open (src);
gst_alsasink_open
For alsasink
gst_ring_buffer_star
t
rclass->start (buf);
start
3
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 19 of 22
audioringbuffer_thre
ad_func
gst_audioringbuffer
_acquire
csink->prepare
(sink, spec);
g_thread_create
((GThreadFunc)
audioringbuffer_th
read_func, buf,
TRUE,
NULL);
GST_AUDIORIN
G_BUFFER_WAI
T (buf);
gst_audioringbuffer_class_init
gstringbuffer_class->acquire =
GST_DEBUG_FUNCPTR
(gst_audioringbuffer_acquire);
赋值
gst_ring_buffer_acq
uire
res = rclass-
>acquire (buf, spec);
gst_base_audio_sink
_setcaps
gst_base_audio_sink_cl
ass_init
tbasesink_class-
>set_caps =
GST_DEBUG_FUNCP
TR
(gst_base_audio_sink_s
etcaps);
赋值
调用
gst_base_sink_pad_
setcaps
bclass->set_caps
(bsink, caps);
调用
gst_base_sink_init
gst_pad_set_setcaps_func
tion (basesink->sinkpad,
GST_DEBUG_FUNCPT
R
(gst_base_sink_pad_setca
ps));
设置
gst_pad_get_caps_u
nlocked
GST_PAD_GETCA
PSFUNC (pad)
(pad);
gst_pad_get_caps
gst_pad_link_check
_compatible_unlock
ed
gst_pad_link_prepar
e gst_pad_link
pad_link_maybe_gh
osting
gst_element_link_pa
ds
gen_audio_element gen_video_element
setup
gst_audioringbuffer
_start
gst_audioringbuffer_class_in
it:
gstringbuffer_class->start =
GST_DEBUG_FUNCPTR
(gst_audioringbuffer_start);
gst_ring_buffer_star
t
设置
gst_base_audio_sink
_render
2
rclass->start (buf);
调用
2
GST_AUDIORIN
G_BUFFER_SIGN
AL (buf);
发出信号
writefunc = csink-
>write;
gst_ring_buffer_pre
pare_read
writefunc (sink,
readptr + written,
left);
GST_AUDIORING_B
UFFER_SIGNAL
(buf);
GST_AUDIORING_B
UFFER_WAIT (buf);
signal wait
writefunc
render
gst_ring_buffer_commit_full
memcpy
g_cond_signal
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 20 of 22
3.10 总结
.时间有限，我只能分析这些框架了，估计看懂这几个图也不容易，
两个关键的函数是change_state,这是一个经常被重载的函数，基本上元素的初始化，
状态的改变都会在这里面会被处理， 另外一个非常关键的chaingfunc这个函数是开
启数据流动的关键函数，通常src调用chainfunc函数，在这个函数里面会取出peer pad
的chainfunc，然后调用src对应的sink的chainfunc，另外一个让我迷惑了很久的是到sink
的数据是如何流动的，最后分析的 结果是它使用了一个环行缓冲，并且使用了线程
同步操作来实现生产者消费者 的模式以加快数据的传递，所以数据的最终传递是通
过发出p、v操作来实现的，里面先把数据取出来调用memcpy来copy到环行缓冲，然
后发出v操作，对应的消费者被唤醒调用sink插件的write操作把数据写到设备里面
去，这里面还有几块我没有分析的，比如时间戳的处理，各种元素之间的延迟的协
商，以及音频视频之间的同步播放等，这里面涉及很多多线程问题，如果要分析估
计得花很多的时间。
4. reference
[1] http://gstreamer.freedesktop.org/documentation/
补充：
＃playbin的工作流程
1,创建source。
2，创建decodebin。
3，为decodebin添加typefind。
4，在向bin添加元素的时候都会发出element-added的信号。
5，向decodebin添加fakesink。
6，把decodebin加入到playbin.
7, 等待typefind元素发出的have-type信号，并调用回调函数，注意这里的信号实际是只
包含了caps信息，而后，根据注册表里面的每个factory取出其提供的caps与typefind提供的
caps取交集，如果有交集则加入到一个list表中(find_compatibles)。
8，取出list里面的元素来连接，如果找到一个就结束，找到后把这个元素与src元素连
接起来，递归的进行这个元素本身的sinkpad的连接，直到收到了no_more_pads的消息。
9,decodebin收到no_more_pads消息后也会发出同样的消息，其余处理逻辑请看文档
<gstreamer工作原理》.
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 21 of 22
注意:close_pad_link
1,通常每一个element在被创建的时候都会添加自己的pad，所以都会发出pad－added的
信号。
2,close_link (GstElement * element, GstDecodeBin * decode_bin)
try_to_link_1 (GstDecodeBin * decode_bin, GstElement * srcelement, GstPad * pad, GList *
factories):这个函数的意思是从这个factories里面取出某个能够连接到pad的元素，和
srcelement连接起来,连接起来后还要为这个刚连接起来的元素寻找到它的归属，也就是为
它寻找它的sink,调用的函数是close_link,当从这个函数返回的时候，或则它的sinkpad已经被
装上或则如果是动态的则已经装上了信号处理器等待sink pad被动态装上,于是
gst_element_set_state (element, GST_STATE_PAUSED);当这个函数执行完后，所有的需要安
装sink的元素都已经好了，这个函数会发出pad-added信号，而这个信号的处理函数是
new_pad,在这个函数里面会调用close_pad_link根据pad和caps寻找适合这个pad的sink pad,
所有实际是从这个函数返回后，几乎所有的setup工作都已经over了,可以理解为将要从
typefind元素的have-type信号的信号处理函数type_fount返回了，当然之前还会收到
no_more_pads的信号执行处理函数no_more_pads,于是decodebin发出了no_more_pads的信
号，于是playbin会根据这个信号执行处理函数group_commit.
3,close_pad_link (GstElement * element, GstPad * pad, GstCaps * caps, GstDecodeBin *
decode_bin, gboolean more):这个函数是根据pad和caps为它寻找到一个可以与之连接的一
个链表，或则如果这个caps代表raw数据则创建并添加一个ghostpad到decodebin里面去。
4，find_compatibles (GstDecodeBin * decode_bin, const GstCaps * caps):这个函数的意思
是根据这个caps从注册表里面找出和它有交集的GstElementFactory，并加入到list中返回。
5,close_link (GstElement * element, GstDecodeBin * decode_bin):这个函数的意思是为
element添加sink，如果它的src pad是动态的，则调用dynamic_add来添加信号处理函数,等待
它的动态的pad被添加上,如果不是动态的就调用close_pad_link来从注册表里面选择合适的
sink pad来加入。
TYPE_FIND_REGISTER (plugin, "video/mp4", GST_RANK_PRIMARY, m4v_type_find,
mp4_exts, M4V_CAPS, NULL, NULL);
行；需要移掉gstdecodebin.c 和gstdecodebin2.c里面的函数find_compatibles里面的to_try
= g_list_reverse (to_try)
How to Mount Maemo File System——Guide Issue: <0.5>
System Analysis and Design Documents Issue Date: <10/29/2007>
<Document identifier>
Tech, 2005 Page 22 of 22
574
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
