Gstreamer初见

    项目相关：网络视频播放器

    系统： meego-1.2

    应用： Qt + Gstreamer

    应用使用的Gstreamer playbin2 控件。

 

  (1) 概述

        (1.1)  Element, Pad, Caps 之间的关系。

             +-------------------------------------+
             |            ELEMENT                  |
             |--------------+              +-------|
             |sinkpad       |              |       |
             |  +---------+ |              |       |
             |  | caps    | |              |srcpad |
             |  | caps    | |              |       |
             |  +---------+ |              |       |
             |--------------+              +-------|
             +-------------------------------------+

        这里列举实例如：qtdemux (quicktime demux)

        这里简单列出，详细部分参考源码：gst-plugins-good-0.10.27/gst/qtdemux/qtdemux.c   

static GstStaticPadTemplate gst_qtdemux_sink_template =
    GST_STATIC_PAD_TEMPLATE ("sink",
    GST_PAD_SINK,
    GST_PAD_ALWAYS,
    GST_STATIC_CAPS ("video/quicktime; video/mj2; audio/x-m4a; "
        "application/x-3gp")
    );

static void
gst_qtdemux_init (GstQTDemux * qtdemux, GstQTDemuxClass * klass)
{
  qtdemux->sinkpad =
    gst_pad_new_from_static_template (&gst_qtdemux_sink_template, "sink");
  gst_element_add_pad (GST_ELEMENT_CAST (qtdemux), qtdemux->sinkpad);
}

static gboolean
qtdemux_parse_trak (GstQTDemux * qtdemux, GNode * trak)
{
  stream->caps =
    qtdemux_video_caps (qtdemux, stream, fourcc, stsd_data, &codec);

  qtdemux->streams[qtdemux->n_streams] = stream;
}

    (1.2) playbin内部

             +------------------------------------------------------------+
             |            playbin2                                        |
             | +---------------------------------------------------+      |
             | |uridecodebin                                       |      |
             | |  +----------+     +----------+     +-----------+  |      |
             | |  | typefind |     |  queue2  |     | decodebin |  |      |
             | |->|          |>--->|          |>--->|           |> |      |
             | |  |          |     |          |     |           |  |      |
             | |  +----------+     +----------+     +-----------+  |      |
             | +---------------------------------------------------+      |
             +------------------------------------------------------------+

  (2)  链接(link)

    gstreamer中，element, pad 都是通过gst_element_link_pads,  或gst_pad_link链接起来的。并且显然，pad嵌在element元件内部，当将两个element link起来时，真正发生的改变是什么呢？

       (2.1) gst_element_lin_pads 与 gst_pad_link 对比

gboolean
gst_element_link_pads (GstElement * src, const gchar * srcpadname,
    GstElement * dest, const gchar * destpadname)
{
  return gst_element_link_pads_full (src, srcpadname, dest, destpadname,
      GST_PAD_LINK_CHECK_DEFAULT);
}

gboolean
gst_element_link_pads_full (GstElement * src, const gchar * srcpadname,
    GstElement * dest, const gchar * destpadname, GstPadLinkCheck flags)
{
  result = pad_link_maybe_ghosting (srcpad, destpad, flags);
}

static gboolean
pad_link_maybe_ghosting (GstPad * src, GstPad * sink, GstPadLinkCheck flags)
{
  ret = (gst_pad_link_full (src, sink, flags) == GST_PAD_LINK_OK);
}

/* 和 gst_pad_link 一样 */
GstPadLinkReturn
gst_pad_link (GstPad * srcpad, GstPad * sinkpad)
{
  return gst_pad_link_full (srcpad, sinkpad, GST_PAD_LINK_CHECK_DEFAULT);
}

        (2.2) pad link 到底做什么了？

GstPadLinkReturn
gst_pad_link_full (GstPad * srcpad, GstPad * sinkpad, GstPadLinkCheck flags)
{
  /* 这个参考 GstPad 的 structure， 这里就是互相将peer设置为对端 */
  GST_PAD_PEER (srcpad) = sinkpad;
  GST_PAD_PEER (sinkpad) = srcpad;

  /* 如果有link func那么执行函数，大部分element中没有设置link func函数 */
  if (GST_PAD_LINKFUNC (srcpad)) {
    result = GST_PAD_LINKFUNC (srcpad) (srcpad, sinkpad);
  } else if (GST_PAD_LINKFUNC (sinkpad)) {
    result = GST_PAD_LINKFUNC (sinkpad) (sinkpad, srcpad);
  } else {
    result = GST_PAD_LINK_OK;
  }
}

     这里就将两个element链接起来了，post message等操作，就可以发送消息，数据了

(3) 在element内/间，消息/数据是如何路径呢，下面我们分析下数据，事件原理与数据类似。

  以queue2为例子，看看如何从sinkpad收到消息，以及从srcpad发送到对端的sinkpad中。

/* gstreamer-0.10.32/plugins/elements/gstqueue2.c */
static void
gst_queue2_init (GstQueue2 * queue, GstQueue2Class * g_class)
{
  /*创建sinkpad*/
  queue->sinkpad = gst_pad_new_from_static_template (&sinktemplate, "sink");

  /* 设置sinkpad的chain function, 这个函数后面会用到, 也是sinkpad数据的入口*/
  gst_pad_set_chain_function (queue->sinkpad,
      GST_DEBUG_FUNCPTR (gst_queue2_chain));

  queue->srcpad = gst_pad_new_from_static_template (&srctemplate, "src");

  /* 这里是用srcpad开始向外推送数据 */
  gst_pad_set_activatepush_function (queue->srcpad,
      GST_DEBUG_FUNCPTR (gst_queue2_src_activate_push));
}

/*我们从chain function开始看，为什么chain function是入口函数？ 往下看*/
static GstFlowReturn
gst_queue2_chain (GstPad * pad, GstBuffer * buffer)
{
  gst_queue2_locked_enqueue (queue, buffer, TRUE); 
}

static void
gst_queue2_locked_enqueue (GstQueue2 * queue, gpointer item, gboolean isbuffer)
{
  if (isbuffer) {
    if (QUEUE_IS_USING_QUEUE (queue)) {
      queue->cur_level.buffers++;
    }
  } else if (GST_IS_EVENT (item)) {
  }
  
  if (item) {
     if (QUEUE_IS_USING_QUEUE (queue)) {
         /* 这里把buffer放在queue里 */
        g_queue_push_tail (queue->queue, item);
     }
  }
}

/* 接收数据完成了，下面看srcpad向外推送数据 */
static gboolean
gst_queue2_src_activate_push (GstPad * pad, gboolean active)
{
  if (active) {
    result = gst_pad_start_task (pad, (GstTaskFunction) gst_queue2_loop, pad);
  }
}

static void
gst_queue2_loop (GstPad * pad)
{
  ret = gst_queue2_push_one (queue);
}

static GstFlowReturn
gst_queue2_push_one (GstQueue2 * queue)
{
  data = gst_queue2_locked_dequeue (queue, &is_buffer);
  if (is_buffer) {
    /* 发送数据 */
    result = gst_pad_push (queue->srcpad, buffer);
  } else if (GST_IS_EVENT (data)) {
    /* 这里是发送事件，会获取srcpad的peerpad，然后调用eventfunc，原理与发送数据类似 */
    gst_pad_push_event (queue->srcpad, event);
  }
}

/* gstreamer/gst/gstpad.c */
GstFlowReturn
gst_pad_push (GstPad * pad, GstBuffer * buffer)
{
  /* 这个看起来很复杂，... 初一见，都觉得头疼，这么多层。
   * 实际上并不复杂，他的作用就是，此前如果该gstpad,有过push操作，并建立好了路径，那么直接使用，
   * 否则跳到slow_path执行。
   */
  cache_ptr = (gpointer *) & pad->abidata.ABI.priv->cache_ptr;
  
  cache = pad_take_cache (pad, cache_ptr);

  if (G_UNLIKELY (cache == NULL))
    goto slow_path;

  peer = cache->peer;
  
  ret = GST_PAD_CHAINFUNC (peer) (peer, buffer);
  return ret;

slow_path:
  GstPadPushCache scache = { NULL, };
  /* 实际上这里面一样是调用了srcpad的peer端的chain_func [注：与我们开始从chain_func分析吻合] */
  ret = gst_pad_push_data (pad, TRUE, buffer, &scache); 
  
  if (scache.peer) {
    /* 这里就将cache_ptr 赋值到pad->abidata.ABI.priv->cache_ptr 这么长的里面了 */
    pad_put_cache (pad, ncache, cache_ptr);
  }
}

/* 贯彻到底，我们将srcpad最后的调用对端的chainfunc挖出来 */
static GstFlowReturn
gst_pad_push_data (GstPad * pad, gboolean is_buffer, void *data,
                   GstPadPushCache * cache)
{
  if (G_UNLIKELY ((peer = GST_PAD_PEER (pad)) == NULL))
    goto not_linked;

  ret = gst_pad_chain_data_unchecked (peer, is_buffer, data, cache); 
}

static inline GstFlowReturn
gst_pad_chain_data_unchecked (GstPad * pad, gboolean is_buffer, void *data,
    GstPadPushCache * cache)
{
  if (G_LIKELY (is_buffer)) {
    if (G_UNLIKELY ((chainfunc = GST_PAD_CHAINFUNC (pad)) == NULL))
      goto no_function;

    /* 这里调用了srcpad的peer端的 chainfunc 开始执行。 queue2的chainfunc一样的开始道理 */
    ret = chainfunc (pad, GST_BUFFER_CAST (data));
  }
}