GStreamer笔记 -- 3.Dynamic pipelines

1. 目标

这个教程将展示GStreamer的基本应用，就是怎么动态的建立一个pipeline，而不是在应用的开始就搭建好pipeline。
在这个教程之后，你将获得开始 Playback tutorials教程的必要知识，这里我们将学习以下几点：

• 怎样在链接元素的时候实现更细致的控制
• 怎样即使获取感兴趣的事件，以便即使做出相应的动作
• 元素的各种状态

2. 介绍

正如你所见的，这个pipeline并不是在设置为playing状态之前完整的搭建完毕。如果我们不采取下一步动作，数据将到达管道尾部，并且管道将要产生错误信息，管道停止。因此在数据到达的时候我们将要做一些事情
在这个教程里面，我们将打开一个复用文件（muxed），这是一个容器文件，他包含了视频和音频，负责打开这个容器文件的元素叫做 demuxers。
如果一个容器嵌入了多个流（一个视频流，音频流）这个demuxers将为他们创建不同的输出端口。因此，不同的分支将被创建在pipeline，用于处理不同类型的数据
链接两个elements的叫做pads（GstPad）。这里存在sink pads，数据通过sink pads进入elements（消费上一个元素的数据），source pads，数据通过source pads出elements（生成下一个元素的数据）。元素都包含这两个pads，但是有连个elements比较特殊，source element 只有src pads，sink element 只有sink pads

我们上面讲到的demuxer element，他有要给sink（负责解封装视频容器文件），两个src pads（audio stream and video stream）

一个简单的播放器的pipeline如下图所示

对于解封装比较复杂，demuxers不能产生任何信息，直到他获得足够的数据，才有机会得到容器文件的信息，因此刚开始的时候demuxers并没有source pads被其他的element来链接。如果没有足够的信息，pipeline将要被终止
解决方法是，建立一个从source element 到demuxer的管道，并设置他们为run，当demuxer接收到足够的信息后，知道这个容器里面有几个流和流的类型，因此，demuxer将创建src pads。这是我们创建完整管道和增加demuxer的pads的好时机

3. 代码

#include <gst/gst.h>

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *resample;
  GstElement *sink;
} CustomData;

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

int main(int argc, char *argv[]) {
  CustomData data;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;
  gboolean terminate = FALSE;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  data.source = gst_element_factory_make ("uridecodebin", "source");
  data.convert = gst_element_factory_make ("audioconvert", "convert");
  data.resample = gst_element_factory_make ("audioresample", "resample");
  data.sink = gst_element_factory_make ("autoaudiosink", "sink");

  /* Create the empty pipeline */
  data.pipeline = gst_pipeline_new ("test-pipeline");

  if (!data.pipeline || !data.source || !data.convert || !data.resample || !data.sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Build the pipeline. Note that we are NOT linking the source at this
   * point. We will do it later. */
  gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert, data.resample, data.sink, NULL);
  if (!gst_element_link_many (data.convert, data.resample, data.sink, NULL)) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Set the URI to play */
  g_object_set (data.source, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);

  /* Connect to the pad-added signal */
  g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Listen to the bus */
  /* GST_CLOCK_TIME_NONE 阻塞等待消息 */
  bus = gst_element_get_bus (data.pipeline);
  do {
    msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
        GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

    /* Parse message */
    if (msg != NULL) {
      GError *err;
      gchar *debug_info;

      switch (GST_MESSAGE_TYPE (msg)) {
        case GST_MESSAGE_ERROR:
          gst_message_parse_error (msg, &err, &debug_info);
          g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
          g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none");
          g_clear_error (&err);
          g_free (debug_info);
          terminate = TRUE;
          break;
        case GST_MESSAGE_EOS:
          g_print ("End-Of-Stream reached.\n");
          terminate = TRUE;
          break;
        case GST_MESSAGE_STATE_CHANGED:
          /* We are only interested in state-changed messages from the pipeline */
          if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
            g_print ("Pipeline state changed from %s to %s:\n",
                gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
          }
          break;
        default:
          /* We should not reach here */
          g_printerr ("Unexpected message received.\n");
          break;
      }
      gst_message_unref (msg);
    }
  } while (!terminate);

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  gst_object_unref (data.pipeline);
  return 0;
}

/* This function will be called by the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
  GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
  GstPadLinkReturn ret;
  GstCaps *new_pad_caps = NULL;
  GstStructure *new_pad_struct = NULL;
  const gchar *new_pad_type = NULL;

  g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src));

  /* If our converter is already linked, we have nothing to do here */
  if (gst_pad_is_linked (sink_pad)) {
    g_print ("We are already linked. Ignoring.\n");
    goto exit;
  }

  /* Check the new pad's type */
  new_pad_caps = gst_pad_get_current_caps (new_pad);
  new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
  new_pad_type = gst_structure_get_name (new_pad_struct);
  if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
    g_print ("It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
    goto exit;
  }

  /* Attempt the link */
  ret = gst_pad_link (new_pad, sink_pad);
  if (GST_PAD_LINK_FAILED (ret)) {
    g_print ("Type is '%s' but link failed.\n", new_pad_type);
  } else {
    g_print ("Link succeeded (type '%s').\n", new_pad_type);
  }

exit:
  /* Unreference the new pad's caps, if we got them */
  if (new_pad_caps != NULL)
    gst_caps_unref (new_pad_caps);

  /* Unreference the sink pad */
  gst_object_unref (sink_pad);
}

4. 代码解读

首先我们创建必须的管道的elements 并建起封装成一个结构体

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *sink;
} CustomData;

然后对事件函数进行声明，当source element产生一个 pad-added 信号的时候就调用这个函数

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

接下来，创建必要的元素

/* Create the elements */
data.source = gst_element_factory_make ("uridecodebin", "source");
data.convert = gst_element_factory_make ("audioconvert", "convert");
data.resample = gst_element_factory_make ("audioresample", "resample");
data.sink = gst_element_factory_make ("autoaudiosink", "sink");

uridecodebin 元素将在其内部创建素有必须的元素（sources, demuxers and decoders）
用来解析url输入源，因为里面有demuxer元素，因此我们不能在app的开始就创建完整的pipeline，因此我们需要在数据产生后，动态的生成audio sink

如下我们将后面的几个元素链接起来我们使用convert来对音频数据转换，resample进行重采样，sink消费数据

if (!gst_element_link_many (data.convert, data.resample, data.sink, NULL)) {
  g_printerr ("Elements could not be linked.\n");
  gst_object_unref (data.pipeline);
  return -1;
}

设置播放源

/* Set the URI to play */
g_object_set (data.source, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);

4.1. 信号

/* Connect to the pad-added signal */
g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

GSignals 是一个关键的知识点，他让你能够在你感兴趣的事件发生后能够及时的通知你，并作出相应的反应。每一种信号都有其独一无二的名称
在这里，我们要关注pad-added信号，因此我们使用g_signal_connect()来注册信号函数，并提供pad_added_handler回调函数
接下来，我们将管道设置为PLAYING状态，并监听我们感兴趣的消息（比如ERROR, EOS）

4.2. 回调函数

我们提供如下函数来执行发生pad-added信号后的执行函数

static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data)

• src：这是触发信号的元素，在这里，是uridecodebin
• new_pad ：就是src element 产生的pads，这个就是我们要链接的pads
• data ：这是一个指针，当触发信号后，我们通过这个指针将我们的数据提供给pad_added_handler

然后我们获得要链接的sink pads，我们用这个函数来获得new_pad要链接的pads

GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");

/* Check the new pad's type */
new_pad_caps = gst_pad_get_current_caps (new_pad, NULL);
new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
new_pad_type = gst_structure_get_name (new_pad_struct);
if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
  g_print ("It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
  goto exit;
}

• gst_pad_get_current_caps：获得pads的能力 capabilities ，也就是这个pads是做什么的
• gst_caps_get_structure：获得pads所有能力中的一个能力
• gst_structure_get_name ：获得capabilities的名称，用来比较是不是我们所要的

4.3. GStream 的管道的状态

项目	Value
NULL	elements的初始状态，或者NULL状态
READY	元素准备好了进入PAUSED状态
PAUSED	元素处于暂停状态，准备好了接受数据，Sink元素只接手一个缓冲区数据，并阻塞
PLAYING	元素处于播放状态，时钟在运行，数据在流动