GStreamer学习笔记（四）——基础教程3：动态pipeline

最新推荐文章于 2024-06-17 10:31:05 发布

最佳打工人

最新推荐文章于 2024-06-17 10:31:05 发布

阅读量1.6k

点赞数 28

分类专栏： GStreamer学习笔记文章标签：笔记音视频

本文链接：https://blog.csdn.net/bestworker/article/details/135567378

版权

GStreamer学习笔记专栏收录该内容

8 篇文章 1 订阅

订阅专栏

原文：Basic tutorial 3: Dynamic pipelines (gstreamer.freedesktop.org)

目标

本教程展示了使用GStreamer所需的其他基本概念，它允许在信息可用时“动态”构建pipeline，而不是在应用程序开始时定义整个pipeline。

看了本教程之后，您将具备开始playback教程所需的知识。包括以下几点:

如何在链接element时获得更好的控制
如何获得感兴趣事件的通知，以便能够及时做出反应
element可能处于的各种状态

介绍

正如你即将看到的，本教程中的pipeline在设置为播放状态之前并没有完全构建。这没问题。如果我们不采取进一步的行动，数据将到达pipeline的末端，pipeline将产生错误消息并停止。但我们将采取进一步行动……

在这个例子中，我们正在打开一个多路复用(或muxed)的文件，也就是说，音频和视频一起存储在容器文件中。负责打开这样的容器的元素被称为demuxers，容器格式的一些例子是Matroska (MKV)、Quick Time (QT、MOV)、Ogg或Advanced Systems Format (ASF、WMV、WMA)。

如果一个容器嵌入多个流(例如，一个视频和两个音轨)，demuxer将把它们分开，并通过不同的输出端口公开它们。通过这种方式，可以在pipeline中创建不同的分支，处理不同类型的数据。

GStreamer element相互通信的端口称为pad (GstPad)。存在接收垫(sink pad)和源垫(source pad)，数据通过它们进入element，数据通过它们退出元素。很自然地，源元素只包含源垫，接收元素只包含接收垫，而过滤器元素两者都包含。

一个demuxer包含一个sink pad，混合后的数据通过它到达，还有多个source pad，每个source pad对应一个在容器中找到的流:

为了完整，这里有一个简化的pipeline，其中包含一个demuxer和两个分支，一个用于音频，一个用于视频。这不是将在本例中构建的管道:

处理demuxer时的主要复杂性在于，在它们接收到一些数据并有机会查看容器以查看容器内的内容之前，它们无法产生任何信息。也就是说，demuxer开始时没有其他element可以链接的source pad，因此pipeline必须在它们处终止。

解决方案是构建从源到demuxer的pipeline，并将其设置为运行(播放)。当demuxer接收到足够的信息以了解容器中的流的数量和类型时，它将开始创建source pad。这是才是我们完成pipeline建设并将其连接到新添加的demuxer pad上的最佳时机。

为简单起见，在本例中，我们将只链接到音频pad，而忽略视频。

动态Hello World

#include <gst/gst.h>

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData
{
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *resample;
  GstElement *sink;
} CustomData;

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement * src, GstPad * pad,
    CustomData * data);

int
main (int argc, char *argv[])
{
  CustomData data;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;
  gboolean terminate = FALSE;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  data.source = gst_element_factory_make ("uridecodebin", "source");
  data.convert = gst_element_factory_make ("audioconvert", "convert");
  data.resample = gst_element_factory_make ("audioresample", "resample");
  data.sink = gst_element_factory_make ("autoaudiosink", "sink");

  /* Create the empty pipeline */
  data.pipeline = gst_pipeline_new ("test-pipeline");

  if (!data.pipeline || !data.source || !data.convert || !data.resample
      || !data.sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Build the pipeline. Note that we are NOT linking the source at this
   * point. We will do it later. */
  gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert,
      data.resample, data.sink, NULL);
  if (!gst_element_link_many (data.convert, data.resample, data.sink, NULL)) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Set the URI to play */
  g_object_set (data.source, "uri",
      "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm",
      NULL);

  /* Connect to the pad-added signal */
  g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler),
      &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Listen to the bus */
  bus = gst_element_get_bus (data.pipeline);
  do {
    msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
        GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

    /* Parse message */
    if (msg != NULL) {
      GError *err;
      gchar *debug_info;

      switch (GST_MESSAGE_TYPE (msg)) {
        case GST_MESSAGE_ERROR:
          gst_message_parse_error (msg, &err, &debug_info);
          g_printerr ("Error received from element %s: %s\n",
              GST_OBJECT_NAME (msg->src), err->message);
          g_printerr ("Debugging information: %s\n",
              debug_info ? debug_info : "none");
          g_clear_error (&err);
          g_free (debug_info);
          terminate = TRUE;
          break;
        case GST_MESSAGE_EOS:
          g_print ("End-Of-Stream reached.\n");
          terminate = TRUE;
          break;
        case GST_MESSAGE_STATE_CHANGED:
          /* We are only interested in state-changed messages from the pipeline */
          if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (msg, &old_state, &new_state,
                &pending_state);
            g_print ("Pipeline state changed from %s to %s:\n",
                gst_element_state_get_name (old_state),
                gst_element_state_get_name (new_state));
          }
          break;
        default:
          /* We should not reach here */
          g_printerr ("Unexpected message received.\n");
          break;
      }
      gst_message_unref (msg);
    }
  } while (!terminate);

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  gst_object_unref (data.pipeline);
  return 0;
}

/* This function will be called by the pad-added signal */
static void
pad_added_handler (GstElement * src, GstPad * new_pad, CustomData * data)
{
  GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
  GstPadLinkReturn ret;
  GstCaps *new_pad_caps = NULL;
  GstStructure *new_pad_struct = NULL;
  const gchar *new_pad_type = NULL;

  g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad),
      GST_ELEMENT_NAME (src));

  /* If our converter is already linked, we have nothing to do here */
  if (gst_pad_is_linked (sink_pad)) {
    g_print ("We are already linked. Ignoring.\n");
    goto exit;
  }

  /* Check the new pad's type */
  new_pad_caps = gst_pad_get_current_caps (new_pad);
  new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
  new_pad_type = gst_structure_get_name (new_pad_struct);
  if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
    g_print ("It has type '%s' which is not raw audio. Ignoring.\n",
        new_pad_type);
    goto exit;
  }

  /* Attempt the link */
  ret = gst_pad_link (new_pad, sink_pad);
  if (GST_PAD_LINK_FAILED (ret)) {
    g_print ("Type is '%s' but link failed.\n", new_pad_type);
  } else {
    g_print ("Link succeeded (type '%s').\n", new_pad_type);
  }

exit:
  /* Unreference the new pad's caps, if we got them */
  if (new_pad_caps != NULL)
    gst_caps_unref (new_pad_caps);

  /* Unreference the sink pad */
  gst_object_unref (sink_pad);
}

代码走读

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData
{
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *resample;
  GstElement *sink;
} CustomData;

到目前为止，我们已经将所有需要的信息(基本上是指向GstElements的指针)保存为局部变量。由于本教程(以及大多数实际应用程序)涉及回调，因此我们将把所有数据分组在一个结构中，以便于处理。

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement * src, GstPad * pad,
    CustomData * data);

这是一个前向声明，将在以后使用。

  /* Create the elements */
  data.source = gst_element_factory_make ("uridecodebin", "source");
  data.convert = gst_element_factory_make ("audioconvert", "convert");
  data.resample = gst_element_factory_make ("audioresample", "resample");
  data.sink = gst_element_factory_make ("autoaudiosink", "sink");

我们像往常一样创建element。uridecodebin将在内部实例化所有必要的element(source、demuxer和解码器)，以将URI转换为原始音频和/或视频流。它的作用只有playbin的一半。由于它包含demuxers，它的source pad最初不可用，我们需要在动态链接它们。

audioconvert对于在不同的音频格式之间进行转换非常有用，请确保此示例可以在任何平台上工作，因为音频解码器生成的格式可能与音频接收器期望的格式不同。

audioresample对于在不同音频采样率之间进行转换非常有用，同样要确保这个示例在任何平台上都能工作，因为音频解码器产生的音频采样率可能不是音频接收器支持的。

autoaudiosink相当于上一教程中看到的autovideosink，用于音频。它将把音频流渲染到声卡。

  /* Build the pipeline. Note that we are NOT linking the source at this
   * point. We will do it later. */
  gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert,
      data.resample, data.sink, NULL);
  if (!gst_element_link_many (data.convert, data.resample, data.sink, NULL)) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

这里我们链接元element converter，resample和sink，但我们不链接它们与source，因为在这时它不包含source pad。我们只是让这个分支(convert+sink)不链接，直到稍后。

  /* Set the URI to play */
  g_object_set (data.source, "uri",
      "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm",
      NULL);

我们通过一个property设置文件的URI来播放，就像我们在上一个教程中所做的那样。

信号

 /* Connect to the pad-added signal */
 g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler),
     &data);

GSignals是GStreamer中的关键节点。它们允许您在发生感兴趣的事情时得到通知(通过回调的方式)。信号由名称标识，每个GObject都有自己的信号。

在这一行中，我们连接到source(一个uridecodebin元素)的“pad-added”信号。为此，我们使用g_signal_connect()并提供要使用的回调函数(pad_added_handler)和一个数据指针。GStreamer对这个数据指针什么也不做，它只是把它转发给回调，这样我们就可以和它共享信息。在本例中，我们传递了一个指针，指向我们为此专门构建的CustomData结构。

GstElement生成的信号可以在它的文档中找到，也可以使用基础教程10中描述的gst-inspect-1.0工具找到。

我们现在准备好了!只需将pipeline设置为PLAYING状态，并开始侦听总线上感兴趣的消息(如ERROR或EOS)，就像前面的教程中一样。

回调

当我们的source元素最终有足够的信息开始产生数据时，它将创建source pad，并触发“pad-added”信号。此时回调函数将被调用:

/* This function will be called by the pad-added signal */
static void
pad_added_handler (GstElement * src, GstPad * new_pad, CustomData * data)
{

src是触发信号的GstElement。在本例中，它只能是uridecodebin，因为它是我们所附加的唯一信号。信号处理程序的第一个参数总是触发它的对象。

new_pad是刚刚添加到src元素中的GstPad。这通常是我们想要链接的pad。

data是我们在附加信号时提供的指针。在本例中，我们使用它来传递CustomData指针。

GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");

我们从CustomData提取convert元素，然后使用gst_element_get_static_pad()检索它的sink。这是我们想要链接new_pad的pad。在上一篇教程中，我们将元素与元素进行链接，并让GStreamer选择适当的pad。现在我们要直接连接两个pad。

  /* If our converter is already linked, we have nothing to do here */
  if (gst_pad_is_linked (sink_pad)) {
    g_print ("We are already linked. Ignoring.\n");
    goto exit;
  }

uridecodebin可以创建它认为合适的尽可能多的pad，对于每个pad，都会调用这个回调。这几行代码将防止我们尝试链接到一个已经链接过的的pad。

  /* Check the new pad's type */
  new_pad_caps = gst_pad_get_current_caps (new_pad);
  new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
  new_pad_type = gst_structure_get_name (new_pad_struct);
  if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
    g_print ("It has type '%s' which is not raw audio. Ignoring.\n",
        new_pad_type);
    goto exit;
  }

现在我们将检查这个新pad将要输出的数据类型，因为我们只对pad产生音频感兴趣。我们之前已经创建了一个处理音频的pipe(一个audioconvert与audisample和autoaudiosink链接)，我们将无法将其链接到一个产生视频的pad。

gst_pad_get_current_caps()检索pad的当前功能(即，它当前输出的数据类型)，包装在GstCaps结构中。可以使用gst_pad_query_caps()查询pad可以支持的所有可能的功能。一个pad可以提供许多功能，因此gstcap可以包含许多GstStructure，每个GstStructure代表一个不同的功能。当前pad上的caps总是具有单个GstStructure并表示单个媒体格式，或者如果没有caps将返回NULL。

因此在本例中，我们知道我们想要的pad只有一个功能(音频)，所以我们使用gst_caps_get_structure()检索第一个GstStructure。

最后，使用gst_structure_get_name()，我们得到结构的名称，其中包含格式的主要描述(实际上是其媒体类型)。

如果名称不是audio/x-raw，表示这不是一个解码的音频pad，我们对它不感兴趣。

否则，尝试链接:

  /* Attempt the link */
  ret = gst_pad_link (new_pad, sink_pad);
  if (GST_PAD_LINK_FAILED (ret)) {
    g_print ("Type is '%s' but link failed.\n", new_pad_type);
  } else {
    g_print ("Link succeeded (type '%s').\n", new_pad_type);
  }

gst_pad_link()尝试链接两个pad。与gst_element_link()的情况一样，必须从source到sink指定链接，并且两个pad必须由驻留在同一bin(或pipeline)中的元素拥有。

我们做完了!当出现正确类型的pad时，它将被链接到音频处理pipeline的其余部分，并继续执行，直到ERROR或EOS。然而，我们将通过介绍状态的概念从本教程中引出更多的内容。

GStreamer状态

我们已经讨论过一些状态，当我们说播放不会开始，直到你把pipeline设置成PLAYING状态。我们将在这里介绍其余的状态及其含义。GStreamer有4种状态:

State	描述
NULL	NULL状态或者元素的初始状态
READY	element已经准备好进入PAUSED
PAUSED	element被暂停，它已经准备好接受和处理数据。然而，sink元素只接受一个缓冲区，然后阻塞。
PLAYING	元素正在播放，时钟正在运行，数据正在流动。

你只能在相邻的状态之间移动，也就是说，你不能从NULL到PLAYING，你必须经过中间的READY和PAUSED状态。但是，如果将pipeline设置为PLAYING, GStreamer将为您进行中间转换。

case GST_MESSAGE_STATE_CHANGED:
  /* We are only interested in state-changed messages from the pipeline */
  if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
    GstState old_state, new_state, pending_state;
    gst_message_parse_state_changed (msg, &old_state, &new_state,
        &pending_state);
    g_print ("Pipeline state changed from %s to %s:\n",
        gst_element_state_get_name (old_state),
        gst_element_state_get_name (new_state));
  }
  break;

我们添加了这段代码，用于侦听有关状态更改的总线消息并将其打印到屏幕上，以帮助您理解状态转换。每个元素都将有关其当前状态的消息放到总线上，因此我们将它们过滤掉，只侦听来自管道的消息。

大多数应用程序只需要考虑去PLAYING开始播放，然后去PAUSED执行暂停，然后在程序退出时返回NULL以释放所有资源。

最佳打工人

关注

28
点赞
踩
35

收藏

觉得还不错? 一键收藏
打赏
1
评论
GStreamer学习笔记（四）——基础教程3：动态pipeline

正如你即将看到的，本教程中的pipeline在设置为播放状态之前并没有完全构建。这没问题。如果我们不采取进一步的行动，数据将到达pipeline的末端，pipeline将产生错误消息并停止。但我们将采取进一步行动……在这个例子中，我们正在打开一个多路复用(或muxed)的文件，也就是说，音频和视频一起存储在容器文件中。
复制链接

扫一扫