03-动态pipeline

最新推荐文章于 2024-01-22 21:20:34 发布
最新推荐文章于 2024-01-22 21:20:34 发布
阅读量151 收藏
点赞数
文章标签： 操作系统 数据结构与算法
原文链接：http://www.cnblogs.com/xiaojianliu/articles/9418987.html
版权

介绍

在一个容器中可能包含多个流（比如：一路视频，两路音频），demuxer会把他们分离开来，然后从不同的输出口送出来。这样在pipeline里面的不同的分支可以处理不同的数据。
GStreamer 的elements之间相互沟通的的端口称为pad (GstPad)，Pad分为sink pad：数据从这里进入一个elemen，source pad：数据从这里流出element。很自然的，source element仅包含source pad，sink element仅包含sink pad，而过滤器中两种pad都包含。如下图所示：
    
一个demuxer包含一个sink pad，数据从这里流入，同时demuxer包含多个source pad，如下图所示：
下图给出一个完整的示意，图中有一个demuxer和两个分支，一个处理音频一个处理视频：
处理demuxer的复杂性主要是因为在没有收到数据之前，它们不会产生任何信息，直到数据到达，demuxer会进入容器中查看里边的内容。也就是说，demuxer开始时是没有source pad给其他element连接用的，pipeline需要在此终止。
解决方法是只管建立pipeline，让source和demuxer连接起来，然后开始运行。当demuxer接收到数据之后它就有了足够的信息生成source pad。这时我们就可以继续把其他部分和demuxer新生成的pad连接起来，生成一个完整的pipeline。
简单起见，在这个例子中，我们仅仅连接音频的pad而不处理视频的pad。  

代码示例

#include <gst/gst.h>

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *sink;
} CustomData;

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

int main(int argc, char *argv[]) 
{
  CustomData data;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;
  gboolean terminate = FALSE;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  data.source = gst_element_factory_make ("uridecodebin", "source");
  data.convert = gst_element_factory_make ("audioconvert", "convert");
  data.sink = gst_element_factory_make ("autoaudiosink", "sink");

  /* Create the empty pipeline */
  data.pipeline = gst_pipeline_new ("test-pipeline");

  if (!data.pipeline || !data.source || !data.convert || !data.sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Build the pipeline. Note that we are NOT linking the source at this
   * point. We will do it later. */
  gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert , data.sink, NULL);
  if (!gst_element_link (data.convert, data.sink)) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Set the URI to play */
  g_object_set (data.source, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);

  /* Connect to the pad-added signal */
  g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Listen to the bus */
  bus = gst_element_get_bus (data.pipeline);
  do {
    msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
        GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

    /* Parse message */
    if (msg != NULL) {
      GError *err;
      gchar *debug_info;

      switch (GST_MESSAGE_TYPE (msg)) {
        case GST_MESSAGE_ERROR:
          gst_message_parse_error (msg, &err, &debug_info);
          g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
          g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none");
          g_clear_error (&err);
          g_free (debug_info);
          terminate = TRUE;
          break;
        case GST_MESSAGE_EOS:
          g_print ("End-Of-Stream reached.\n");
          terminate = TRUE;
          break;
        case GST_MESSAGE_STATE_CHANGED:
          /* We are only interested in state-changed messages from the pipeline */
          if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
            g_print ("Pipeline state changed from %s to %s:\n",
                gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
          }
          break;
        default:
          /* We should not reach here */
          g_printerr ("Unexpected message received.\n");
          break;
      }
      gst_message_unref (msg);
    }
  } while (!terminate);

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  gst_object_unref (data.pipeline);
  return 0;
}

/* This function will be called by the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
  GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
  GstPadLinkReturn ret;
  GstCaps *new_pad_caps = NULL;
  GstStructure *new_pad_struct = NULL;
  const gchar *new_pad_type = NULL;

  g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src));

  /* If our converter is already linked, we have nothing to do here */
  if (gst_pad_is_linked (sink_pad)) {
    g_print ("We are already linked. Ignoring.\n");
    goto exit;
  }

  /* Check the new pad's type */
  new_pad_caps = gst_pad_get_current_caps (new_pad);
  new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
  new_pad_type = gst_structure_get_name (new_pad_struct);
  if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
    g_print ("It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
    goto exit;
  }

  /* Attempt the link */
  ret = gst_pad_link (new_pad, sink_pad);
  if (GST_PAD_LINK_FAILED (ret)) {
    g_print ("Type is '%s' but link failed.\n", new_pad_type);
  } else {
    g_print ("Link succeeded (type '%s').\n", new_pad_type);
  }

exit:
  /* Unreference the new pad's caps, if we got them */
  if (new_pad_caps != NULL)
    gst_caps_unref (new_pad_caps);

  /* Unreference the sink pad */
  gst_object_unref (sink_pad);
}
编译： 
tutorial-3.c -o basic-tutorial-3 `pkg-config --cflags --libs gstreamer-1.0`

工作流程

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *sink;
} CustomData;
在这里存下了所有需要的局部变量，因为中会有回调函数，所以把所有的数据组织成一个struct，这样比较方便调用。 
/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);
这是一个提前声明，以便之后使用。 
/* Create the elements */
data.source = gst_element_factory_make ("uridecodebin", "source");
data.convert = gst_element_factory_make ("audioconvert", "convert");
data.sink = gst_element_factory_make ("autoaudiosink", "sink");
创建一个个element：
uridecodebin自己会在内部初始化必要的element，然后把一个URI变成一个原始音视频流输出，它差不多做了playbin的一半工作。因为它自己带着demuxer，所以它的source pad没有初始化，等会会用到。
audioconvert在不同的音频格式转换时很有用。这里用这个element是为了确保应用的平台无关性。
autoaudiosink和autovideosink是非常相似的，只是操作时音频流。这个element的输出就是直接送往声卡的音频流。 
if (!gst_element_link (data.convert, data.sink)) {
  g_printerr ("Elements could not be linked.\n");
  gst_object_unref (data.pipeline);
  return -1;
}
这里把converter element和sink element连接起来，注意，我们没有把source连接起来，因为这个时候还没有source pad。我们把converter element和sink element连接起来后暂时就放在那里，等待后面在处理。 
/* Set the URI to play */
g_object_set (data.source, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);
把URI通过设置属性的方法设置好。 
/* Connect to the pad-added signal */
g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);
GSignal是GStreamer的一个重要部分。它会让你在你感兴趣的事情发生时收到通知。信号是通过名字来区分的，每个GObject都有它自己的信号。
在这段代码里面，我们使用g_signal_connect()方法把“pad-added”信号和我们的源（uridecodebin）联系了起来，并且注册了一个回调函数。GStreamer把&data这个指针的内容传给回调函数，这样CustomData这个数据结构中的数据也就传递了过去。
这个信号是由GstElement产生的，可以在相关的文档中找到或者用gst-inspect方法来查到。
我们现在准备开始运行了！把pipeline置成PLAYING状态，然后开始监听ERROR或者EOS。
当我们的source element最后获得足够的数据时，它就会自动生成source pad，并且触发“pad-added”信号。这样我们的回调就会被调用了： 
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data)
src是触发这个信号的GstElement。在这个例子中，就是uridecodebin，也是我们唯一注册的一个信号。
new_pad是加到src上的pad。通常来说，是我们需要连接的pad。
data指针是跟随信号一起过来的参数，在这个例子中，我们传递的时CustomData指针。 
GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
从CustomData我们可以获得转换element对象，然后使用gst_element_get_static_pad()方法可以获得sink pad。这个pad是我们希望和new_pad连接的pad。在前面的教程里，我们是用element和element连接的，让GStreamer自己来选择合适的pad。在这里，我们是手动的把两个pad直接连接起来。 
/* If our converter is already linked, we have nothing to do here */
if (gst_pad_is_linked (sink_pad)) {
  g_print ("We are already linked. Ignoring.\n");
  goto exit;
}
uridecodebin会自动创建许多的pad，对于每一个pad，这个回调函数都会被调用。上面这段代码可以防止连接多次。 
/* Check the new pad's type */
new_pad_caps = gst_pad_get_current_caps (new_pad, NULL);
new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
new_pad_type = gst_structure_get_name (new_pad_struct);
if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
  g_print ("It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
  goto exit;
}
因为我们只处理生成的audio数据，所以我们要检查new pad输出的数据类型。我们前面创建了一部分处理音频的pipeline（convert+sink），没有生成处理视频的部分，所以我们只能处理音频数据。
gst_pad_get_caps()方法会获得pad的capability（也就是pad支持的数据类型），是被封装起来的GstCaps结构。一个pad可以有多个capability，GstCaps可以包含多个GstStructure，每个都描述了一个不同的capability。
在这个例子中，我们知道我们的pad需要的capability是声音，我们使用gst_caps_get_structure()方法来获得GstStructure。
最后，我们用gst_structure_get_name()方法来获得structure的名字，最主要的描述部分。如果名字不是由audio/x-raw开始的，就意味着不是一个解码的音频数据，也就不是我们所需要的，反之，就是我们需要连接的： 
/* Attempt the link */
ret = gst_pad_link (new_pad, sink_pad);
if (GST_PAD_LINK_FAILED (ret)) {
  g_print ("Type is '%s' but link failed.\n", new_pad_type);
} else {
  g_print ("Link succeeded (type '%s').\n", new_pad_type);
}
gst_pad_link()方法会把两个pad连接起来。就像gst_element_link()这个方法一样，连接必须是从source到sink，连接的两个pad必须在同一个bin里面。
到这儿我们的任务就完成了，当一个合适的pad出现后，它会和后面的audio处理部分相连，然后继续运行直到ERROR或者EOS。
我们介绍过不把pipeline置成PLAYING状态，播放是不会开始的。这里我们继续介绍一下其他的几种状态，在GStreamer里面有4种状态：

GST_STATE_NULL

默认状态。该状态将会回收所有被该元件占用的资源。

GST_STATE_READY

准备状态。元件会得到所有所需的全局资源，这些全局资源将被通过该元件的数据流所使用。

GST_STATE_PAUSED

在这种状态下，元件已经对流开始了处理，但此刻暂停了处理。因此该状态下元件可以修改流的位置信息，读取或者处理流数据，以及一旦状态变为 PLAYING，流可以重放数据流。这种情况下，时钟是禁止运行的。

GST_STATE_PLAYING

PLAYING 状态除了当前运行时钟外，其它与 PAUSED 状态一模一样。

你可以通过函数gst_element_set_state()来改变一个元件的状态。你如果显式地改变一个元件的状态，GStreamer可能会使它在内部经过一些中间状态。例如你将一个元件从 NULL 状态设置为 PLAYING 状态，GStreamer在其内部会使得元件经历过 READY 以及 PAUSED 状态。 当处于GST_STATE_PLAYING 状态，管道会自动处理数据。它们不需要任何形式的迭代。

状态迁移只能在相邻的状态里迁移，也就是说，你不能从NULL一下跳到PLAYING。你必须经过READY和PAUSED状态。如果你把pipeline设到PLAYING状态，GStreamer自动会经过中间状态的过渡。 
case GST_MESSAGE_STATE_CHANGED:
  /* We are only interested in state-changed messages from the pipeline */
  if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
    GstState old_state, new_state, pending_state;
    gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
    g_print ("Pipeline state changed from %s to %s:\n",
        gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
  }
  break;
我们增加这段代码来监听总线上状态变化的情况，并且打印出相应的内容。虽然每个element都会把它的消息放到总线上，但我们只监听pipeline本身的。
运行效果：
运行后可以听到音频，并且终端打印：

转载于:https://www.cnblogs.com/xiaojianliu/articles/9418987.html

diyudong4681
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PipeLine_I--图形管线的各个变换矩阵
hujuly的专栏
03-18 892
Ray Casting vs. Rendering PipelineRay CastingFor each pixel    For each object*整个场景必须要在内存中*Depth复杂度:隐藏部分没有计算*原子计算*更具一般性,更灵活Rendering PipelineFor each triangle    For each pixel*一次处理一个基元*只能对顶点进行几何变换*早期阶段涉及分析过程*运算随着pipeline的深度增加而增加*取样在pipeline的后期发生*有最小状态要求Th
GStreamer基础教程03——动态pipeline
热门推荐
sakulafly的专栏
03-10 2万+
本教程介绍pipeline的一种新的创建方式——在运行中创建，而不是在运行前一次性的创建结束。
gstreamer学习（3）——动态创建pipeline
weixin_39592381的博客
12-05 132
此博客是在gstreamer官网学习并总结的学习概要，具体参考gstreamer官网教程：动态pipeline惯例，先上官网示例代码： 运行结果 同时，耳机中会有音频播放（因为这个教程就是只把audio部分播放出来）。信号用来对感兴趣的事件执行某些指定操作，它通过名字区分不同信号，并且每个GObject都有自己的信号。gstreamer有4种states，分别是：需要注意的是，你不能从NULL状态直接流转到PLAYING状态，只能按照NULL --> READY --> PAUSED --> PLAYIN
创建 Pipeline
weixin_34006468的博客
05-21 248
2019独角兽企业重金招聘Python工程师标准>>> ...
欢迎使用流水线指令-矩阵
Jenkins中文社区
01-14 621
我经常发现自己需要在一堆不同的配置上执行相同的操作。到目前为止，意味着我需要在流水线上的同一阶段制作多个副本。当我需要修改时，必须在整个流水线的多个地方做相同的修改。对于一个更大型的流水...
Pipeline-Trigger-2021-03-17T17-10-28.691Z:为工具链创建
03-18
标题“Pipeline-Trigger-2021-03-17T17-10-28.691Z:为工具链创建”表明这是一个关于构建自动化流程的项目，可能是一个持续集成/持续部署（CI/CD）的配置文件或者相关脚本，创建于2021年3月17日的特定时间。...
Pipeline-Trigger-2021-03-17T18-42-51.571Z:为工具链创建
03-18
标题“Pipeline-Trigger-2021-03-17T18-42-51.571Z: 为工具链创建”暗示了这是一个关于自动化工作流程的项目，很可能涉及到持续集成（CI）或持续部署（CD）的场景。在IT行业中，Pipeline通常指的是一个自动化的流程...
Tekton-Second-Github2021-03-24T11-35-00.490Z:为工具链创建
04-22
这种功能对于定制化和动态化工作流至关重要，尤其是在需要根据不同的输入参数执行不同操作的场景下。 在 Tekton 中，核心概念包括 Pipeline、PipelineRun、Task 和 TaskRun。以下是对这些概念的简要解释： 1. **...
Pipeline-Trigger-2021-02-16T22-03-28.798Z：为工具链创建：https：console.bluemix.netdevopstoolchains781146d2-76a5-4d1c-a8f6-82eaaab7192d？env_id = ibm au-syd
02-17
标题中的“Pipeline-Trigger-2021-02-16T22-03-28.798Z”很可能是一个自动化构建或持续集成/持续部署（CI/CD）过程的时间戳命名的输出文件，这通常与工具链如IBM Bluemix DevOps Services相关。"为工具链创建：...
Tekton-Second-Github2021-03-22T11-59-40.711Z:为工具链创建
03-22
5. ** 文件名称列表**："Tekton-Second-Github2021-03-22T11-59-40.711Z-master" 指示这是一个 Git 存储库的克隆，可能包含了 Tekton 管道的 YAML 文件（如 `pipeline.yaml`, `task.yaml` 等），这些文件定义了 ...
Beats：在 Beats 中实现动态 pipeline
Elastic 中国社区官方博客
07-04 1227
在我之前的文章 “Beats: Filebeat和pipleline processors”中，我描述了如何使用 pipeline 和 Beats 一起共同来实现对数据的处理。在那篇文章中，我们可以看到的是我们只能使用一个固定的 pipleline 来处理数据。但是在实际的使用中，我们可能面临需要根据不同的情况使用不同的 pipeline。在今天的练习中我们将来展示如何实现。 安装 如果你还没有安装自己的 Elasticsearch, Kibana 及 Metricbeat 的话，那么请参阅我之前.
gstreamer playbin3的工作机制
dawnminghuang的专栏
01-13 1626
playbin3的调用流程如图： 最上层可以分为三个部分 ，playbin的任务负责创建下面三个bin， 然后进行连接，连接的机制依赖于gsingal。这三个bin分别为urisourcebin 、decodebin3、playsink。其中urisourcebin 的任务 负责从文件或者网络流中读取文件 并识别封装格式。decodebin3 则负责将urisourcebin读取的数据解码成raw video audio text。playsink 则负责将音视频进行同步 并输出到对应的设备...
GStreamer 基础教程三: 动态管道
最新发布
温故而知新
01-22 1186
目标 我们可以在应用程序开始时定义整体管道，也可以在有足够信息时“动态”构建管道。 这篇教程的目标是搞清楚如下问题： 如何在链接元件时获得更精细的控制？ 如何收到感兴趣事件的通知，并及时反应？ 元件可能处于的哪些不同的状态？ 介绍 这篇教程中的管道在设置为 “Playing” 状态之前并未完全构建好。 这没问题。如果我们不采取进一步的行动，数据将到达管道的尽头，管道将会产生一个错误消息并停止。...
Gstreamer教程 --动态pipeline
六碗铁biu_ 的博客
06-05 1377
demuxer在没有看到容器文件之前无法确定需要做的工作，不能生成对应的内容。也就是说，demuxer开始时是没有source pad给其他element连接用的。     解决方法是只管建立pipeline，让source和demuxer连接起来，然后开始运行。当demuxer接收到数据之后它就有了足够的信息生成source pad。这时我们就可以继续把其他部分和demuxer新生成的pad连接...
Gstreamer应用开发手册5：构建一个应用
ZONGXP的博客
04-28 1056
创建一个完整应用 在这一章中将会对先前的章节做个总结。它通过一个小程序来讲述 GStreamer 的各个方面:初始化库，创建元件，将元件打包进管道，播放管道中的数据内容。通过这些步骤，你将能够自己开发一个简易的，支持 Ogg/Vorbis 格式的音频播放器。 第一个 Hello world 程序 我们现在开始创建第一个简易的应用程序：一个基于命令行并支持 Ogg/Vorbis 格式的音频播放...
gstreamer元件链接失败的问题总结，element链接的三种方法
weixin_45375766的博客
10-16 2522
gstreamer链接失败的问题，failed “element” could not be linked
transformer one-stream pipeline
10-13
transformer one-stream pipeline 是指使用单个模型同时完成文本的编码和解码任务，其中编码器和解码器共享相同的transformer模型。这种方法可以减少模型参数数量，提高模型效率。 在这种pipeline中，输入文本首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值