Gstreamer应用开发手册14：替换管道元件

最新推荐文章于 2024-05-27 13:45:49 发布
最新推荐文章于 2024-05-27 13:45:49 发布
阅读量844 收藏 3
点赞数 1
分类专栏： gstreamer
原文链接：https://zongxp.blog.csdn.net/article/details/105843651
版权

https://zongxp.blog.csdn.net/article/details/105843651

 

动态改变管道

在本节中，我们讨论一些用于动态修改管道的技术。我们正在专门讨论在PLAYING状态下且不中断数据流的情况下更改管道。

建立动态管道时，需要考虑一些重要事项：

  • 从管道中删除元件时，请确保未链接的pad上没有数据流，因为这将导致致命的管道错误。断开pad连接之前，请始终阻塞source pad（在推模式下）或sink pad（在拉模式下）。
  • 将元件添加到管道中时，请确保在允许数据流之前，将元件置于正确的状态，通常与父级处于同一状态。新创建元件时，该元件处于 NULL状态，并且在接收数据时将返回错误。
  • 将元件添加到管道时，GStreamer默认情况下会将元件的时钟和基准时间设置为管道的当前值。这意味着该元件将能够构造与管道中其他元件相同的管道运行时间。这意味着接收器将像管道中的其他接收器一样同步缓冲区，并且源将生成运行时间与其他源匹配的缓冲区。
  • 当从上游链取消链接元件时，请始终确保通过向元件接收器发送一个EOS事件并等待EOS元件离开（带有事件探测器）来刷新元件中所有排队的数据。如果不执行刷新，则将丢失由未链接的元件缓冲的数据。这可能会导致简单的帧丢失（一些视频帧，几毫秒的音频等），但是如果您删除多路复用器（在某些情况下为编码器或类似元件），则可能会损坏文件，由于某些相关的元数据（标题，查找/索引表，内部同步标签）可能未正确存储或更新，因此无法正确播放。
  • 实时源将产生与管道的running-time相等的缓冲区running-time。没有活动源的管道会产生running-time从0开始的缓冲区。 同样，在进行刷新查找之后，这些管道会将其重置running-time为0。该running-time可被改变gst_pad_set_offset ()。重要的是要知道running-time管道中的元件，以保持同步。
  • 添加元件可能会更改管道的状态。例如，添加未预卷的接收器会使管道返回到预卷状态。例如，删除未预卷的接收器可能会将管道更改为PAUSED和PLAYING状态。添加实时源会取消预滚动阶段，并使管道处于播放状态。添加任何活动元件也可能会更改管道的延迟。添加或删除管道的元件可能会更改管道的时钟选择。如果新添加的元件提供了时钟，则管道使用新时钟可能会更好。另一方面，如果删除了为流水线提供时钟的元件，则必须选择新的时钟。
  • 添加和删​​除元件可能会导致上游或下游元件重新协商上限和/或分配器。您实际上不需要从应用程序执行任何操作，插件可以在很大程度上适应新的管道拓扑，从而优化其格式和分配策略。重要的是，当您添加，删除或更改管道中的元件时，管道可能需要协商新格式，这可能会失败。通常，您可以通过在需要的地方插入正确的转换器元件来解决此问题。另请参见更改管道中的元件。

GStreamer提供了对几乎所有动态管道修改的支持，但是您需要了解一些详细信息，然后才能执行此操作而不会引起管道错误

在以下各节中，我们将演示一些典型的修改用例。

更改管道中的元件

在此示例中，我们具有以下元件链：

 

  1. - ----. .----------. .---- -

  2. element1 | | element2 | | element3

  3. src -> sink src -> sink

  4. - ----' '----------' '---- -

我们希望在管道处于PLAYING状态时用element4替换element2。假设element2是可视化，并且您想在管道中切换可视化。

我们不能仅仅将element2的sink pad与element1的src pad断开链接，因为这将使element1的src pad保持未链接状态，并在将数据推入src pad时导致流水错误。应该在将element2替换为element4之前，阻止来自element1的src pad的数据流，然后恢复数据流，如以下步骤所示：

  • 用阻塞垫探针阻塞element1的src pad。当pad被阻塞时，探测回调将被调用。
  • 在block回调内部，element1和element2之间没有任何流通，直到被阻塞为止，没有任何流通。
  • 取消链接element1和element2。
  • 确保数据已从element2中清除。有些元件可能会在内部保留一些数据，因此您需要通过推EOS到element2确保不会丢失任何数据，如下所示：将事件探针放在element2的src pad上。发送EOS到element2的sink pad；这样可以确保元件2中的所有数据都被强制删除；等待EOS事件出现在element2的src pad上。当EOS收到，拖放和删除事件探测器。
  • 取消链接element2和element3。现在，您还可以从管道中删除element2并将状态设置为NULL。
  • 如果尚未添加element4，则将其添加到管道中。链接element4和element3，链接element1和element4。
  • 确保element4与管道中其余元件的状态相同。它至少应处于PAUSED可接收缓冲区和事件的状态。
  • 取消阻止element1的src pad,这将使新数据进入element4并继续流式传输。

当source pad被阻塞时，即管道中有数据流时，上述算法将起作用。如果没有数据流，那么更改元件也没有任何意义，因此该算法也可以在PAUSED状态中使用。

本示例每秒更改一次简单管道上的视频效果：

#include <gst/gst.h>
 
static gchar *opt_effects = NULL;
 
#define DEFAULT_EFFECTS "identity,exclusion,navigationtest," \
    "agingtv,videoflip,vertigotv,gaussianblur,shagadelictv,edgetv"
 
static GstPad *blockpad;
static GstElement *conv_before;
static GstElement *conv_after;
static GstElement *cur_effect;
static GstElement *pipeline;
 
static GQueue effects = G_QUEUE_INIT;
 
static GstPadProbeReturn
event_probe_cb (GstPad * pad, GstPadProbeInfo * info, gpointer user_data)
{
  GMainLoop *loop = user_data;
  GstElement *next;
 
  if (GST_EVENT_TYPE (GST_PAD_PROBE_INFO_DATA (info)) != GST_EVENT_EOS)
    return GST_PAD_PROBE_PASS;
 
  gst_pad_remove_probe (pad, GST_PAD_PROBE_INFO_ID (info));
 
  /* push current effect back into the queue */
  g_queue_push_tail (&effects, gst_object_ref (cur_effect));
  /* take next effect from the queue */
  next = g_queue_pop_head (&effects);
  if (next == NULL) {
    GST_DEBUG_OBJECT (pad, "no more effects");
    g_main_loop_quit (loop);
    return GST_PAD_PROBE_DROP;
  }
 
  g_print ("Switching from '%s' to '%s'..\n", GST_OBJECT_NAME (cur_effect),
      GST_OBJECT_NAME (next));
 
  gst_element_set_state (cur_effect, GST_STATE_NULL);
 
  /* remove unlinks automatically */
  GST_DEBUG_OBJECT (pipeline, "removing %" GST_PTR_FORMAT, cur_effect);
  gst_bin_remove (GST_BIN (pipeline), cur_effect);
 
  GST_DEBUG_OBJECT (pipeline, "adding   %" GST_PTR_FORMAT, next);
  gst_bin_add (GST_BIN (pipeline), next);
 
  GST_DEBUG_OBJECT (pipeline, "linking..");
  gst_element_link_many (conv_before, next, conv_after, NULL);
 
  gst_element_set_state (next, GST_STATE_PLAYING);
 
  cur_effect = next;
  GST_DEBUG_OBJECT (pipeline, "done");
 
  return GST_PAD_PROBE_DROP;
}
 
static GstPadProbeReturn
pad_probe_cb (GstPad * pad, GstPadProbeInfo * info, gpointer user_data)
{
  GstPad *srcpad, *sinkpad;
 
  GST_DEBUG_OBJECT (pad, "pad is blocked now");
 
  /* remove the probe first */
  gst_pad_remove_probe (pad, GST_PAD_PROBE_INFO_ID (info));
 
  /* install new probe for EOS */
  srcpad = gst_element_get_static_pad (cur_effect, "src");
  gst_pad_add_probe (srcpad, GST_PAD_PROBE_TYPE_BLOCK |
      GST_PAD_PROBE_TYPE_EVENT_DOWNSTREAM, event_probe_cb, user_data, NULL);
  gst_object_unref (srcpad);
 
  /* push EOS into the element, the probe will be fired when the
   * EOS leaves the effect and it has thus drained all of its data */
  sinkpad = gst_element_get_static_pad (cur_effect, "sink");
  gst_pad_send_event (sinkpad, gst_event_new_eos ());
  gst_object_unref (sinkpad);
 
  return GST_PAD_PROBE_OK;
}
 
static gboolean
timeout_cb (gpointer user_data)
{
  gst_pad_add_probe (blockpad, GST_PAD_PROBE_TYPE_BLOCK_DOWNSTREAM,
      pad_probe_cb, user_data, NULL);
 
  return TRUE;
}
 
static gboolean
bus_cb (GstBus * bus, GstMessage * msg, gpointer user_data)
{
  GMainLoop *loop = user_data;
 
  switch (GST_MESSAGE_TYPE (msg)) {
    case GST_MESSAGE_ERROR:{
      GError *err = NULL;
      gchar *dbg;
 
      gst_message_parse_error (msg, &err, &dbg);
      gst_object_default_error (msg->src, err, dbg);
      g_clear_error (&err);
      g_free (dbg);
      g_main_loop_quit (loop);
      break;
    }
    default:
      break;
  }
  return TRUE;
}
 
int
main (int argc, char **argv)
{
  GOptionEntry options[] = {
    {"effects", 'e', 0, G_OPTION_ARG_STRING, &opt_effects,
        "Effects to use (comma-separated list of element names)", NULL},
    {NULL}
  };
  GOptionContext *ctx;
  GError *err = NULL;
  GMainLoop *loop;
  GstElement *src, *q1, *q2, *effect, *filter1, *filter2, *sink;
  gchar **effect_names, **e;
 
  ctx = g_option_context_new ("");
  g_option_context_add_main_entries (ctx, options, NULL);
  g_option_context_add_group (ctx, gst_init_get_option_group ());
  if (!g_option_context_parse (ctx, &argc, &argv, &err)) {
    g_print ("Error initializing: %s\n", err->message);
    g_clear_error (&amp;err);
    g_option_context_free (ctx);
    return 1;
  }
  g_option_context_free (ctx);
 
  if (opt_effects != NULL)
    effect_names = g_strsplit (opt_effects, ",", -1);
  else
    effect_names = g_strsplit (DEFAULT_EFFECTS, ",", -1);
 
  for (e = effect_names; e != NULL && *e != NULL; ++e) {
    GstElement *el;
 
    el = gst_element_factory_make (*e, NULL);
    if (el) {
      g_print ("Adding effect '%s'\n", *e);
      g_queue_push_tail (&effects, el);
    }
  }
 
  pipeline = gst_pipeline_new ("pipeline");
 
  src = gst_element_factory_make ("videotestsrc", NULL);
  g_object_set (src, "is-live", TRUE, NULL);
 
  filter1 = gst_element_factory_make ("capsfilter", NULL);
  gst_util_set_object_arg (G_OBJECT (filter1), "caps",
      "video/x-raw, width=320, height=240, "
      "format={ I420, YV12, YUY2, UYVY, AYUV, Y41B, Y42B, "
      "YVYU, Y444, v210, v216, NV12, NV21, UYVP, A420, YUV9, YVU9, IYU1 }");
 
  q1 = gst_element_factory_make ("queue", NULL);
 
  blockpad = gst_element_get_static_pad (q1, "src");
 
  conv_before = gst_element_factory_make ("videoconvert", NULL);
 
  effect = g_queue_pop_head (&effects);
  cur_effect = effect;
 
  conv_after = gst_element_factory_make ("videoconvert", NULL);
 
  q2 = gst_element_factory_make ("queue", NULL);
 
  filter2 = gst_element_factory_make ("capsfilter", NULL);
  gst_util_set_object_arg (G_OBJECT (filter2), "caps",
      "video/x-raw, width=320, height=240, "
      "format={ RGBx, BGRx, xRGB, xBGR, RGBA, BGRA, ARGB, ABGR, RGB, BGR }");
 
  sink = gst_element_factory_make ("ximagesink", NULL);
 
  gst_bin_add_many (GST_BIN (pipeline), src, filter1, q1, conv_before, effect,
      conv_after, q2, sink, NULL);
 
  gst_element_link_many (src, filter1, q1, conv_before, effect, conv_after,
      q2, sink, NULL);
 
  gst_element_set_state (pipeline, GST_STATE_PLAYING);
 
  loop = g_main_loop_new (NULL, FALSE);
 
  gst_bus_add_watch (GST_ELEMENT_BUS (pipeline), bus_cb, loop);
 
  g_timeout_add_seconds (1, timeout_cb, loop);
 
  g_main_loop_run (loop);
 
  gst_element_set_state (pipeline, GST_STATE_NULL);
  gst_object_unref (pipeline);
 
  return 0;
}

 

注意我们如何在videoconvert效果之前和之后添加元件。这是必需的，因为某些元件可能在不同的色彩空间中运行；通过插入转换元件，我们可以帮助确保可以协商适当的格式

 

eydwyz
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Gstreamer应用开发手册-Alan.pdf
09-10
《Gstreamer应用开发手册》是一本专注于Gstreamer框架应用开发的专业指南，由Alan编著。手册共计88页，包含14个章节，内容丰富，适合开发者深入理解和实践。Gstreamer是一个强大的多媒体处理框架，广泛应用于音频、...
GStreamer中文开发手册
03-24
GStreamer中文开发手册 GStreamer 是一个基于管道的多媒体框架，使用 C 语言编写，基于 GObject 的类型系统。GStreamer 允许您创建各种媒体处理组件，包括简单的音频播放、音频和视频播放、录制、流媒体和编辑。...
Glib学习（22） 主事件循环 The Main Event Loop
andylauren的专栏
06-06 7090
glib源码下载：http://ftp.gnome.org/pub/gnome/sources/glib/ glib帮助文档：https://developer.gnome.org/glib/ 主事件循环 - 管理所有可用的事件源 Includes #include <glib.h> 描述 主事件循环管理GLib和GTK +应用程序的所有可用事件源。 这些事件可以来自任意数量的不同...
二十、操纵管道
Creationyang的博客
02-02 528
本章将讨论如何在应用程序中使用多种方式操作管道。本章的部分内容都是很底层的，所以在开始阅读之前，请确保你需要一些编程知识，并对GStreamer有很好的理解。这里将讨论的主题包括如何从应用程序向管道中插入数据，如何从管道中读取数据，如何操作管道的速度、长度、起点，以及如何监听管道的数据处理过程。
gstreamer 应用（三）——Bin与Bus
最新发布
weixin_44151181的博客
05-27 193
Gstreamer ——Bins 箱柜是一种容器，可以往里面添加组件。可以向操作普通组件一样操作箱柜。 箱柜允许将一组有链接的组件组合成一个大的逻辑组件，不需对单个组件进行操作，而仅仅操作箱柜。 管道：是一种允许对所包含的组件进行安排（scheduling）的普通容器。顶层箱柜必须为一个管道。英雌每个应用程序都至少需要一个管道。当应用程序启动后，管道自动运行在后台线程中。 创建箱柜 创建箱柜：gs...
gstreamer学习笔记(1): 调试相关
xuanwolanxue的专栏
03-15 7351
注：本篇笔记以gstreamer 1.8.1 版本为蓝本，若有出入的地方，请确认版本信息1. log调试信息的函数在 gstreamer 1.8.1版本中定义了如下的log输出宏:1.1 最基本的log输出宏 GST_CAT_LEVEL_LOG(cat,level,object,...)其中 cat：表示category，用于区分log信息的类别，在后面说到debug level等信息的设置的时候会
一、Gstreamer动态操作元素
Creationyang的博客
02-04 1735
播放视频sink一直存在，每隔5秒保存一次录像。
g_timeout_add 不是多线程
yjfkpyu的专栏
01-06 3519
 g_timeout_add 方便我们定时执行某段代码，看似是并发处理，经测试还是单线程执行的，只是在g_main_loop中适当的时间点执行了我们指定的函数，测试代码：#include gboolean fun1(gpointer pdata){    while(1)    {        sleep(1);        printf("fun1/n");    }    return F
GStreamer应用程序开发手册.pdf
12-24
GStreamer应用程序开发手册.pdf
GStreamer应用程序开发手册（中文）
09-22
1.1. GStreamer是什么? 1.2. 谁需要读这个手册? 1.3. 预备知识 1.4. 本手册结构 2. 动机与目标 2.1. 当前问题 2.1.1. 大量的代码复制 2.1.2. “一个目标”媒体播放器/媒体库 2.1.3. 没有统一的插件管理机制 2.1.4. ...
GStreamer中文开发手册.zip
07-22
GStreamer是一个通用的跨平台的流媒体应用程序框架，基于GObject，以C语言写成。... GStreamer框架是基于插件(plugin)和管道(pipeline)的体系结构，框架中所有功能模块都是可插拔的组件，可随意安装到任意管道上
gstreamer中如何使用fakesink获取帧数据（预览+截图）
此心安处是吾乡的博客
11-13 4464
系列文章目录 Gstreamer中获取帧数据的方式 gstreamer中如何使用probe（探针）获取帧数据 gstreamer拉流rtsp使用appsink获取帧数据（预览+截图） 文章目录系列文章目录前言fakesink介绍管道结构fakesink定义fakesink回调函数总结附 linux qt 工程链接 前言 前面已经介绍了两种在gstreamer实际使用中获取帧数据的例子probe和appsink。本文主要讲用fakesink的方式获取帧数据 fakesink介绍 简单来说fakesi
GStreamer基础教程05——集成GUI工具
sakulafly的专栏
03-14 9519
本教程展示了如何在GStreamer集成一个GUI（比如：GTK+）。最基本的原则是GStreamer处理多媒体的播放而GUI处理和用户的交互。
【转】ARM下面移植开发BlueZ
lxmky的专栏
04-19 4173
下面是直接从网上转过来的：前一段的时间，都在移植BlueZ的库文件和工具基到ARM的开发板，现在的整个一套设备已经基本完成。内核是开发板自己带的 2.6.13，从2.4.6后的版本里就已经在内核里带有了BlueZ支持，我要做的就是，进入Networking子项，build-in 上Bluetooth subsystem support。下面的L2CAP protocol support和SCO links support选中， Bluetooth device drivers里的是关于你使用USB蓝牙还是串
C++ gstreamer函数使用总结
jacke121的专栏
01-17 3436
C++ gstreamer函数使用总结
gstreamer中如何使用probe（探针）获取帧数据
jacke121的专栏
07-08 3011
gstreamer中如何使用probe（探针）获取帧数据
在gstreamer1在使用rtspclientsink暂停pipeline的问题
Aisy_D的专栏
04-20 476
研究一番后, 决定用 gst_pad_add_probe 配合 GST_PAD_PROBE_TYPE_BLOCK_DOWNSTREAM 去阻塞pipeline数据流的方式了暂停.当我需要暂停整个pipeline, 使用gst_element_set_state (pipeline, GST_STATE_PAUSE), 有概率整个pipeline崩掉,上面代码, 我只需要控制isPausePipeline变量就可以轻松从暂停状态回到预览状态. 完美避免了上述几个问题.我的pipeline流程如下图。
人工智能视觉处理教程(包含源码)
专注于人工智能领域的小何尚
05-22 1603
利用NVIDIADeepstream搭建AI视觉处理系统 交通监控系统、医疗保健和零售业都从智能视频分析 (IVA) 中受益匪浅。 DeepStream 是一个 IVA SDK。 DeepStream 使您能够在运行时附加和分离视频流，而不会影响整个部署。 这篇文章讨论了使用 DeepStream 进行流添加和删除工作的细节。我还提供了一个关于如何跨多个隔离数据中心集中管理大型部署的想法，通过来自多个摄像头的数据流为多个用例提供服务。 NVIDIA DeepStream SDK 是用于多传感器处理的流式分
gstreamer 学习笔记(2): GstElement状态
xuanwolanxue的专栏
03-16 6317
注：这里同样是以gstreamer 1.8.1为蓝本一、状态定义在gstreamer中GstElement的状态定义如下：typedef enum { GST_STATE_VOID_PENDING = 0, GST_STATE_NULL = 1, GST_STATE_READY = 2, GST_STATE_P

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值