Gstreamer应用开发手册14：替换管道元件

最新推荐文章于 2024-05-27 13:45:49 发布

eydwyz

最新推荐文章于 2024-05-27 13:45:49 发布

阅读量845

点赞数 1

分类专栏： gstreamer

原文链接：https://zongxp.blog.csdn.net/article/details/105843651

版权

gstreamer 专栏收录该内容

8 篇文章 6 订阅

订阅专栏

https://zongxp.blog.csdn.net/article/details/105843651

动态改变管道

在本节中，我们讨论一些用于动态修改管道的技术。我们正在专门讨论在PLAYING状态下且不中断数据流的情况下更改管道。

建立动态管道时，需要考虑一些重要事项：

从管道中删除元件时，请确保未链接的pad上没有数据流，因为这将导致致命的管道错误。断开pad连接之前，请始终阻塞source pad（在推模式下）或sink pad（在拉模式下）。
将元件添加到管道中时，请确保在允许数据流之前，将元件置于正确的状态，通常与父级处于同一状态。新创建元件时，该元件处于 NULL状态，并且在接收数据时将返回错误。
将元件添加到管道时，GStreamer默认情况下会将元件的时钟和基准时间设置为管道的当前值。这意味着该元件将能够构造与管道中其他元件相同的管道运行时间。这意味着接收器将像管道中的其他接收器一样同步缓冲区，并且源将生成运行时间与其他源匹配的缓冲区。
当从上游链取消链接元件时，请始终确保通过向元件接收器发送一个EOS事件并等待EOS元件离开（带有事件探测器）来刷新元件中所有排队的数据。如果不执行刷新，则将丢失由未链接的元件缓冲的数据。这可能会导致简单的帧丢失（一些视频帧，几毫秒的音频等），但是如果您删除多路复用器（在某些情况下为编码器或类似元件），则可能会损坏文件，由于某些相关的元数据（标题，查找/索引表，内部同步标签）可能未正确存储或更新，因此无法正确播放。
实时源将产生与管道的running-time相等的缓冲区running-time。没有活动源的管道会产生running-time从0开始的缓冲区。同样，在进行刷新查找之后，这些管道会将其重置running-time为0。该running-time可被改变gst_pad_set_offset ()。重要的是要知道running-time管道中的元件，以保持同步。
添加元件可能会更改管道的状态。例如，添加未预卷的接收器会使管道返回到预卷状态。例如，删除未预卷的接收器可能会将管道更改为PAUSED和PLAYING状态。添加实时源会取消预滚动阶段，并使管道处于播放状态。添加任何活动元件也可能会更改管道的延迟。添加或删除管道的元件可能会更改管道的时钟选择。如果新添加的元件提供了时钟，则管道使用新时钟可能会更好。另一方面，如果删除了为流水线提供时钟的元件，则必须选择新的时钟。
添加和删除元件可能会导致上游或下游元件重新协商上限和/或分配器。您实际上不需要从应用程序执行任何操作，插件可以在很大程度上适应新的管道拓扑，从而优化其格式和分配策略。重要的是，当您添加，删除或更改管道中的元件时，管道可能需要协商新格式，这可能会失败。通常，您可以通过在需要的地方插入正确的转换器元件来解决此问题。另请参见更改管道中的元件。

GStreamer提供了对几乎所有动态管道修改的支持，但是您需要了解一些详细信息，然后才能执行此操作而不会引起管道错误

在以下各节中，我们将演示一些典型的修改用例。

更改管道中的元件

在此示例中，我们具有以下元件链：

- ----. .----------. .---- -
element1 | | element2 | | element3
src -> sink src -> sink
- ----' '----------' '---- -

我们希望在管道处于PLAYING状态时用element4替换element2。假设element2是可视化，并且您想在管道中切换可视化。

我们不能仅仅将element2的sink pad与element1的src pad断开链接，因为这将使element1的src pad保持未链接状态，并在将数据推入src pad时导致流水错误。应该在将element2替换为element4之前，阻止来自element1的src pad的数据流，然后恢复数据流，如以下步骤所示：

用阻塞垫探针阻塞element1的src pad。当pad被阻塞时，探测回调将被调用。
在block回调内部，element1和element2之间没有任何流通，直到被阻塞为止，没有任何流通。
取消链接element1和element2。
确保数据已从element2中清除。有些元件可能会在内部保留一些数据，因此您需要通过推EOS到element2确保不会丢失任何数据，如下所示：将事件探针放在element2的src pad上。发送EOS到element2的sink pad；这样可以确保元件2中的所有数据都被强制删除；等待EOS事件出现在element2的src pad上。当EOS收到，拖放和删除事件探测器。
取消链接element2和element3。现在，您还可以从管道中删除element2并将状态设置为NULL。
如果尚未添加element4，则将其添加到管道中。链接element4和element3，链接element1和element4。
确保element4与管道中其余元件的状态相同。它至少应处于PAUSED可接收缓冲区和事件的状态。
取消阻止element1的src pad,这将使新数据进入element4并继续流式传输。

当source pad被阻塞时，即管道中有数据流时，上述算法将起作用。如果没有数据流，那么更改元件也没有任何意义，因此该算法也可以在PAUSED状态中使用。

本示例每秒更改一次简单管道上的视频效果：

#include <gst/gst.h>

static gchar *opt_effects = NULL;

#define DEFAULT_EFFECTS "identity,exclusion,navigationtest," \
"agingtv,videoflip,vertigotv,gaussianblur,shagadelictv,edgetv"

static GstPad *blockpad;
static GstElement *conv_before;
static GstElement *conv_after;
static GstElement *cur_effect;
static GstElement *pipeline;

static GQueue effects = G_QUEUE_INIT;

static GstPadProbeReturn
event_probe_cb (GstPad * pad, GstPadProbeInfo * info, gpointer user_data)
{
GMainLoop *loop = user_data;
GstElement *next;

if (GST_EVENT_TYPE (GST_PAD_PROBE_INFO_DATA (info)) != GST_EVENT_EOS)
return GST_PAD_PROBE_PASS;

gst_pad_remove_probe (pad, GST_PAD_PROBE_INFO_ID (info));

/* push current effect back into the queue */
g_queue_push_tail (&effects, gst_object_ref (cur_effect));
/* take next effect from the queue */
next = g_queue_pop_head (&effects);
if (next == NULL) {
GST_DEBUG_OBJECT (pad, "no more effects");
g_main_loop_quit (loop);
return GST_PAD_PROBE_DROP;
}

g_print ("Switching from '%s' to '%s'..\n", GST_OBJECT_NAME (cur_effect),
GST_OBJECT_NAME (next));

gst_element_set_state (cur_effect, GST_STATE_NULL);

/* remove unlinks automatically */
GST_DEBUG_OBJECT (pipeline, "removing %" GST_PTR_FORMAT, cur_effect);
gst_bin_remove (GST_BIN (pipeline), cur_effect);

GST_DEBUG_OBJECT (pipeline, "adding %" GST_PTR_FORMAT, next);
gst_bin_add (GST_BIN (pipeline), next);

GST_DEBUG_OBJECT (pipeline, "linking..");
gst_element_link_many (conv_before, next, conv_after, NULL);

gst_element_set_state (next, GST_STATE_PLAYING);

cur_effect = next;
GST_DEBUG_OBJECT (pipeline, "done");

return GST_PAD_PROBE_DROP;
}

static GstPadProbeReturn
pad_probe_cb (GstPad * pad, GstPadProbeInfo * info, gpointer user_data)
{
GstPad *srcpad, *sinkpad;

GST_DEBUG_OBJECT (pad, "pad is blocked now");

/* remove the probe first */
gst_pad_remove_probe (pad, GST_PAD_PROBE_INFO_ID (info));

/* install new probe for EOS */
srcpad = gst_element_get_static_pad (cur_effect, "src");
gst_pad_add_probe (srcpad, GST_PAD_PROBE_TYPE_BLOCK |
GST_PAD_PROBE_TYPE_EVENT_DOWNSTREAM, event_probe_cb, user_data, NULL);
gst_object_unref (srcpad);

/* push EOS into the element, the probe will be fired when the
* EOS leaves the effect and it has thus drained all of its data */
sinkpad = gst_element_get_static_pad (cur_effect, "sink");
gst_pad_send_event (sinkpad, gst_event_new_eos ());
gst_object_unref (sinkpad);

return GST_PAD_PROBE_OK;
}

static gboolean
timeout_cb (gpointer user_data)
{
gst_pad_add_probe (blockpad, GST_PAD_PROBE_TYPE_BLOCK_DOWNSTREAM,
pad_probe_cb, user_data, NULL);

return TRUE;
}

static gboolean
bus_cb (GstBus * bus, GstMessage * msg, gpointer user_data)
{
GMainLoop *loop = user_data;

switch (GST_MESSAGE_TYPE (msg)) {
case GST_MESSAGE_ERROR:{
GError *err = NULL;
gchar *dbg;

gst_message_parse_error (msg, &err, &dbg);
gst_object_default_error (msg->src, err, dbg);
g_clear_error (&err);
g_free (dbg);
g_main_loop_quit (loop);
break;
}
default:
break;
}
return TRUE;
}

int
main (int argc, char **argv)
{
GOptionEntry options[] = {
{"effects", 'e', 0, G_OPTION_ARG_STRING, &opt_effects,
"Effects to use (comma-separated list of element names)", NULL},
{NULL}
};
GOptionContext *ctx;
GError *err = NULL;
GMainLoop *loop;
GstElement *src, *q1, *q2, *effect, *filter1, *filter2, *sink;
gchar **effect_names, **e;

ctx = g_option_context_new ("");
g_option_context_add_main_entries (ctx, options, NULL);
g_option_context_add_group (ctx, gst_init_get_option_group ());
if (!g_option_context_parse (ctx, &argc, &argv, &err)) {
g_print ("Error initializing: %s\n", err->message);
g_clear_error (&err);
g_option_context_free (ctx);
return 1;
}
g_option_context_free (ctx);

if (opt_effects != NULL)
effect_names = g_strsplit (opt_effects, ",", -1);
else
effect_names = g_strsplit (DEFAULT_EFFECTS, ",", -1);

for (e = effect_names; e != NULL && *e != NULL; ++e) {
GstElement *el;

el = gst_element_factory_make (*e, NULL);
if (el) {
g_print ("Adding effect '%s'\n", *e);
g_queue_push_tail (&effects, el);
}
}

pipeline = gst_pipeline_new ("pipeline");

src = gst_element_factory_make ("videotestsrc", NULL);
g_object_set (src, "is-live", TRUE, NULL);

filter1 = gst_element_factory_make ("capsfilter", NULL);
gst_util_set_object_arg (G_OBJECT (filter1), "caps",
"video/x-raw, width=320, height=240, "
"format={ I420, YV12, YUY2, UYVY, AYUV, Y41B, Y42B, "
"YVYU, Y444, v210, v216, NV12, NV21, UYVP, A420, YUV9, YVU9, IYU1 }");

q1 = gst_element_factory_make ("queue", NULL);

blockpad = gst_element_get_static_pad (q1, "src");

conv_before = gst_element_factory_make ("videoconvert", NULL);

effect = g_queue_pop_head (&effects);
cur_effect = effect;

conv_after = gst_element_factory_make ("videoconvert", NULL);

q2 = gst_element_factory_make ("queue", NULL);

filter2 = gst_element_factory_make ("capsfilter", NULL);
gst_util_set_object_arg (G_OBJECT (filter2), "caps",
"video/x-raw, width=320, height=240, "
"format={ RGBx, BGRx, xRGB, xBGR, RGBA, BGRA, ARGB, ABGR, RGB, BGR }");

sink = gst_element_factory_make ("ximagesink", NULL);

gst_bin_add_many (GST_BIN (pipeline), src, filter1, q1, conv_before, effect,
conv_after, q2, sink, NULL);

gst_element_link_many (src, filter1, q1, conv_before, effect, conv_after,
q2, sink, NULL);

gst_element_set_state (pipeline, GST_STATE_PLAYING);

loop = g_main_loop_new (NULL, FALSE);

gst_bus_add_watch (GST_ELEMENT_BUS (pipeline), bus_cb, loop);

g_timeout_add_seconds (1, timeout_cb, loop);

g_main_loop_run (loop);

gst_element_set_state (pipeline, GST_STATE_NULL);
gst_object_unref (pipeline);

return 0;
}

注意我们如何在videoconvert效果之前和之后添加元件。这是必需的，因为某些元件可能在不同的色彩空间中运行；通过插入转换元件，我们可以帮助确保可以协商适当的格式

eydwyz

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Gstreamer应用开发手册14：替换管道元件

https://zongxp.blog.csdn.net/article/details/105843651动态改变管道在本节中，我们讨论一些用于动态修改管道的技术。我们正在专门讨论在PLAYING状态下且不中断数据流的情况下更改管道。建立动态管道时，需要考虑一些重要事项：从管道中删除元件时，请确保未链接的pad上没有数据流，因为这将导致致命的管道错误。断开pad连接之前，请始终阻塞source pad（在推模式下）或sink pad（在拉模式下）。将元件添加到管道中时，请确保在允.
复制链接

扫一扫