gstreamer学习（2）——手动创建一个pipeline并运行

已于 2023-12-04 15:56:40 修改
阅读量320 收藏
点赞数
文章标签： 学习
于 2023-12-01 18:13:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39592381/article/details/134738020
版权

目录

此博客是在gstreamer官网学习并总结的学习概要，具体参考gstreamer官网教程：基础教程 2：GStreamer 概念

实例

依然先运行官网给的实例，代码在下面（也可以在gstreamer代码中找到）：

示例代码

#include <gst/gst.h>

#ifdef __APPLE__
#include <TargetConditionals.h>
#endif

int
tutorial_main (int argc, char *argv[])
{
  GstElement *pipeline, *source, *sink;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  source = gst_element_factory_make ("videotestsrc", "source");
  sink = gst_element_factory_make ("autovideosink", "sink");

  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");

  if (!pipeline || !source || !sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Build the pipeline */
  gst_bin_add_many (GST_BIN (pipeline), source, sink, NULL);
  if (gst_element_link (source, sink) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Modify the source's properties */
  g_object_set (source, "pattern", 0, NULL);

  /* Start playing */
  ret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg =
      gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
      GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

  /* Parse message */
  if (msg != NULL) {
    GError *err;
    gchar *debug_info;

    switch (GST_MESSAGE_TYPE (msg)) {
      case GST_MESSAGE_ERROR:
        gst_message_parse_error (msg, &err, &debug_info);
        g_printerr ("Error received from element %s: %s\n",
            GST_OBJECT_NAME (msg->src), err->message);
        g_printerr ("Debugging information: %s\n",
            debug_info ? debug_info : "none");
        g_clear_error (&err);
        g_free (debug_info);
        break;
      case GST_MESSAGE_EOS:
        g_print ("End-Of-Stream reached.\n");
        break;
      default:
        /* We should not reach here because we only asked for ERRORs and EOS */
        g_printerr ("Unexpected message received.\n");
        break;
    }
    gst_message_unref (msg);
  }

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);
  gst_object_unref (pipeline);
  return 0;
}

int
main (int argc, char *argv[])
{
#if defined(__APPLE__) && TARGET_OS_MAC && !TARGET_OS_IPHONE
  return gst_macos_main (tutorial_main, argc, argv, NULL);
#else
  return tutorial_main (argc, argv);
#endif
}

运行结果

在这里插入图片描述

概念

元素（elements）

元素（elements）是gstreamer里面的基础模块，一个最简单的pipeline如下：
在这里插入图片描述
source元素解析视频数据，通过filter元素，发送给sink模块播放

元素类型可参考链接： 简易元素

GstBin

bin是一个可以包含其他元素的元素（它的类型就是GstElement），
如何派生出来的：

GObject
    ╰──GInitiallyUnowned
        ╰──GstObject
            ╰──GstElement
                ╰──GstBin
                    ╰──GstPipeline

从上面可以看出来，pipeline是bin的一种，同时它们也都是特殊的element。它们本质上都是由GObject派生出来的。

BUS

它是由元素生成的，用来向应用程序传递message的对象，它传递的message会依次发送给应用程序。应用程序需要一直关注bus，来获取对应的消息，可以通过函数gst_bus_timed_pop_filtered()来获取，也可以使用信号来获取。

代码解析

元素创建

  /* Create the elements */
  source = gst_element_factory_make ("videotestsrc", "source");
  sink = gst_element_factory_make ("autovideosink", "sink");

通过调用函数gst_element_factory_make()可以创建一个元素，第一个入参是元素类型，第二个参数是元素名，如果元素名是NULL，系统会自动指定一个唯一的名字。

创建pipeline

  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");

调用函数gst_pipeline_new()创建一个新的pipeline

  /* Build the pipeline */
  gst_bin_add_many (GST_BIN (pipeline), source, sink, NULL);
  if (gst_element_link (source, sink) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

pipeline是一种特殊的bin，所以适用于bin的接口也适用于pipeline。
函数gst_bin_add_many()用来给bin加入多个元素，如果只加入一个元素，则可以调用函数gst_bin_add()。
函数 gst_element_link()用来关联两个元素，需要注意的是：要用来关联的两个元素必须在同一个bin里面，所以要先调用gst_bin_add()再关联两个元素。

配置元素

  /* Modify the source's properties */
  g_object_set (source, "pattern", 0, NULL);

配置source元素的属性，属性名为pattern，属性值为0。
原生代码配置的属性结果已经放在上面的图里，修改这个属性值为1，则可以得到另一种结果：

在这里插入图片描述
如图所示，修改属性值之后，显示的图案变成了纯雪花。
元素公开的所有属性的名称和可能值可以使用 Basic tutorial 10: GStreamer tools 中描述的 gst-inspect-1.0 工具找到。

错误检查

 /* Start playing */
  ret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (pipeline);
    return -1;
  }

这条语句开启播放并检查返回值，如果pipeline返回失败则退出。

  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg =
      gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
      GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

  /* Parse message */
  if (msg != NULL) {
    GError *err;
    gchar *debug_info;

    switch (GST_MESSAGE_TYPE (msg)) {
      case GST_MESSAGE_ERROR:
        gst_message_parse_error (msg, &err, &debug_info);
        g_printerr ("Error received from element %s: %s\n",
            GST_OBJECT_NAME (msg->src), err->message);
        g_printerr ("Debugging information: %s\n",
            debug_info ? debug_info : "none");
        g_clear_error (&err);
        g_free (debug_info);
        break;
      case GST_MESSAGE_EOS:
        g_print ("End-Of-Stream reached.\n");
        break;
      default:
        /* We should not reach here because we only asked for ERRORs and EOS */
        g_printerr ("Unexpected message received.\n");
        break;
    }
    gst_message_unref (msg);
  }

通过gst_bus_timed_pop_filtered()获取对应的事件，如果是ERROR，可以调用gst_message_parse_error()函数获取具体错误。

课后练习

添加VertigoTV模块，这个模块具有旋转和缩放功能，此处，还加入了videoconvert模块，防止出现错误。
在这里插入图片描述
添加上述两个模块之后，显示的视频有了动态模糊效果。通过修改VertigoTV模块的speed参数，还可以修改动态模糊的速度。代码如下：

#include <gst/gst.h>

#ifdef __APPLE__
#include <TargetConditionals.h>
#endif

int
tutorial_main (int argc, char *argv[])
{
  GstElement *pipeline, *source, *sink, *vto, *vct;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  source = gst_element_factory_make ("videotestsrc", "source");
  sink = gst_element_factory_make ("autovideosink", "sink");

  /* my elements */
  vto = gst_element_factory_make ("vertigotv", "myvto");
  vct = gst_element_factory_make ("videoconvert", "myvct");

  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");

  if (!pipeline || !source || !sink || !vto || !vct) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Build the pipeline */
  //gst_bin_add_many (GST_BIN (pipeline), source, sink, NULL);
  gst_bin_add(GST_BIN (pipeline), source);
  gst_bin_add(GST_BIN (pipeline), sink);
  gst_bin_add(GST_BIN (pipeline), vto);
  gst_bin_add(GST_BIN (pipeline), vct);
  if (gst_element_link (source, vto) != TRUE) {
    g_printerr ("Elements[source, vto] could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  if (gst_element_link (vto, vct) != TRUE) {
    g_printerr ("Elements[vto, vct] could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  if (gst_element_link (vct, sink) != TRUE) {
    g_printerr ("Elements[vct, sink] could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Modify the source's properties */
  g_object_set (source, "pattern", 0, NULL);

  /* test: modify vto's speed */
  g_object_set (vto, "speed", 0.1, NULL);

  /* Start playing */
  ret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg =
      gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
      GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

  /* Parse message */
  if (msg != NULL) {
    GError *err;
    gchar *debug_info;

    switch (GST_MESSAGE_TYPE (msg)) {
      case GST_MESSAGE_ERROR:
        gst_message_parse_error (msg, &err, &debug_info);
        g_printerr ("Error received from element %s: %s\n",
            GST_OBJECT_NAME (msg->src), err->message);
        g_printerr ("Debugging information: %s\n",
            debug_info ? debug_info : "none");
        g_clear_error (&err);
        g_free (debug_info);
        break;
      case GST_MESSAGE_EOS:
        g_print ("End-Of-Stream reached.\n");
        break;
      default:
        /* We should not reach here because we only asked for ERRORs and EOS */
        g_printerr ("Unexpected message received.\n");
        break;
    }
    gst_message_unref (msg);
  }

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);
  gst_object_unref (pipeline);
  return 0;
}

int
main (int argc, char *argv[])
{
#if defined(__APPLE__) && TARGET_OS_MAC && !TARGET_OS_IPHONE
  return gst_macos_main (tutorial_main, argc, argv, NULL);
#else
  return tutorial_main (argc, argv);
#endif
}
东楠爱学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Gstreamer GstPipeline管道
天涯角落的专栏
07-18 3344
GstPipeline管道 翻译自part-gstpipeline.txtGstPipeline------------------------------    GstPipeline是一个顶级的bin，给所有的子元素提供时钟。    GstPipeline也提供一个顶级的Gs
Gstreamer 处理usb摄像头(V4l2)数据(视频流)
08-23
Gstreamer是一个强大的开源多媒体框架，它允许开发者处理各种类型的媒体数据，包括音频、视频以及元数据。在Linux系统上，特别是在嵌入式设备如arm架构的设备中，Gstreamer广泛用于处理USB摄像头（V4L2）的视频流。...
GStreamer基础教程03——动态pipeline
热门推荐
sakulafly的专栏
03-10 2万+
本教程介绍pipeline的一种新的创建方式——在运行中创建，而不是在运行前一次性的创建结束。
gstreamer pipeline生成可视化图
最新发布
Dzp1994的博客
06-21 1041
摘要：Gstreamer在日常debug时，经常会遇到抓取大量log，干扰信息提取与分析，无法明确的了解pipeline内部如何link以及caps negotiation情况，极大的降低了debug效率。 介绍Gstreamer支持pipeline图形化输出的方法，便于直观的了解到复杂pipeline中element的连接关系，高效debug
【GStreamer开发】GStreamer播放教程03——pipeline的快捷访问
ZhangPY的专栏
02-17 961
目的       《GStreamer08——pipeline的快捷访问》展示了一个应用如何用appsrc和appsink这两个特殊的element在pipeline中手动输入/提取数据。playbin2也允许使用这两个element，但连接它们的方法有所不同。连接appsink到playbin2的方法在后面还会提到。这里我们主要讲述：       如何把appsrc连接到playbin2
Gstreamer教程 --动态pipeline
六碗铁biu_ 的博客
06-05 1375
demuxer在没有看到容器文件之前无法确定需要做的工作，不能生成对应的内容。也就是说，demuxer开始时是没有source pad给其他element连接用的。     解决方法是只管建立pipeline，让source和demuxer连接起来，然后开始运行。当demuxer接收到数据之后它就有了足够的信息生成source pad。这时我们就可以继续把其他部分和demuxer新生成的pad连接...
Gstreamer手动搭建pipeline
qq_15906821的博客
03-15 886
Gstreamer的基本组成就是elements, 这些elements把数据从source经过filter传到sink1.首先初始化Gstreamergst_init(NULL, NULL);2.创建source 和sinkGstElement *source = gst_element_factory_make("videotestsrc", "source");GstElement *sin...
gst-inference:GStreamer深度学习推理框架
05-16
GstInference是Ridgerun Engineering的一个开源项目，提供了将深度学习推理集成到GStreamer中的框架。 使用包含的元素之一使用最流行的深度学习体系结构进行开箱即用的推断，或者利用基类和实用程序来支持您自己的...
gstreamer源码- 2024-4-2
04-02
GStreamer 是一个强大的开源框架，用于构建多媒体处理和流媒体应用。它允许开发者通过插件系统灵活地组合各种媒体处理元素来实现音频、视频的编码、解码、播放、录制等任务。在2024年4月2日的版本1.22中，GStreamer ...
gstreamer之playbin2 aac 音频播放流程
08-30
Playbin2本身是一个管道（pipeline）的实现，但不同于一般的管道，它是由应用程序创建和驱动的。例如，`gst-launch`工具就是一个用于构建和执行GStreamer管道的应用程序。这个工具的源代码位于GStreamer的源代码树中...
FFmpeg_Gstreamer_Wireshark学习资料.zip
11-12
Gstreamer是另一个强大的多媒体框架，基于插件机制，允许用户构建复杂的媒体处理流水线。Gstreamer工作原理分析和GStreamer插件开发指南、GStreamer+开发手册将帮助你理解Gstreamer的管道概念，以及如何开发自定义...
GStreamer——教程——基础教程3：Dynamic pipelines
FREEDOM_X的专栏
06-17 988
正如您将要看到的，本教程中的管道在设置为播放状态之前尚未完全构建。这没关系。如果我们不采取进一步行动，数据将到达管道末端，管道将生成错误消息并停止。但我们将采取进一步行动.....在这个例子中我们将打开一个多路复用的文件，音频和视频被存储在同一个容器文件中。负责打开此类容器的element称为解复用器，容器格式的一些示例有Matroska（MKV）、Quick Time（QT、MOV）、Ogg或Advanced Systems Format（ASF、WMV、WMA）。
GStreamer学习笔记（四）——基础教程3：动态pipeline
bestworker的博客
01-13 1679
正如你即将看到的，本教程中的pipeline在设置为播放状态之前并没有完全构建。这没问题。如果我们不采取进一步的行动，数据将到达pipeline的末端，pipeline将产生错误消息并停止。但我们将采取进一步行动……在这个例子中，我们正在打开一个多路复用(或muxed)的文件，也就是说，音频和视频一起存储在容器文件中。
GStreamer应用03——动态pipeline
XBlog
07-17 197
在运行中创建pipeline，而不是在运行前一次性的创建完成。 basic-tutorial-3.c #include <gst/gst.h> /* Structure to contain all our information, so we can pass it to callbacks */ typedef struct _CustomData { GstElemen...
GStreamer基础教程13 - 调试Pipeline
jacke121的专栏
12-28 1493
GStreamer基础教程13 - 调试Pipeline
gstreamer中pipeline的工作机制
xulei_106的专栏
06-07 3039
我最初理解的gstreamer，就是创建一个pipeline，让后将一个个的element加入到pipeline中，就可以完成多媒体的处理功能。gstreamer内部对我是不可见的。经过一段时间的摸索之后，我开始慢慢了解gstreamer的内部机制来。目前，以我对gstreamer的了解，对pipeline的工作机制补充如下： pipeline中数据有两个方向的流向，一个是downstrea
gstreamer-pipeline用法汇总
技术笔记
08-10 583
h264parse的src pad的sink caps是video/x-h264，经过处理，输出的caps是经过parse的，stream-format可以是avc,avc3, byte-stream。sink pad的caps是video/x-h264，可接收的收据stream-format只能是byte-stream，alignment只能是au。所以h264parse和v4l2h264dec放在一起，实际上不指定caps filter是可以的，可以完成自动协商。然后用gst-launch播放。
【Gstreamer】如何生成pipeline构件图
EthanYYYY的博客
08-01 3843
1 命令行 中产生2 应用程序中产生 本文参考：How to generate a Gstreamer pipeline diagram (graph) 1 命令行 中产生 步骤1：安装 dot sudo apt-get install graphviz “graphviz”包中提供了“dot”命令。 步骤2：在目标中，运行： export GST_DEBUG_DUMP_DOT_DIR=/t...
GStreamer基础教程08——pipeline的快捷访问
sakulafly的专栏
03-17 1万+
GStreamer建立的pipeline不需要完全关闭。有多种方法可以让数据在任何时候送到pipeline中或者从pipeline中取出。
gstreamer 学习
09-03
GStreamer是一个流媒体处理的框架，用于在嵌入式系统和桌面环境中处理音频和视频数据。学习GStreamer可以帮助我们理解音视频流的处理、数据编码和解码、多媒体的播放和编辑等方面的知识。 要学习GStreamer，我们可以从以下几个方面入手： 1. 学习框架和架构：了解GStreamer的基本术语、组件和概念，例如Pipeline（管道）、Element（元素）、Pad（端口）等等。熟悉框架的架构可以帮助我们理解数据流的处理和转换。 2. 安装和配置：不同平台和操作系统的安装和配置方法可能略有不同。我们需要根据自己的需求选择合适的版本，然后按照相关文档进行安装和配置。 3. 编写和运行代码：GStreamer提供了C语言、Python等多种编程语言的接口和库。我们可以根据自己的熟悉程度选择合适的编程语言，并学习如何使用GStreamer的API来编写音视频处理的代码。可以通过构建和运行一些简单的示例程序来加深理解。 4. 测试和调试：GStreamer提供了一些工具和命令行选项来进行测试和调试。我们可以使用这些工具来验证和评估我们的代码的性能和正确性，以及识别和解决可能出现的问题。 5. 学习案例和文档：在学习的过程中，我们可以参考一些实际的案例和文档来了解GStreamer的使用方法和最佳实践。可以通过在线文档、论坛、博客等渠道找到一些有价值的资源。 总结来说，学习GStreamer需要一定的编程基础和对音视频处理的兴趣。通过深入学习和实践，我们可以逐步掌握GStreamer的核心概念和应用技巧，为开发和调试音视频处理的应用程序提供有力的支持。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值