GStreamer Tutorial 中文翻译:Basic tutorial 10: GStreamer tools

GStreamer Tutorial 10中文翻译



前言

由于工作原因,用的GStreamer的图像解码库,所以记录GStreamer Tutorial 的中文翻译和个人的理解以便学习。若有不足请多指教。侵删。


Basic tutorial 10: GStreamer tools

目的

GStreamer附带了一组工具,范围从方便到绝对必要。本教程中没有代码,只需坐下来放松,我们将教你:

  • 如何从命令行构建和运行GStreamer管道,而完全不使用C !
  • 如何找到可用的GStreamer元素及其功能;
  • 如何发现媒体文件的内部结构。

简介

这些工具可以在GStreamer二进制文件的bin目录中找到。您需要移动到这个目录来执行它们,因为它没有添加到系统的PATH环境变量中(以避免过多地污染它)。
只需打开一个终端(或控制台窗口),并进入GStreamer安装的bin目录(请再次阅读安装GStreamer一节,以了解它在哪里),然后就可以开始输入本教程中给出的命令了。
为了允许GStreamer的多个版本同时存在于同一个系统中,这些工具都进行了版本控制,也就是说,在它们的名称后面附加一个GStreamer版本号。这个版本基于GStreamer 1.0,因此这些工具被称为gst-launch-1.0gst-inspect-1.0gst-discoverer-1.0

gst-launch-1.0

该工具接受pipeline的文本描述,实例化它,并将其设置为PLAYING状态。它允许您在使用GStreamer API调用进行实际实现之前,快速检查给定的pipeline是否工作。
请记住,它只能创建简单的pipeline。特别是,它只能在一定程度上模拟pipeline与应用程序的交互。在任何情况下,快速测试pipeline都非常方便,世界各地的GStreamer开发人员每天都在使用它。
请注意,gst-launch-1.0主要是供开发人员使用的调试工具。您不应该在此基础上构建应用程序。相反,使用GStreamer APIgst_parse_launch()函数作为从pipeline描述构造pipeline的简单方法。
虽然构建管道描述的规则非常简单,但多个元素的连接可以很快使这种描述类似于黑魔法。不用担心,因为每个人最终都会学习gst-launch-1.0语法
gst-launch-1.0的命令行由一个选项列表和一个pipelin - description组成。下面给出了一些简化的说明,请参阅gst-launch-1.0的参考页中的完整文档。

元素

在简单的形式中,PIPELINE-DESCRIPTION是由感叹号(!)分隔的元素类型列表。继续,输入以下命令:

gst-launch-1.0 videotestsrc ! videoconvert ! autovideosink

您应该会看到一个带有动画视频模式的窗口。在终端上使用CTRL+C停止程序。
这将实例化一个videotestsrc类型的新元素(一个生成示例视频模式的元素)、一个videoconvert(一个执行原始视频格式转换的元素,确保其他元素可以相互理解)和一个autovideosink(一个呈现视频的窗口)。然后,GStreamer尝试将每个元素的输出链接到描述中出现在其右侧的元素的输入。如果有多个输入或输出Pad可用,则用Pad Caps来找到两个兼容的Pad

属性

属性可以被附加到元素中,形式为 property=value (可以指定多个属性,用空格分隔)。使用gst-inspect-1.0工具(下面将介绍)找出元素的可用属性。

gst-launch-1.0 videotestsrc pattern=11 ! videoconvert ! autovideosink

你应该看到一个静态的视频模式,由圆圈组成。

命名元素

元素可以使用name属性命名,通过这种方式可以创建包含分支的复杂pipeline。名称允许链接到前面描述中创建的元素,并且对于使用多个output pad的元素是必不可少的,例如demuxerstee
命名元素使用它们的名称后跟一个点来引用。

gst-launch-1.0 videotestsrc ! videoconvert ! tee name=t ! queue ! autovideosink t. ! queue ! autovideosink

您应该看到两个视频窗口,显示相同的示例视频模式。如果您只看到一个,请尝试移动它,因为它可能在第二个窗口的顶部。
这个例子实例化了一个videotestsrc,链接到一个videoconvert,链接到一个tee(请记住基本教程7:多线程和Pad可用性,tee将所有通过input pad的内容复制到每个output pad)。tee被简单地命名为“t”(使用name属性),然后链接到一个queue和一个autovideosink。同样的tee被称为t。(注意.),然后链接到第二个queue和第二个autovideosink
要了解为什么queue是必要的,请阅读Basic tutorial 7: Multithreading and Pad Availability

Pads

在链接两个元素时,您可能希望直接指定Pads,而不是让GStreamer选择使用哪个Pad。您可以通过在元素名称后面添加一个点加上Pad名称(它必须是一个命名元素)来实现这一点。通过使用gst-inspect-1.0工具了解元素的Pads的名称。
这是有用的,例如,当你想从demuxer检索一个特定的流:

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! matroskademux name=d d.video_0 ! matroskamux ! filesink location=sintel_video.mkv

它使用souphttpsrc从互联网获取一个媒体文件,该文件是webm格式的(一种特殊的Matroska容器,请参阅基础教程2:GStreamer概念)。然后我们用matroskademux打开容器。该媒体包含音频和视频,因此matroskademux将创建两个output pads,分别名为video_0audio_0。我们将video_0链接到一个matroskamux元素,将视频流重新打包到一个新的容器中,最后将其链接到一个filesink,该filesink将把视频流写入一个名为“sintel_video”的文件中。Mkv”(location属性指定文件的名称)。
总之,我们获得了一个webm文件,去掉了音频,并生成了一个带有视频的新matroska文件。如果我们只想保留音频:

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! matroskademux name=d d.audio_0 ! vorbisparse ! matroskamux ! filesink location=sintel_audio.mka

vorbisparse元素需要从流中提取一些信息,并将其放入Pad Caps中,因此下一个元素matroskamux知道如何处理流。在视频的情况下,这是没有必要的,因为matroskademux已经提取了这一信息,并将其添加到Caps
意,在上述两个例子中,没有媒体被解码或播放。我们只是从一个容器转移到另一个容器(再次进行解复用和再复用)。
PS:那么如何把一份视频完整的保存下来呢?或者说如何把音频和视频合在一起。

Caps filters

当一个元素有多个output pad时,可能会发生到下一个元素的链接是模糊的:下一个元素可能有多个兼容的input pad,或者它的intput pad可能与所有output padpad Caps兼容。在这些情况下,GStreamer将使用第一个可用的pad进行链接,这基本上相当于说GStreamer将随机选择一个output pad
考虑如下的 pipeline

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! matroskademux ! filesink location=test

这是与前面示例相同的媒体文件和解耦器。filesinkinput pad Caps是ANY,这意味着它可以接受任何类型的媒体。matroskademux的两个输出垫中的哪一个将被链接到filesink上?video_0还是audio_0是无法控制的。
不过,你可以通过使用命名的pads(如前一小节中所述)或使用Caps Filters来消除这种模糊性:

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! matroskademux ! video/x-vp8 ! matroskamux ! filesink location=sintel_video.mkv

Caps Filter的行为类似于一个pass-through元素,它什么也不做,只接受带有给定Caps的媒体,这有效地解决了模糊性问题。在这个例子中,我们在matroskademuxmatroskamux之间添加了一个video/x-vp8 Caps Filter来指定我们对matroskademux的哪个outputpad感兴趣,它可以产生这种视频。
要找出一个元素接受和产生的Caps,请使用·gst-inspect-1.0·工具。要找出特定文件中包含的Caps,请使用gst-discoverer-1.0工具。要找出一个元素为特定pipeline产生的Caps,可以像往常一样运行gst-launch-1.0,使用-v选项打印Caps信息。

示例

使用playbin播放一个媒体文件(如在基本教程1:Hello world!)

gst-launch-1.0 playbin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm

一个完整的操作播放管道,带有音频和视频(或多或少与playbin内部创建的管道相同):

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! matroskademux name=d ! queue ! vp8dec ! videoconvert ! autovideosink d. ! queue ! vorbisdec ! audioconvert ! audioresample ! autoaudiosink

一个转码管道,它打开webm容器并对两个流进行解码(通过uridecodebin),然后用不同的编解码器重新编码音频和视频分支,并将它们重新放到一个Ogg容器中(只是为了这样做)。

gst-launch-1.0 uridecodebin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm name=d ! queue ! theoraenc ! oggmux name=m ! filesink location=sintel.ogg d. ! queue ! audioconvert ! audioresample ! flacenc ! m.

PS: 这边运行的时候报错了,缺少一致的协议,类似这种错误应该是缺了一个videoconvert,但是加在哪里不确定。命令中theoraenc代表什么也不确定。
重新调节管道。当帧大小在输入和输出caps中不同时,视频尺度元素执行缩放操作。输出caps由caps Filter设置为320x200。

gst-launch-1.0 uridecodebin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! queue ! videoscale ! video/x-raw-yuv,width=320,height=200 ! videoconvert ! autovideosink

这个运行也报错,应该是格式设置的不对,并不是video/x-raw-yuv的。将其改为video/x-raw就可以运行了。
本文对gst-launch-1.0的简短描述应该足以让您入门了。请记住,这里提供了完整的文档

gst-inspect-1.0

该工具有三种操作模式:

  • 如果没有参数,它会列出所有可用的元素类型,也就是说,可以用来实例化新元素的类型;
  • 使用文件名作为参数时,它将该文件视为GStreamer插件,尝试打开它,并列出其中描述的所有元素;
  • 使用GStreamer元素名作为参数,它列出了有关该元素的所有信息。
    下面展示第三种模式的示例:
gst-inspect-1.0 vp8dec

Factory Details:
  Rank                     primary (256)
  Long-name                On2 VP8 Decoder
  Klass                    Codec/Decoder/Video
  Description              Decode VP8 video streams
  Author                   David Schleef <ds@entropywave.com>, Sebastian Dröge <sebastian.droege@collabora.co.uk>

Plugin Details:
  Name                     vpx
  Description              VP8 plugin
  Filename                 /usr/lib64/gstreamer-1.0/libgstvpx.so
  Version                  1.6.4
  License                  LGPL
  Source module            gst-plugins-good
  Source release date      2016-04-14
  Binary package           Fedora GStreamer-plugins-good package
  Origin URL               http://download.fedoraproject.org

GObject
 +----GInitiallyUnowned
       +----GstObject
             +----GstElement
                   +----GstVideoDecoder
                         +----GstVP8Dec

Pad Templates:
  SINK template: 'sink'
    Availability: Always
    Capabilities:
      video/x-vp8

  SRC template: 'src'
    Availability: Always
    Capabilities:
      video/x-raw
                 format: I420
                  width: [ 1, 2147483647 ]
                 height: [ 1, 2147483647 ]
              framerate: [ 0/1, 2147483647/1 ]


Element Flags:
  no flags set

Element Implementation:
  Has change_state() function: gst_video_decoder_change_state

Element has no clocking capabilities.
Element has no URI handling capabilities.

Pads:
  SINK: 'sink'
    Pad Template: 'sink'
  SRC: 'src'
    Pad Template: 'src'

Element Properties:
  name                : The name of the object
                        flags: readable, writable
                        String. Default: "vp8dec0"
  parent              : The parent of the object
                        flags: readable, writable
                        Object of type "GstObject"
  post-processing     : Enable post processing
                        flags: readable, writable
                        Boolean. Default: false
  post-processing-flags: Flags to control post processing
                        flags: readable, writable
                        Flags "GstVP8DecPostProcessingFlags" Default: 0x00000403, "mfqe+demacroblock+deblock"
                           (0x00000001): deblock          - Deblock
                           (0x00000002): demacroblock     - Demacroblock
                           (0x00000004): addnoise         - Add noise
                           (0x00000400): mfqe             - Multi-frame quality enhancement
  deblocking-level    : Deblocking level
                        flags: readable, writable
                        Unsigned Integer. Range: 0 - 16 Default: 4
  noise-level         : Noise level
                        flags: readable, writable
                        Unsigned Integer. Range: 0 - 16 Default: 0
  threads             : Maximum number of decoding threads
                        flags: readable, writable
                        Unsigned Integer. Range: 1 - 16 Default: 0

最相关的部分是:

  • Pad模板:这列出了该元素可以拥有的所有Pad类型,以及它们的功能。在这里,您可以查看一个元素是否可以与另一个元素链接。在本例中,它只有一个接收pad模板,只接受video/x-vp8(以VP8格式编码的视频数据)和一个源pad模板,产生video/x-raw(解码的视频数据)。
  • 元素属性:列出了元素的属性,以及它们的类型和可接受的值。
  • 有关更多信息,您可以查看gst-inspect-1.0的文档页面

gst-discoverer-1.0

该工具是基础教程9:媒体信息收集中所示的GstDiscoverer对象的包装器。它从命令行接受一个URI,并输出GStreamer可以提取的有关媒体的所有信息。了解使用了哪些容器和编解码器来生成媒体,以及需要在pipeline中放入哪些元素来播放媒体是很有用的。
使用gst-discoverer-1.0 --help获取可用选项列表,这些选项基本上控制输出的详细程度。
示例:

gst-discoverer-1.0 https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm -v

Analyzing https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm
Done discovering https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm
Topology:
  container: video/webm
    audio: audio/x-vorbis, channels=(int)2, rate=(int)48000
      Codec:
        audio/x-vorbis, channels=(int)2, rate=(int)48000
      Additional info:
        None
      Language: en
      Channels: 2
      Sample rate: 48000
      Depth: 0
      Bitrate: 80000
      Max bitrate: 0
      Tags:
        taglist, language-code=(string)en, container-format=(string)Matroska, audio-codec=(string)Vorbis, application-name=(string)ffmpeg2theora-0.24, encoder=(string)"Xiph.Org\ libVorbis\ I\ 20090709", encoder-version=(uint)0, nominal-bitrate=(uint)80000, bitrate=(uint)80000;
    video: video/x-vp8, width=(int)854, height=(int)480, framerate=(fraction)25/1
      Codec:
        video/x-vp8, width=(int)854, height=(int)480, framerate=(fraction)25/1
      Additional info:
        None
      Width: 854
      Height: 480
      Depth: 0
      Frame rate: 25/1
      Pixel aspect ratio: 1/1
      Interlaced: false
      Bitrate: 0
      Max bitrate: 0
      Tags:
        taglist, video-codec=(string)"VP8\ video", container-format=(string)Matroska;

Properties:
  Duration: 0:00:52.250000000
  Seekable: yes
  Tags:
      video codec: VP8 video
      language code: en
      container format: Matroska
      application name: ffmpeg2theora-0.24
      encoder: Xiph.Org libVorbis I 20090709
      encoder version: 0
      audio codec: Vorbis
      nominal bitrate: 80000
      bitrate: 80000

结论

这个例程展示了:

  • 如何使用gst-launch-1.0工具从命令行构建和运行GStreamer pipeline;
  • 如何使用gst-inspect-1.0工具找出可用的GStreamer元素及其功能;
  • 如何使用gst-discoverer-1.0工具发现媒体文件的内部结构。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值