本教程给出了一系列开发中常用的element。它们包括大杂烩般的eleemnt(比如playbin2)以及一些调试时很有用的element。
简单来说,下面用gst-launch这个工具给出一个个具体例子(命令行),你可以用-v参数可以看到Pad得Caps是如何协商的。
Bins
这些是Bin element,它们在内部包含其他的element,已经组成了内部的pipeline,但在外部,我们还是把它们当成一个element。
Playbin2
这个element在整个系列的教程里面广泛的被使用了。它会处理播放的方方面面,从源经过解复用、解码到最后的显示。同时它也非常灵活,有很多设置项,在后面有教程会更详细的讲述到。
uridecodebin
这个element从一个URI获得数据然后解码成原始媒体数据。它会选择一个能处理给定的URI的source element,然后和decodebin2连接起来。它在一个媒体里面发现多少流就提供多少source pad来输出,这点和解复用很像。
decodebin2
这个element会自动用解复用插件和解码插件创建解码pipeline。它被使用起来更方便的uridecodebin作为一个source element集成在自己内部了。以前还有一个旧的decodebin,目前已经废弃不用了。和uridecodebin一样,它也是在媒体里面发现多少流就提供多少source pad来输出。
文件输入/输出
filesrc
这个element会读取一个本地文件然后用Caps来输出媒体数据。如果你想要获得一个正确地Caps,那么需要用typefind element来搜索流或者把filesrc的typefind属性设置成TRUE。
filesink
这个element会把所有收到的媒体数据存成文件。使用location属性来指定路径和文件名。
souphttpsrc
这个element作为一个客户端,使用SOUP库经由HTTP来接收数据。通过location属性来设置URL。
测试媒体数据生成
这些element在测试pipeline是否工作时是非常有用的,它们是确保可以工作生成数据的,所以可以取代数据源。
videotestsrc
这个element生成一个固定的video输出(通过pattern属性来设置),用来测试视频的pipeline。
audiotestsrc这个element生成一个音频信号(通过设置wave属性来设置),用来测试音频的pipeline。
视频适配
ffmpegcolorspace
这个element会把一个色彩空间转换到另一个色彩空间(比如从RGB转到YUV)。它也可以在转换不同的YUV格式或者RGB格式。
通常来说,在解决协商问题时,这个element是你的第一选择。当上游element和下游element是兼容的时候,这个element就是直通的,所以对性能的影响几乎是不存在的。
作为一个习惯,当你用一个不知道Caps的element的时候,总是可以用一下ffmpegcolorspace,就像autovideosink一样。
videorate
这个element接受带时间戳的视频数据转换成匹配source pad帧率的流。通过丢弃或者复制帧来执行改正,而不是通过古怪的算法。
这个在连接不同帧率的element时很有用。正如其他的适配插件,如果不需要的话会直通过去(上下游element能匹配上)。
如果实际帧率未知的情况下,为了以防万一,使用这个element是个不错的主意。
videoscale
这个element可以修改视频帧的尺寸。这个element会先检查不修改视频尺寸是否可行,如果可行,就不在进行尺寸的转换。所以在pipeline中加入这个element是安全的,可以提高鲁棒性。
这个element支持很多色彩空间,包括不同的YUV和RGB格式。而且可以放在pipeline的任何地方。
如果视频是往一个用户控制的窗口输出时,加上videoscale这个element是个好主意,因为并不是所有的视频输出都是支持缩放的。
音频适配
audioconvert
这个element会转化原始的不同音频格式之间的缓冲。它支持从整数到浮点数的转化,符号数/字节序转换以及声道转换。
正如ffmpegcolorspace对于视频做的一样,这个element使用很安全,你可以用来解决音频不匹配的问题。
audioresample
这个element使用可配置的窗口函数重采样音频缓冲到不同的采样率来增强质量。
同样地,它可以解决采样率的问题,同时不需要担心出错。
audiorate
这个element接受带时间戳的音频帧,然后通过增加或者降低采样来获得一个标准流。它不能修改采样率,只能通过移除重叠部分和填充空白部分来获得连续“干净”的输出。
当时间戳丢失接收器要求所有的采样同时渲染时这个element比较有用。这个很难给出一个例子,所以就省略了。
多线程
queue
queue已经在《GStreamer基础教程07——多线程和Pad的有效性》里面介绍过了。基本上,一个queue执行两个任务:
数据可以一直放进队列直到满为止
queue会给source pad创建一个新的线程,这样就可以解耦对于sink和source pad的处理
另外,queue在变空或满的时候会触发信号,可以抛弃一些缓冲数据来避免阻塞。
如果你不面临网络缓冲的困境,那么使用更简单的queue element而不是queue2,具体例子同样参考《GStreamer基础教程07——多线程和Pad的有效性》
queue2
这个element不是queue的进化版本。它和queue有同样地设计目标,但实现方法不同,这也导致了一些功能不太一致。不幸的是,通常来说很难说孰优孰劣。
queue2同样执行了上面列出的queue的两个任务,此外,还可以把收到的数据存在硬盘上。它同时用更通用更方便的缓冲消息来取代了空/满这些信号,这个缓冲消息在《GStreamer基础教程12——流》里面描述过了。
当涉及到网络缓冲时,请使用queue2而不是queue。请参考《GStreamer基础教程12——流》。
multiqueue
这个element可以对多个流同时提供queue,并且简化对流的管理。此外,它可以同步不同的流,确保任何一个流都不会运行的特别快。
这是一个先进的element。decodebin2里面包含着这个element,你在一个通常的播放应用里面很少会直接使用。
tee
在《GStreamer基础教程07——多线程和Pad的有效性》这篇里面,我们已经演示了如何使用tee这个element。把数据分成相同的多份是非常有用的,比如,可以同时在屏幕上播放图像和保存文件到硬盘。
在每个分支上使用独立的playbin2 element,提供相互独立的线程。否则一旦数据在一个分支上阻塞了,那么其它分支也会停止。
能力
capsfilter
在《GStreamer基础教程10——GStreamer工具》里面已经解释了gst-launch怎么使用Caps过滤。当我们编程实现一个pipeline时,Caps过滤通常用capsfilter这个element来实现。这个element不会修改数据,但会限制数据的类型。
typefind这个element决定了一个流所包含的媒体的类型。它按照他们的等级调用typefind函数。一旦检测到,它就会把source pad设置成发现的媒体类型,然后发出have-type信号。
decodebin2这个element内部就包含了typefind,虽然我们通常是使用GstDiscoverer来获得更多地信息,但你也可以用这个element来确定媒体类型。
调试
fakesink
这个sink element仅仅简单的抛弃所有输入的数据。在调试过程中它是很有用的,你可以用它来取代你想使用的sink来确保不会出现意外。它在gst-lauch命令行并出现-v参数后会显得非常冗余,如果你觉得无用信息太多,那么可以设置silent属性。
identity这是一个哑巴element仅仅把输入数据不加修改的传过来。它也有一些有用的调试函数,例如偏移量和时间戳检测,或者丢弃缓冲。想要进一步了解请阅读它的文档。