14-常用的element

Bins

这些是Bin element，它们在内部包含其他的element，已经组成了内部的pipeline，但在外部，我们还是把它们当成一个element。

Playbin

这个element在整个系列的教程里面广泛的被使用了。它会处理播放的方方面面，从源经过解复用、解码到最后的显示。同时它也非常灵活，有很多设置项，在后面有教程会更详细的讲述到。

uridecodebin

这个element从一个URI获得数据然后解码成原始媒体数据。它会选择一个能处理给定的URI的source element，然后和decodebin连接起来。它在一个媒体里面发现多少流就提供多少source pad来输出，这点和解复用很像。

gst-launch-1.0 uridecodebin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! videoconvert ! autovideosink

gst-launch-1.0 uridecodebin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! audioconvert ! autoaudiosink

decodebin

这个element会自动用解复用插件和解码插件创建解码pipeline。它被使用起来更方便的uridecodebin作为一个source element集成在自己内部了。以前还有一个旧的decodebin，目前已经废弃不用了。和uridecodebin一样，它也是在媒体里面发现多少流就提供多少source pad来输出。

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! decodebin ! autovideosink

File input/output

filesrc

这个element会读取一个本地文件然后用Caps来输出媒体数据。如果你想要获得一个正确地Caps，那么需要用typefind element来搜索流或者把filesrc的typefind属性设置成TRUE。

gst-launch-1.0 filesrc location=f:\\media\\sintel\\sintel_trailer-480p.webm ! decodebin ! autovideosink

filesink

这个element会把所有收到的媒体数据存成文件。使用location属性来指定路径和文件名。

gst-launch-1.0 audiotestsrc ! vorbisenc ! oggmux ! filesink location=test.ogg

Network

souphttpsrc

这个element作为一个客户端，使用SOUP库经由HTTP来接收数据。通过location属性来设置URL。

gst-launch-1.0 souphttpsrc location=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! decodebin ! autovideosink

测试媒体数据生成

这些element在测试pipeline是否工作时是非常有用的，它们是确保可以工作生成数据的，所以可以取代数据源。

videotestsrc

这个element生成一个固定的video输出（通过pattern属性来设置），用来测试视频的pipeline。

gst-launch-1.0 videotestsrc ! videoconvert ! autovideosink

audiotestsrc

这个element生成一个音频信号（通过设置wave属性来设置），用来测试音频的pipeline。

gst-launch-1.0 audiotestsrc ! audioconvert ! autoaudiosink

Video adapters

videoconvert

这个element会把一个色彩空间转换到另一个色彩空间（比如从RGB转到YUV）。它也可以在转换不同的(YUVI420,NV12, YUY2 …) 格式或者（RGB，RGBA，ARGB，BGRA...）格式。

通常来说，在解决协商问题时，这个element是你的第一选择。当上游element和下游element是兼容的时候，这个element就是直通的，所以对性能的影响几乎是不存在的。

通常，在设计时如果使用不知道Caps的element时需要使用videoconvert。

gst-launch-1.0 videotestsrc ! videoconvert ! autovideosink

videorate

这个element接受带时间戳的视频数据转换成匹配source pad帧率的流。通过丢弃或者复制帧来执行改正，而不是通过古怪的算法。

这个在连接不同帧率的element时很有用。正如其他的适配插件，如果不需要的话会直通过去（上下游element能匹配上）。

如果实际帧率未知的情况下，为了以防万一，使用这个element是个不错的主意。

gst-launch-1.0 videotestsrc ! video/x-raw,framerate=30/1 ! videorate ! video/x-raw,framerate=1/1 ! videoconvert ! autovideosink

videoscale

这个element可以修改视频帧的尺寸。这个element会先检查不修改视频尺寸是否可行，如果可行，就不在进行尺寸的转换。所以在pipeline中加入这个element是安全的，可以提高鲁棒性。

这个element支持很多色彩空间，包括不同的YUV和RGB格式。而且可以放在pipeline的任何地方。

如果视频是往一个用户控制的窗口输出时，加上videoscale这个element是个好主意，因为并不是所有的视频输出都是支持缩放的。

gst-launch-1.0 uridecodebin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! videoscale ! video/x-raw,width=178,height=100 ! videoconvert ! autovideosink

Audio adapters

audioconvert 

这个element会转化原始的不同音频格式之间的缓冲。它支持从整数到浮点数的转化，符号数/字节序转换以及声道转换。

正如ffmpegcolorspace对于视频做的一样，这个element使用很安全，你可以用来解决音频不匹配的问题。

gst-launch-1.0 audiotestsrc ! audioconvert ! autoaudiosink

audioresample

这个element使用可配置的窗口函数重采样音频缓冲到不同的采样率来增强质量。

同样地，它可以解决采样率的问题，同时不需要担心出错。

gst-launch-1.0 uridecodebin uri=https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm ! audioresample ! audio/x-raw-float,rate=4000 ! audioconvert ! autoaudiosink

audiorate

这个element接受带时间戳的音频帧，然后通过增加或者降低采样来获得一个标准流。它不能修改采样率，只能通过移除重叠部分和填充空白部分来获得连续“干净”的输出。

当时间戳丢失接收器要求所有的采样同时渲染时这个element比较有用。这个很难给出一个例子，所以就省略了。

Multithreading

queue

一个queue执行两个任务：

数据可以一直放进队列直到满为止

queue会给source pad创建一个新的线程，这样就可以解耦对于sink和source pad的处理

另外，queue在变空或满的时候会触发信号，可以抛弃一些缓冲数据来避免阻塞。

如果你不面临网络缓冲的困境，那么使用更简单的queue element而不是queue2。

queue2

这个element不是queue的进化版本。它和queue有同样地设计目标，但实现方法不同，这也导致了一些功能不太一致。不幸的是，通常来说很难说孰优孰劣。

queue2同样执行了上面列出的queue的两个任务，此外，还可以把收到的数据存在硬盘上。它同时用更通用更方便的缓冲消息来取代了空/满这些信号。

当涉及到网络缓冲时，请使用queue2而不是queue。

multiqueue

这个element可以对多个流同时提供queue，并且简化对流的管理。此外，它可以同步不同的流，确保任何一个流都不会运行的特别快。

这是一个先进的element。decodebin里面包含着这个element，你在一个通常的播放应用里面很少会直接使用。

tee

把数据分成相同的多份是非常有用的，比如，可以同时在屏幕上播放图像和保存文件到硬盘。

在每个分支上使用独立的playbin2 element，提供相互独立的线程。否则一旦数据在一个分支上阻塞了，那么其它分支也会停止。

gst-launch-1.0 audiotestsrc ! tee name=t ! queue ! audioconvert ! autoaudiosink t. ! queue ! wavescope ! videoconvert ! autovideosink

Capabilities

capsfilter

当我们编程实现一个pipeline时，Caps过滤通常用capsfilter这个element来实现。这个element不会修改数据，但会限制数据的类型。

gst-launch-1.0 videotestsrc ! video/x-raw, format=GRAY8 ! videoconvert ! autovideosink

typefind

这个element决定了一个流所包含的媒体的类型。它按照他们的等级调用typefind函数。一旦检测到，它就会把source pad设置成发现的媒体类型，然后发出have-type信号。

decodebin2这个element内部就包含了typefind，虽然我们通常是使用GstDiscoverer来获得更多地信息，但你也可以用这个element来确定媒体类型。

Debugging

fakesink

这个sink element仅仅简单的抛弃所有输入的数据。在调试过程中它是很有用的，你可以用它来取代你想使用的sink来确保不会出现意外。它在gst-lauch命令行并出现-v参数后会显得非常冗余，如果你觉得无用信息太多，那么可以设置silent属性。

gst-launch-1.0 audiotestsrc num-buffers=1000 ! fakesink sync=false

identity

这是一个哑巴element仅仅把输入数据不加修改的传过来。它也有一些有用的调试函数，例如偏移量和时间戳检测，或者丢弃缓冲。想要进一步了解请阅读它的文档。

gst-launch-1.0 audiotestsrc ! identity drop-probability=0.1 ! audioconvert ! autoaudiosink

转载于:https://www.cnblogs.com/xiaojianliu/articles/9426589.html