本教程演示如何使用GStreamer时间相关工具。特别地:
- 如何查询管道中的流位置或持续时间等信息。
- 如何在流中寻找(跳转)到不同的位置(时间)。
1. 介绍
GstQuery
是一种允许向元素或pad请求一条信息的机制。在本例中,我们询问管道是否允许搜索(某些源,如 live streams
,不允许搜索)。如果允许,那么,一旦电影运行了10秒,我们就使用seek跳到另一个位置。
在前面的教程中,一旦我们设置并运行了管道,我们的主要功能就只是坐着等待通过总线接收错误或EOS
。在这里,我们修改这个函数来周期性地唤醒并查询管道中的流位置,这样我们就可以在屏幕上打印它。这类似于媒体播放器的做法,定期更新用户界面。
最后,查询流持续时间,并在其更改时进行更新。
2. 巡道(Seeking)的例子
将此代码复制到名为basic-tutorial-4.c
的文本文件中(或在GStreamer安装中找到它)。
basic-tutorial-4.c
#include <gst/gst.h>
/* Structure to contain all our information, so we can pass it around */
typedef struct _CustomData {
GstElement *playbin; /* Our one and only element */
gboolean playing; /* Are we in the PLAYING state? */
gboolean terminate; /* Should we terminate execution? */
gboolean seek_enabled; /* Is seeking enabled for this media? */
gboolean seek_done; /* Have we performed the seek already? */
gint64 duration; /* How long does this media last, in nanoseconds */
} CustomData;
/* Forward definition of the message processing function */
static void handle_message (CustomData *data, GstMessage *msg);
int main(int argc, char *argv[]) {
CustomData data;
GstBus *bus;
GstMessage *msg;
GstStateChangeReturn ret;
data.playing = FALSE;
data.terminate = FALSE;
data.seek_enabled = FALSE;
data.seek_done = FALSE;
data.duration = GST_CLOCK_TIME_NONE;
/* Initialize GStreamer */
gst_init(&argc, &argv);
/* Create the elements */
data.playbin = gst_element_factory_make("playbin", "playbin");
if (!data.playbin) {
g_printerr("Not all elements could be created.\n");
return -1;
}
/* Set the URI to play */
g_object_set(data.playbin, "uri", "https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm", NULL);
/* Start playing */
ret = gst_element_set_state(data.playbin, GST_STATE_PLAYING);
if (ret == GST_STATE_CHANGE_FAILURE) {
g_printerr("Unable to set the pipeline to the playing state.\n");
gst_object_unref(data.playbin);
return -1;
}
/* Listen to the bus */
bus = gst_element_get_bus(data.playbin);
do {
msg = gst_bus_timed_pop_filtered(bus, 100 * GST_MSECOND,
GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS | GST_MESSAGE_DURATION);
/* Parse message */
if (msg != NULL) {
handle_message(&data, msg);
} else {
/* We got no message, this means the timeout expired */
if (data.playing) {
gint64 current = -1;
/* Query the current position of the stream */
if (!gst_element_query_position(data.playbin, GST_FORMAT_TIME, ¤t)) {
g_printerr("Could not query current position.\n");
}
/* If we didn't know it yet, query the stream duration */
if (!GST_CLOCK_TIME_IS_VALID(data.duration)) {
if (!gst_element_query_duration(data.playbin, GST_FORMAT_TIME, &data.duration)) {
g_printerr("Could not query current duration.\n");
}
}
/* Print current position and total duration */
g_print("Position %" GST_TIME_FORMAT " / %" GST_TIME_FORMAT "\r",
GST_TIME_ARGS(current), GST_TIME_ARGS(data.duration));
/* If seeking is enabled, we have not done it yet, and the time is right, seek */
if (data.seek_enabled && !data.seek_done && current > 10 * GST_SECOND) {
g_print("\nReached 10s, performing seek...\n");
gst_element_seek_simple(data.playbin, GST_FORMAT_TIME,
GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_KEY_UNIT, 30 * GST_SECOND);
data.seek_done = TRUE;
}
}
}
} while (!data.terminate);
/* Free resources */
gst_object_unref(bus);
gst_element_set_state(data.playbin, GST_STATE_NULL);
gst_object_unref(data.playbin);
return 0;
}
static void handle_message(CustomData *data, GstMessage *msg) {
GError *err;
gchar *debug_info;
switch (GST_MESSAGE_TYPE (msg)) {
case GST_MESSAGE_ERROR:
gst_message_parse_error(msg, &err, &debug_info);
g_printerr("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
g_printerr("Debugging information: %s\n", debug_info ? debug_info : "none");
g_clear_error(&err);
g_free(debug_info);
data->terminate = TRUE;
break;
case GST_MESSAGE_EOS:
g_print("End-Of-Stream reached.\n");
data->terminate = TRUE;
break;
case GST_MESSAGE_DURATION:
/* The duration has changed, mark the current one as invalid */
data->duration = GST_CLOCK_TIME_NONE;
break;
case GST_MESSAGE_STATE_CHANGED: {
GstState old_state, new_state, pending_state;
gst_message_parse_state_changed(msg, &old_state, &new_state, &pending_state);
if (GST_MESSAGE_SRC (msg) == GST_OBJECT(data->playbin)) {
g_print("Pipeline state changed from %s to %s:\n",
gst_element_state_get_name(old_state), gst_element_state_get_name(new_state));
/* Remember whether we are in the PLAYING state or not */
data->playing = (new_state == GST_STATE_PLAYING);
if (data->playing) {
/* We just moved to PLAYING. Check if seeking is possible */
GstQuery *query;
gint64 start, end;
query = gst_query_new_seeking(GST_FORMAT_TIME);
if (gst_element_query(data->playbin, query)) {
gst_query_parse_seeking(query, NULL, &data->seek_enabled, &start, &end);
if (data->seek_enabled) {
g_print("Seeking is ENABLED from %" GST_TIME_FORMAT " to %" GST_TIME_FORMAT "\n",
GST_TIME_ARGS(start), GST_TIME_ARGS(end));
} else {
g_print("Seeking is DISABLED for this stream.\n");
}
}
else {
g_printerr("Seeking query failed.");
}
gst_query_unref(query);
}
}
} break;
default:
/* We should not reach here */
g_printerr("Unexpected message received.\n");
break;
}
gst_message_unref(msg);
}
3. 源代码解读
/* Structure to contain all our information, so we can pass it around */
typedef struct _CustomData {
GstElement *playbin; /* Our one and only element */
gboolean playing; /* Are we in the PLAYING state? */
gboolean terminate; /* Should we terminate execution? */
gboolean seek_enabled; /* Is seeking enabled for this media? */
gboolean seek_done; /* Have we performed the seek already? */
gint64 duration; /* How long does this media last, in nanoseconds */
} CustomData;
/* Forward definition of the message processing function */
static void handle_message (CustomData *data, GstMessage *msg);
我们首先定义一个包含所有信息的结构,这样就可以将它传递给其他函数。特别是,在本例中,我们将消息处理代码移动到它自己的函数handle_message
,因为它的增长有点过大。
然后,我们构建一个由单个元素playbin组成的管道,我们已经在基础教程1:Hello world!中看到了这个元素!。然而,playbin
本身就是一个管道,在本例中,它是管道中的唯一元素,因此我们直接使用playbin
元素。我们将跳过细节:片段的URI
通过URI
属性被赋予playbin
,管道被设置为播放状态。
msg = gst_bus_timed_pop_filtered (bus, 100 * GST_MSECOND,
GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS | GST_MESSAGE_DURATION);
以前我们没有为gst_bus_timed_pop_filtered()
提供超时,这意味着在收到消息之前它不会返回。现在我们使用100毫秒的超时,因此,如果在十分之一秒内没有收到消息,函数将返回NULL
。我们将使用这个逻辑来更新我们的“UI”。
注意,所需的超时必须指定为GstClockTime
,因此以纳秒为单位。然后,表示不同时间单位的数字应乘以GST_SECOND
或GST_MSECOND
等宏。这也使您的代码更具可读性。
如果收到消息,则在handle_message
下一小节)中处理,否则:
(1) 用户界面刷新
/* We got no message, this means the timeout expired */
if (data.playing) {
如果管道处于播放状态,则是刷新屏幕的时间。如果不在播放状态,我们不想做任何事情,因为大多数查询都会失败。
我们大约每秒到达这里10次,这对于我们的用户界面来说是一个足够好的刷新率。我们将在屏幕上打印当前的媒体位置,我们可以通过查询管道来学习。这涉及几个步骤,将在下一小节中显示,但是,由于位置和持续时间是足够常见的查询,GstElement
提供了更简单、现成的替代方案:
/* Query the current position of the stream */
if (!gst_element_query_position (data.pipeline, GST_FORMAT_TIME, ¤t)) {
g_printerr ("Could not query current position.\n");
}
gst_element_query_position()
隐藏查询对象的管理,并直接向我们提供结果。
/* If we didn't know it yet, query the stream duration */
if (!GST_CLOCK_TIME_IS_VALID (data.duration)) {
if (!gst_element_query_duration (data.pipeline, GST_FORMAT_TIME, &data.duration)) {
g_printerr ("Could not query current duration.\n");
}
}
现在是了解流长度的好时机,使用另一个gst_element
助手函数:gst_element_query_duration()
/* Print current position and total duration */
g_print ("Position %" GST_TIME_FORMAT " / %" GST_TIME_FORMAT "\r",
GST_TIME_ARGS (current), GST_TIME_ARGS (data.duration));
注意GST_TIME_FORMAT
和GST_TIME_ARGS
宏的使用,以提供GStreamer时间的用户友好表示。
/* If seeking is enabled, we have not done it yet, and the time is right, seek */
if (data.seek_enabled && !data.seek_done && current > 10 * GST_SECOND) {
g_print ("\nReached 10s, performing seek...\n");
gst_element_seek_simple (data.pipeline, GST_FORMAT_TIME,
GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_KEY_UNIT, 30 * GST_SECOND);
data.seek_done = TRUE;
}
现在,我们通过调用管道上的gst_element_seek_simple()
,执行seek
。这种方法隐藏了很多复杂的操作,这是一件好事!
让我们回顾一下参数:
GST_FORMAT_TIME
表示我们以时间单位指定目的地。其他搜索格式使用不同的单位。
接下来是GstSeekFlags
,让我们回顾一下最常见的:
GST_SEEK_FLAG_FLUSH
:这将在执行查找之前丢弃当前管道中的所有数据。可能会在重新填充管道并开始显示新数据时暂停一段时间,但会大大提高应用程序的“响应能力”。如果未提供此标志,则“过时”数据可能会显示一段时间,直到新位置出现在管道的末尾。
GST_SEEK_FLAG_KEY_UNIT
:对于大多数编码视频流,不可能搜索到任意位置,只能搜索到称为关键帧的特定帧。使用此标志时,搜索将实际移动到最近的关键帧并立即开始生成数据。如果不使用此标志,则管道将在内部移动到最近的关键帧(它没有其他选择),但在到达请求的位置之前,不会显示数据。最后一种选择更准确,但可能需要更长时间。
GST_SEEK_FLAG_ACCURATE
:一些媒体剪辑没有提供足够的索引信息,这意味着寻找任意位置是非常耗时的。在这些情况下,GStreamer通常会估计要寻找的位置,并且通常工作得很好。如果此精度不足以满足您的情况(您看到seeks不去您要求的确切时间),则提供此标志。请注意,计算搜索位置可能需要更长的时间(对于某些文件,可能需要很长的时间)。
最后,我们提供了寻找的位置。因为我们要求GST_FORMAT_TIME
,所以该值必须以纳秒为单位,所以为了简单起见,我们将时间表示为秒,然后乘以GST_SECOND
。
(2) 消息泵
handle_消息函数处理通过管道总线接收的所有消息。错误和EOS处理与前面的教程中相同,因此我们将跳到有趣的部分:
case GST_MESSAGE_DURATION:
/* The duration has changed, mark the current one as invalid */
data->duration = GST_CLOCK_TIME_NONE;
break;
每当流的持续时间发生更改时,此消息将发布在总线上。在这里,我们只需将当前持续时间标记为无效,以便稍后重新查询。
case GST_MESSAGE_STATE_CHANGED: {
GstState old_state, new_state, pending_state;
gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data->pipeline)) {
g_print ("Pipeline state changed from %s to %s:\n",
gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
/* Remember whether we are in the PLAYING state or not */
data->playing = (new_state == GST_STATE_PLAYING);
Seeks和time查询通常只有在处于暂停或播放状态时才能得到有效的答复,因为所有元素都有机会接收信息并进行自我配置。在这里,我们使用playing变量来跟踪管道是否处于playing状态。另外,如果我们刚刚进入播放状态,我们将执行第一个查询。我们询问管道是否允许在此流上搜索:
if (data->playing) {
/* We just moved to PLAYING. Check if seeking is possible */
GstQuery *query;
gint64 start, end;
query = gst_query_new_seeking (GST_FORMAT_TIME);
if (gst_element_query (data->pipeline, query)) {
gst_query_parse_seeking (query, NULL, &data->seek_enabled, &start, &end);
if (data->seek_enabled) {
g_print ("Seeking is ENABLED from %" GST_TIME_FORMAT " to %" GST_TIME_FORMAT "\n",
GST_TIME_ARGS (start), GST_TIME_ARGS (end));
} else {
g_print ("Seeking is DISABLED for this stream.\n");
}
}
else {
g_printerr ("Seeking query failed.");
}
gst_query_unref (query);
}
gst_query_new_seeking()
使用gst_FORMAT_TIME
格式创建“seeking”类型的新查询对象。这表明我们有兴趣通过指定要移动到的新时间来进行搜索。我们也可以要求GST_FORMAT_BYTES
,然后在源文件中寻找特定的字节位置,但这通常不太有用。
然后,将此查询对象传递到带有gst_element_query()
的管道。结果存储在同一个查询中,并且可以使用gst_query_parse_seeking()
轻松检索。它提取一个布尔值,指示是否允许查找,以及可以查找的范围。
完成查询对象后,不要忘记取消对它的返回。
就这样!有了这些知识,就可以建立一个媒体播放器,根据当前的流位置定期更新一个滑块,并允许通过移动滑块进行搜索!
4. 小结
本教程显示:
- 如何使用
GstQuery
查询管道中的信息 - 如何使用
gst_element_query_position()
和gst_element_query_duration()
获取位置和持续时间等常用信息 - 如何使用
gst_element_seek_simple()
在流中查找任意位置 - 在其中可以执行所有这些操作的状态。
下一个教程将展示如何将GStreamer与图形用户界面工具包集成。请记住,附在本页上的是教程的完整源代码和构建教程所需的任何附件文件。欢迎阅读本课程,下次再见!