GStreamer——教程——基础教程13：Playback speed

最新推荐文章于 2024-07-22 06:51:52 发布

FREEDOM_X

最新推荐文章于 2024-07-22 06:51:52 发布

阅读量1.1k

点赞数 19

分类专栏： GStreamer 文章标签：网络人工智能图像处理算法

本文链接：https://blog.csdn.net/FREEDOM_X/article/details/139771332

版权

GStreamer 专栏收录该内容

41 篇文章 7 订阅

订阅专栏

基础教程13：播放速度

目标

快进、倒放和慢动作都是技巧模式，它们共同修改了正常的播放速率。本教程展示了如何实现这些效果，并将逐帧播放加入其中。具体来说，它展示了：

如何改变播放速度，比正常速度快或慢，向前或向后。
如何逐帧推进视频

介绍

快进是一种以高于媒体正常（预期）速度播放的技巧；而慢动作则使用低于预期的速度。反向播放也是同样的方式，但从流的末尾开始到开头。
所有这些技术所做的就是改变播放速率，这是一个等于1.0的变量用于正常播放，大于1.0（绝对值）的速度用于快速模式，小于1.0（绝对值）的速度用于慢速模式，正数表示正向播放，负数表示反向播放。
GStreamer提供了两种改变播放速率的机制：Step事件和Seek事件。Step事件允许跳过给定数量的媒体，同时改变后续的播放速率（仅设置为正值）。Seek事件还允许跳转到流中的任何位置，并设置正负播放速率。

在基本教程4：时间管理中已经展示了如何使用Seek事件，使用一个辅助函数来隐藏其复杂性。本教程解释了如何使用这些事件的更多信息。
Step事件是改变播放速率的一种更方便的方式，因为它们需要的参数较少；然而，它们也有一些缺点，因此本教程中使用Seek事件。Step事件仅影响管道末端的接收器（sink），因此只有在管道的其他部分可以支持不同的速度时才能工作。Seek事件贯穿整个管道，因此每个元素都可以对其做出反应。Step事件的优点是它们反应更快。Step事件也无法改变播放方向。
要使用这些事件，需要创建它们并将其传递给管道，然后它们会向上传播直到遇到可以处理它们的元素。如果将事件传递给像playbin这样的bin元素，它将简单地将事件提供给所有接收器，这将导致执行多次seek操作。常见的方法是通过video-sink或audio-sink属性检索playbin的一个接收器，并将事件直接传递给接收器。
逐帧播放是一种允许逐帧播放视频的技术。它是通过暂停管道，然后发送Step事件每次跳过一帧来实现的。

trick模式播放器

将此代码复制到名为basic-tutorial-13.c文本文件中。

基本教程

#include <string.h>
#include <stdio.h>
#include <gst/gst.h>

#ifdef __APPLE__
#include <TargetConditionals.h>
#endif

typedef struct _CustomData
{
  GstElement *pipeline;
  GstElement *video_sink;
  GMainLoop *loop;

  gboolean playing;             /* Playing or Paused */
  gdouble rate;                 /* Current playback rate (can be negative) */
} CustomData;

/* Send seek event to change rate */
static void
send_seek_event (CustomData * data)
{
  gint64 position;
  GstEvent *seek_event;

  /* Obtain the current position, needed for the seek event */
  if (!gst_element_query_position (data->pipeline, GST_FORMAT_TIME, &position)) {
    g_printerr ("Unable to retrieve current position.\n");
    return;
  }

  /* Create the seek event */
  if (data->rate > 0) {
    seek_event =
        gst_event_new_seek (data->rate, GST_FORMAT_TIME,
        GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE, GST_SEEK_TYPE_SET,
        position, GST_SEEK_TYPE_END, 0);
  } else {
    seek_event =
        gst_event_new_seek (data->rate, GST_FORMAT_TIME,
        GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE, GST_SEEK_TYPE_SET, 0,
        GST_SEEK_TYPE_SET, position);
  }

  if (data->video_sink == NULL) {
    /* If we have not done so, obtain the sink through which we will send the seek events */
    g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
  }

  /* Send the event */
  gst_element_send_event (data->video_sink, seek_event);

  g_print ("Current rate: %g\n", data->rate);
}

/* Process keyboard input */
static gboolean
handle_keyboard (GIOChannel * source, GIOCondition cond, CustomData * data)
{
  gchar *str = NULL;

  if (g_io_channel_read_line (source, &str, NULL, NULL,
          NULL) != G_IO_STATUS_NORMAL) {
    return TRUE;
  }

  switch (g_ascii_tolower (str[0])) {
    case 'p':
      data->playing = !data->playing;
      gst_element_set_state (data->pipeline,
          data->playing ? GST_STATE_PLAYING : GST_STATE_PAUSED);
      g_print ("Setting state to %s\n", data->playing ? "PLAYING" : "PAUSE");
      break;
    case 's':
      if (g_ascii_isupper (str[0])) {
        data->rate *= 2.0;
      } else {
        data->rate /= 2.0;
      }
      send_seek_event (data);
      break;
    case 'd':
      data->rate *= -1.0;
      send_seek_event (data);
      break;
    case 'n':
      if (data->video_sink == NULL) {
        /* If we have not done so, obtain the sink through which we will send the step events */
        g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
      }

      gst_element_send_event (data->video_sink,
          gst_event_new_step (GST_FORMAT_BUFFERS, 1, ABS (data->rate), TRUE,
              FALSE));
      g_print ("Stepping one frame\n");
      break;
    case 'q':
      g_main_loop_quit (data->loop);
      break;
    default:
      break;
  }

  g_free (str);

  return TRUE;
}

int
tutorial_main (int argc, char *argv[])
{
  CustomData data;
  GstStateChangeReturn ret;
  GIOChannel *io_stdin;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Initialize our data structure */
  memset (&data, 0, sizeof (data));

  /* Print usage map */
  g_print ("USAGE: Choose one of the following options, then press enter:\n"
      " 'P' to toggle between PAUSE and PLAY\n"
      " 'S' to increase playback speed, 's' to decrease playback speed\n"
      " 'D' to toggle playback direction\n"
      " 'N' to move to next frame (in the current direction, better in PAUSE)\n"
      " 'Q' to quit\n");

  /* Build the pipeline */
  data.pipeline =
      gst_parse_launch
      ("playbin uri=https://gstreamer.freedesktop.org/data/media/sintel_trailer-480p.webm",
      NULL);

  /* Add a keyboard watch so we get notified of keystrokes */
#ifdef G_OS_WIN32
  io_stdin = g_io_channel_win32_new_fd (fileno (stdin));
#else
  io_stdin = g_io_channel_unix_new (fileno (stdin));
#endif
  g_io_add_watch (io_stdin, G_IO_IN, (GIOFunc) handle_keyboard, &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.pipeline);
    return -1;
  }
  data.playing = TRUE;
  data.rate = 1.0;

  /* Create a GLib Main Loop and set it to run */
  data.loop = g_main_loop_new (NULL, FALSE);
  g_main_loop_run (data.loop);

  /* Free resources */
  g_main_loop_unref (data.loop);
  g_io_channel_unref (io_stdin);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  if (data.video_sink != NULL)
    gst_object_unref (data.video_sink);
  gst_object_unref (data.pipeline);
  return 0;
}

int
main (int argc, char *argv[])
{
#if defined(__APPLE__) && TARGET_OS_MAC && !TARGET_OS_IPHONE
  return gst_macos_main ((GstMainFunc) tutorial_main, argc, argv, NULL);
#else
  return tutorial_main (argc, argv);
#endif
}

需要帮忙吗？

如果您需要帮助来编译此代码，请参阅为您的平台构建教程部分：Linux、Mac OS X或Windows，或在Linux上使用此特定命令：

gcc basic-tutorial-13.c -o basic-tutorial-13 `pkg-config --cflags --libs gstreamer-1.0`

如果您需要帮助来运行此代码，请参阅为您的平台运行教程部分：Linux、Mac OS X或Windows。

本教程将打开一个窗口并显示带有音频的电影。媒体是从Internet获取的，因此窗口可能需要几秒钟才能出现，具体取决于您的连接速度。控制台显示可用命令，由单个大写或小写字母组成，您应该在Enter键之后输入这些命令。

所需库：gstreamer-1.0

工作流

在主函数中的初始化代码中没有什么新的内容：实例化一个playbin管道，安装一个I/O监视器来跟踪按键，并执行GLib主循环。
然后在键盘处理函数中：

/* Process keyboard input */
static gboolean handle_keyboard (GIOChannel *source, GIOCondition cond, CustomData *data) {
  gchar *str = NULL;

  if (g_io_channel_read_line (source, &str, NULL, NULL, NULL) != G_IO_STATUS_NORMAL) {
    return TRUE;
  }

  switch (g_ascii_tolower (str[0])) {
  case 'p':
    data->playing = !data->playing;
    gst_element_set_state (data->pipeline, data->playing ? GST_STATE_PLAYING : GST_STATE_PAUSED);
    g_print ("Setting state to %s\n", data->playing ? "PLAYING" : "PAUSE");
    break;

暂停/播放切换使用gst_element_set_state()处理，与之前的教程相同。

case 's':
  if (g_ascii_isupper (str[0])) {
    data->rate *= 2.0;
  } else {
    data->rate /= 2.0;
  }
  send_seek_event (data);
  break;
case 'd':
  data->rate *= -1.0;
  send_seek_event (data);
  break;

使用‘S’和‘s’将当前播放速度加倍或减半，使用‘d’反转当前播放方向。在这两种情况下，rate变量都会更新，并调用send_seek_event。让我们回顾一下这个函数。

/* Send seek event to change rate */
static void send_seek_event (CustomData *data) {
  gint64 position;
  GstEvent *seek_event;

  /* Obtain the current position, needed for the seek event */
  if (!gst_element_query_position (data->pipeline, GST_FORMAT_TIME, &position)) {
    g_printerr ("Unable to retrieve current position.\n");
    return;
  }

这个函数创建一个新的Seek事件并将其发送到管道以更新速率。首先，使用gst_element_query_position()恢复当前位置。这是必要的，因为Seek事件跳转到流的另一个位置，而由于我们实际上不想移动，所以我们跳转到当前位置。使用Step事件会简单一些，但是如介绍中所述，此事件目前尚未完全功能正常。

/* Create the seek event */
if (data->rate > 0) {
  seek_event = gst_event_new_seek (data->rate, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE,
      GST_SEEK_TYPE_SET, position, GST_SEEK_TYPE_END, 0);
} else {
  seek_event = gst_event_new_seek (data->rate, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_ACCURATE,
      GST_SEEK_TYPE_SET, 0, GST_SEEK_TYPE_SET, position);
}

Seek事件使用gst_event_new_seek()创建。其参数基本上是新的速率、新的起始位置和新的位置。无论播放方向如何，起始位置必须小于停止位置，因此两种播放方向被区别对待。

if (data->video_sink == NULL) {
  /* If we have not done so, obtain the sink through which we will send the seek events */
  g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
}

如介绍中所述，为了避免执行多次Seek，事件仅发送到一个接收者，在这种情况下是视频接收者。它是从playbin通过video-sink属性获得的。此时读取它而不是在初始化时读取的原因是实际的接收者可能会根据媒体内容而变化，并且直到管道处于PLAYING状态并且已经读取了一些媒体时才会知道这一点。

/* Send the event */
gst_element_send_event (data->video_sink, seek_event);

最后，使用gst_element_send_event()将新事件发送到选定的接收者。
回到键盘处理程序，我们仍然缺少帧步进代码，这真的很简单：

case 'n':
  if (data->video_sink == NULL) {
    /* If we have not done so, obtain the sink through which we will send the step events */
    g_object_get (data->pipeline, "video-sink", &data->video_sink, NULL);
  }

  gst_element_send_event (data->video_sink,
      gst_event_new_step (GST_FORMAT_BUFFERS, 1, ABS (data->rate), TRUE, FALSE));
  g_print ("Stepping one frame\n");
  break;

使用gst_event_new_step()创建一个新的Step事件，其参数基本上指定要跳过的数量（示例中为1帧）和新的速度（我们不改变）。
从playbin获取视频接收者，以防我们还没有它，就像之前一样。
有了这个我们就完成了。在测试本教程时，请记住，向后播放在许多元素中并不是最优的。