快速视频Seeking(视频帧搜索)

Ref: https://blog.programster.org/fast-video-seeking

MX Player之所以在搜索后立即继续播放内容,与其他 Android 播放器不同,是因为 MX Player 会搜索最近的“关键帧”(或 I 帧)而不是精确位置。这些关键帧包含开始播放所需的所有数据,而不是仅包含有关它们与周围其他帧之间变化的数据的内插帧。可以在此处找到有关各种帧类型的更多信息。

要从视频中的非关键帧位置开始播放,播放器必须返回到前一个关键帧并从那里开始解码,直到到达您选择的位置,此时它将继续播放。这意味着有时播放需要一段时间才能开始,而有时几乎是即时播放。

如果您想要使用最近的关键帧的速度,但想要拥有更好的“搜索分辨率”,那么您可能需要使用较小的keyint选项对视频进行编码,以便 I 帧之间永远不会有很长的时间。这还将加快播放器在精确搜索后恢复播放所需的平均时间。但是,这将导致文件变大,因此需要保持平衡。

为什么这在未来会变得更加重要。

您目前可能根本看不到问题。这是因为您可能使用的是传统计算机,其 x86 处理器比 ARM 移动设备强大得多。这台计算机可能正在播放 720p 或更低的内容,并且使用 h264 视频编码。然而,随着我们开始使用更高清晰度的内容(例如 4k)并使用 HEVC/h265 编码将文件保持在合理的大小,这个问题变得更加明显。这是因为在解码内容以供播放时,您的 CPU 将不得不执行更多的工作。

MPlayer 和 VLC

VLC 似乎无法跳过/寻找关键帧。另一方面,当您按下前进/后退按钮时,MPlayer将使用关键帧。这些快捷方式将尝试前进/后退 10 秒,但这样做时将使用最近的关键帧。这使得它非常快,特别是如果您从RAM 磁盘加载了视频。

不幸的是,目前只有寻求精确位置(VLC/图腾)而不是关键帧的玩家才能使用 HEVC 内容。如果您知道其他情况,请发表评论。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
以下是一个简单的用 GStreamer 实现音视频同步的示例代码: ```python import gi gi.require_version('Gst', '1.0') from gi.repository import Gst, GObject GObject.threads_init() Gst.init(None) player = Gst.ElementFactory.make("playbin", "player") player.set_property("uri", "file:///path/to/media/file") audio_sink = Gst.ElementFactory.make("autoaudiosink", "audio_sink") video_sink = Gst.ElementFactory.make("autovideosink", "video_sink") player.set_property("audio-sink", audio_sink) player.set_property("video-sink", video_sink) bus = player.get_bus() def on_message(bus, message): t = message.type if t == Gst.MessageType.EOS: player.set_state(Gst.State.NULL) loop.quit() elif t == Gst.MessageType.ERROR: err, debug = message.parse_error() print ("Error: %s" % err, debug) player.set_state(Gst.State.NULL) loop.quit() elif t == Gst.MessageType.STATE_CHANGED: if message.src == player: old_state, new_state, pending_state = message.parse_state_changed() if new_state == Gst.State.PLAYING: # Get the current time when playing starts query = Gst.Query.new_seeking(Gst.Format.TIME) if player.query(query): _, start, _ = query.parse_seeking() global start_time start_time = start elif t == Gst.MessageType.QOS: # Get the running time of the pipeline query = Gst.Query.new_position(Gst.Format.TIME) if player.query(query): _, running_time = query.parse_position() running_time += start_time # Get the running time of the last buffer struct = message.get_structure() _, running_time_buffer, _ = struct.get("running-time") running_time_buffer += start_time # Calculate the difference between the two running times diff = running_time - running_time_buffer # If the difference is too big, seek to the correct position if abs(diff) > Gst.SECOND / 10: player.seek_simple(Gst.Format.TIME, Gst.SeekFlags.FLUSH | Gst.SeekFlags.KEY_UNIT, running_time) bus.add_signal_watch() bus.connect("message", on_message) # Start playing player.set_state(Gst.State.PLAYING) # Start the main loop loop = GObject.MainLoop() loop.run() ``` 此示例中使用了 `autoaudiosink` 和 `autovideosink` 作为音视频的输出,你还可以将其替换为其他的 sink。在收到 QOS 消息时,获取管道的当前时间以及最后一个缓冲区的运行时间,并在两个运行时间之间计算差异,如果差异太大,则使用 `seek_simple()` 函数跳转到正确的位置,以保持音视频同步。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

开源技术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值