GStreamer下的音视频播放

Gst-launch命令:

gst-launch filesrc location=*.* ! demux name=demux demux.video_00 ! queue ! decoder ! ffmpegcolorspace ! videoscale ! ximagesink

(注:蓝色部分为根据具体编码格式从下表中选取替换,注意demux是根据容器格式选取的,下表中只是列出了此编码格式较常见的视频封装容器的demux,对于其它demux可参照注2中的表进行查询。输出sink还可以选取其它,如xvimagesink。若要同时播放音频,则在上句后面加上demux.audio_00 ! queue ! codec ! alsasink)

 

 

编码格式

Demux

Decoder

备注

视频

MPEG1

dvddemux/mpegdemux

ffdec_mpegvideo

 

MPEG2

dvddemux/mpegdemux

ffdec_mpegvideo

 

MPEG4

ffdemux_mov_mp4_m4a_3gp_3g2_mj2

ffdec_mpeg4/omx_mpeg4dec

omx_mpeg4dec播放时偶有丢帧现象

H.264/AVC

ffdemux_mov_mp4_m4a_3gp_3g2_mj2

ffdec_h264/omx_h264dec

omx_h264dec播放时偶有丢帧现象

DivX

avidemux/ffdemux_avi

ffdec_mpeg4/omx_mpeg4dec

 

XviD

avidemux/ffdemux_avi

ffdec_mpeg4/omx_mpeg4dec

 

VC-1

asfdemux

ffdec_wmv3

播放时视频很流畅,音频不是很流畅,会丢失,但同步。ffdemux_asf不可用,能出窗口,不能播放。omx_wmvdec不可用。

 

Gst-launch命令:

gst-launch filesrc location=*.* ! demux ! decoder ! alsasink

(注:蓝色部分为根据具体编码格式从下表中选取替换。输出sink还可以选取其它,如osssink)

 

 

编码格式

Demux

Decoder

备注

音频

mp3

mad/omx_mp3dec

omx_mp3dec播放时必须使用omx_audiosink

ogg

oggdemux/

vorbisdec/omx_vorbisdec

 

wma

asfdemux/ffdemux_asf

ffdec_wmav2

 

aac

/aacparse

faad/ffdec_aac

 

wav

wavparse

 

 

注:

1.         若要查询相关组件属于哪个库,可以在终端使用“gst-inspect+所要查询的组件名”来查询。

2.         对于视频文件,虽然同为一种编码格式,但可能它的容器不一样,所以测试时得选取特定的demux。以下给出常用视频文件容器的demux

Container

Demux

mpeg/mpg

dvddemux

mp4/3gp

ffdemux_mov_mp4_m4a_3gp_3g2_mj2

mkv

matroskademux

mov

qtdemux

flv

ffdemux_flv

avi

avidemux

wmv

asfdemux

 

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是一个简单的用 GStreamer 实现音视频同步的示例代码: ```python import gi gi.require_version('Gst', '1.0') from gi.repository import Gst, GObject GObject.threads_init() Gst.init(None) player = Gst.ElementFactory.make("playbin", "player") player.set_property("uri", "file:///path/to/media/file") audio_sink = Gst.ElementFactory.make("autoaudiosink", "audio_sink") video_sink = Gst.ElementFactory.make("autovideosink", "video_sink") player.set_property("audio-sink", audio_sink) player.set_property("video-sink", video_sink) bus = player.get_bus() def on_message(bus, message): t = message.type if t == Gst.MessageType.EOS: player.set_state(Gst.State.NULL) loop.quit() elif t == Gst.MessageType.ERROR: err, debug = message.parse_error() print ("Error: %s" % err, debug) player.set_state(Gst.State.NULL) loop.quit() elif t == Gst.MessageType.STATE_CHANGED: if message.src == player: old_state, new_state, pending_state = message.parse_state_changed() if new_state == Gst.State.PLAYING: # Get the current time when playing starts query = Gst.Query.new_seeking(Gst.Format.TIME) if player.query(query): _, start, _ = query.parse_seeking() global start_time start_time = start elif t == Gst.MessageType.QOS: # Get the running time of the pipeline query = Gst.Query.new_position(Gst.Format.TIME) if player.query(query): _, running_time = query.parse_position() running_time += start_time # Get the running time of the last buffer struct = message.get_structure() _, running_time_buffer, _ = struct.get("running-time") running_time_buffer += start_time # Calculate the difference between the two running times diff = running_time - running_time_buffer # If the difference is too big, seek to the correct position if abs(diff) > Gst.SECOND / 10: player.seek_simple(Gst.Format.TIME, Gst.SeekFlags.FLUSH | Gst.SeekFlags.KEY_UNIT, running_time) bus.add_signal_watch() bus.connect("message", on_message) # Start playing player.set_state(Gst.State.PLAYING) # Start the main loop loop = GObject.MainLoop() loop.run() ``` 此示例中使用了 `autoaudiosink` 和 `autovideosink` 作为音视频的输出,你还可以将其替换为其他的 sink。在收到 QOS 消息时,获取管道的当前时间以及最后一个缓冲区的运行时间,并在两个运行时间之间计算差异,如果差异太大,则使用 `seek_simple()` 函数跳转到正确的位置,以保持音视频同步。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值