最近基于Nvidia开发板做一些开发,发现DeepStream是一个绕不过去的槛。当然你也可以有很多其他的选择,比如使用FFMPEG,但是decode,encode这些在Jetson上支持的并不是很好。或者也使用MutiMediaApi,但是难度比较高,对个人要求比较高。所以DeepStream相对来说是一个不错的选择,要弄明白DeepStream,必须得先弄明白GStreamer。
安装GStreamer环境,学习了两天,基本有个入门吧。
以解码h264 raw 文件为例,可以使用下面的命令,来简单看一下效果:
caps也可以不做设置,使用命令主要是体验和感受一下GStreamer的简单用法。
gst-launch-1.0 filesrc location=/home/test264.raw ! h264parse ! avdec_h264 ! autovideosink
gst-launch-1.0 filesrc location=/home/test264.raw ! h264parse ! avdec_h264 ! videoconvert ! video/x-raw,format=RGB ! fpsdisplaysink
gst-launch-1.0 filesrc location=/home/test264.raw ! h264parse ! avdec_h264 ! videoconvert ! video/x-raw,format=RGB ! jpegenc ! multifilesink location="test%d.jpg"
一般如果命令知道怎么输入,写c程序基本上也不会有什么问题。
简单来说,就是把这些element拼接起来,核心代码摘要:
pipeline = gst_pipeline_new("pipeline");
filesrc = gst_element_factory_make("filesrc", "source");
parser = gst_element_factory_make("h264parse", "parser");
decoder = gst_element_factory_make("avdec_h264", "decoder");
conv = gst_element_factory_make("videoconvert", "conv");
jpegdecode = gst_element_factory_make("jpegenc", "jpgenc");
multifilesink = gst_element_factory_make("multifilesink", "mutifilesink");
gst_bin_add_many(GST_BIN(pipeline), filesrc, parser, decoder, conv, jpegdecode, multifilesink, NULL);
gst_element_link_many(filesrc, parser, decoder, conv, jpegdecode, multifilesink, NULL);
g_object_set(G_OBJECT(filesrc), "location", "/home/test264.raw", NULL);
g_object_set(G_OBJECT(multifilesink), "location", "test%d.jpg", NULL);
gst_element_set_state(pipeline, GST_STATE_PLAYING);
Finally,it works, enjoy it !