Deepstream 之 appsink元素保存图片

最新推荐文章于 2023-11-24 15:20:23 发布
最新推荐文章于 2023-11-24 15:20:23 发布
阅读量3.6k 收藏 4
点赞数
分类专栏： GStreamer 文章标签： qt opencv gstreamer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_wordPlan/article/details/121357146
版权

目录

1. appsink元素介绍

2. appsink 元素结合cv::Mat保存图片

2.1 开发环境

2.2 软件代码与说明

1. appsink元素介绍

appsink 元素作为gstreamer的sink节点，它可以实现pipeline中的流媒体数据与其他应用程序的交换，比如实现gstreamer与CUDA交互，gstreamer与OpenCV交互，等等。

主要作用是借助gstreamer pipeline的 media streaming, 我们通过appsink用一个buffer来收集流媒体的数据，提供给其他应用程序来处理使用。

2. appsink 元素结合cv::Mat保存图片

2.1 开发环境

硬件：NVIDIA  jetson xavier agx

软件：Qt5.9、Opencv4.1.1、Deepstream 5.0、GStreamer-1.0

2.2 软件代码与说明

queue元素和nvvideoconvert元素创建省略，只说明保存元素的核心内容。

Qt配置opencv不在此说明。

  • 创建appsink元素，并且设置其caps，此caps满足nvvideoconvert元素的src输出格式：
    char caps[1024] = "video/x-raw,format=RGBA";

    GstCaps *video_caps;
    video_caps = gst_caps_from_string (caps);
    if(!video_caps){
        qCritical()<< "gst_caps_from_string fail";
        return false;
    }
    g_object_set (m_sinkBin.sub_bins[index].sink, "caps", video_caps, NULL);
  • 设置appsink元素的信号及其信号响应函数
    // link signal new-sample
    g_object_set(m_sinkBin.sub_bins[index].sink, "emit-signals", TRUE, "async", FALSE, NULL);
    g_signal_connect(m_sinkBin.sub_bins[index].sink, "new-sample", G_CALLBACK(SinkElement::newSample), NULL);
  • 在new-sample响应函数中保存当前视频帧为图片
GstSample *sample = gst_app_sink_pull_sample(appsink);  //need free sample handle
    caps = gst_sample_get_caps (sample);
    if (!caps) {
        g_print ("gst_sample_get_caps fail\n");
        gst_sample_unref (sample);
        return GST_FLOW_ERROR;
    }
    s = gst_caps_get_structure (caps, 0);
    gboolean res;
    res = gst_structure_get_int (s, "width", &width);		//获取图片的宽
    res |= gst_structure_get_int (s, "height", &height);	//获取图片的高
    if (!res) {
        g_print ("gst_structure_get_int fail\n");
        gst_sample_unref (sample);
        return GST_FLOW_ERROR;
    }
GstBuffer *buffer = gst_sample_get_buffer(sample);
char fileNameString[FILE_NAME_SIZE];
            snprintf (fileNameString, FILE_NAME_SIZE, "%d_%d_%d_%s_%dx%d.png",
                      frame_number, frame_meta->source_id, num_rects,
                      obj_meta->obj_label, width, height);
            qDebug()<< "fileNamstring： "<< fileNameString;

            //save jpg
            GstMapInfo mapInfo{};
            if(gst_buffer_map(buffer, &mapInfo, GST_MAP_READ))
            {
                std::string strFile(fileNameString);

                cv::Mat frame(cv::Size(width, height), CV_8UC4, (uchar*)mapInfo.data, cv::Mat::AUTO_STEP);
                if(cv::imwrite(strFile, frame))
                {
                    qInfo()<< "save " << strFile.c_str() << " succese";
                }
                else
                    qWarning()<<"save " << strFile.c_str() << " failed";
                gst_buffer_unmap (buffer, &mapInfo);	//解除映射
            }
gst_sample_unref (sample); //free sample

详细源码如下：


bool SinkElement::createEventPhotoFileSinkBin(uint index)
{
    gchar elem_name[50];
    static int uid = 0;

    g_snprintf (elem_name, sizeof (elem_name), "appsink_sub_bin%d", uid);
    m_sinkBin.sub_bins[index].bin = gst_bin_new (elem_name);
    if (!m_sinkBin.sub_bins[index].bin) {
        qCritical()<< "Failed to create "<< elem_name;
        return false;
    }

    //sink
    g_snprintf (elem_name, sizeof (elem_name), "appsink_sub_bin_%d", uid);
    m_sinkBin.sub_bins[index].sink = gst_element_factory_make ("appsink", elem_name);
    if (!m_sinkBin.sub_bins[index].sink) {
        qCritical()<< "Failed to create " << elem_name;
        return false;
    }

    char caps[1024] = "video/x-raw,format=RGBA";

    GstCaps *video_caps;
    video_caps = gst_caps_from_string (caps);
    if(!video_caps){
        qCritical()<< "gst_caps_from_string fail";
        return false;
    }
    g_object_set (m_sinkBin.sub_bins[index].sink, "caps", video_caps, NULL);

    // link signal new-sample
    g_object_set(m_sinkBin.sub_bins[index].sink, "emit-signals", TRUE, "async", FALSE, NULL);
    g_signal_connect(m_sinkBin.sub_bins[index].sink, "new-sample", G_CALLBACK(SinkElement::newSample), NULL);

    //transform
    g_snprintf (elem_name, sizeof (elem_name), "appsink_sub_bin_transform_%d", uid);
    m_sinkBin.sub_bins[index].transform =
            gst_element_factory_make ("nvvideoconvert", elem_name);
    if (!m_sinkBin.sub_bins[index].transform) {
        qCritical()<< "Failed to create " << elem_name;
        return false;
    }

    //queue
    g_snprintf (elem_name, sizeof (elem_name), "appsink_sub_bin_queue%d", uid);
    m_sinkBin.sub_bins[index].queue = gst_element_factory_make("queue", elem_name);
    if (! m_sinkBin.sub_bins[index].queue) {
        qCritical()<< "Failed to create " << elem_name;
        return false;
    }

    uid++;

    gst_bin_add_many(GST_BIN(m_sinkBin.sub_bins[index].bin),
                     m_sinkBin.sub_bins[index].queue,
                     m_sinkBin.sub_bins[index].transform,
                     m_sinkBin.sub_bins[index].sink, NULL);
    if(!gst_element_link_many(m_sinkBin.sub_bins[index].queue,
                              m_sinkBin.sub_bins[index].transform,
                              m_sinkBin.sub_bins[index].sink, NULL))
    {
        QString criticalOutput = QString::asprintf("Failed to link SinkBin.sub_bins[%d].queue, SinkBin.sub_bins[%d].transform, SinkBin.sub_bins[%d].sink!",
                                                   index, index, index);
        qCritical()<< criticalOutput;
        return false;
    }
    QString linkInfo = QString::asprintf("Linking SinkBin.sub_bins[%d].queue, SinkBin.sub_bins[%d].transform, SinkBin.sub_bins[%d].sink successfully",
                                         index, index, index);
    qInfo()<< linkInfo;

    NVGSTDS_BIN_ADD_GHOST_PAD (m_sinkBin.sub_bins[index].bin, m_sinkBin.sub_bins[index].queue, "sink");

    return true;

done:
    return false;
}

GstFlowReturn SinkElement::newSample(GstAppSink *appsink, gpointer data)
{
    Q_UNUSED(data);
    static int frame_number = 1;
    GstCaps *caps;
    GstStructure *s;
    gint width, height;

    GstSample *sample = gst_app_sink_pull_sample(appsink);  //need free sample handle

    if(!sample)
    {
        qCritical()<< "Get sample error!";
        return GST_FLOW_ERROR;
    }
    /*************************** 获取图片的宽,高 *************************/
    caps = gst_sample_get_caps (sample);
    if (!caps) {
        g_print ("gst_sample_get_caps fail\n");
        gst_sample_unref (sample);
        return GST_FLOW_ERROR;
    }
    s = gst_caps_get_structure (caps, 0);
    gboolean res;
    res = gst_structure_get_int (s, "width", &width);		//获取图片的宽
    res |= gst_structure_get_int (s, "height", &height);	//获取图片的高
    if (!res) {
        g_print ("gst_structure_get_int fail\n");
        gst_sample_unref (sample);
        return GST_FLOW_ERROR;
    }
    /*********************************************************************/

    /**************************** 获取事件 *****************************/
    GstBuffer *buffer = gst_sample_get_buffer(sample);
    if(!buffer)
    {
        qCritical()<< "get sample buffer error!";
        return GST_FLOW_ERROR;
    }
    NvDsBatchMeta* batch_meta = gst_buffer_get_nvds_batch_meta(buffer);

    NvDsMetaList* l_frame = NULL;
    NvDsMetaList* l_obj = NULL;
    NvDsObjectMeta* obj_meta = NULL;
    guint person_count = 0;
    guint num_rects = 0;
    for(l_frame = batch_meta->frame_meta_list; l_frame != NULL; l_frame = l_frame->next)
    {
        NvDsFrameMeta *frame_meta = (NvDsFrameMeta*)(l_frame->data);
        for(l_obj = frame_meta->obj_meta_list; l_obj != NULL; l_obj = l_obj->next)
        {
            obj_meta = (NvDsObjectMeta*)(l_obj->data);
            if(obj_meta->class_id == PGIE_CLASS_ID_PERSON)
            {
                person_count++;
                num_rects++;
            }
        }
        /**************************如果person_count > 0,则保存图片*********************************/
        if(person_count > 0)
        {
            char fileNameString[FILE_NAME_SIZE];
            snprintf (fileNameString, FILE_NAME_SIZE, "%d_%d_%d_%s_%dx%d.png",
                      frame_number, frame_meta->source_id, num_rects,
                      obj_meta->obj_label, width, height);
            qDebug()<< "fileNamstring： "<< fileNameString;

            //save jpg
            GstMapInfo mapInfo{};
            if(gst_buffer_map(buffer, &mapInfo, GST_MAP_READ))
            {
                std::string strFile(fileNameString);

                cv::Mat frame(cv::Size(width, height), CV_8UC4, (uchar*)mapInfo.data, cv::Mat::AUTO_STEP);
                if(cv::imwrite(strFile, frame))
                {
                    qInfo()<< "save " << strFile.c_str() << " succese";
                }
                else
                    qWarning()<<"save " << strFile.c_str() << " failed";
                gst_buffer_unmap (buffer, &mapInfo);	//解除映射
            }
        }

        frame_number++;
    }
    gst_sample_unref (sample);

    return GST_FLOW_OK;

}
m_wordPlan
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
英伟达DeepStream学习笔记21——DeepStream保存原始输入图片
耶律大石的博客
01-20 570
在函数gst_dsexample_transform_ip中加入如下代码 在 /* Scale and convert the frame */ if (get_converted_mat (dsexample, surface, i, &rect_params, scale_ratio, dsexample->video_info.width, dsexample->video_info.height) != GS
DeepStream系列之图片保存功能
ZONGXP的博客
09-09 2187
在pipeline回调函数中完成图像保存功能
deepstream保存pipeline图片
MoL的博客
05-16 1844
安装依赖 $ sudo apt-get install graphviz 添加自定义保存pipeline路径的环境变量 $ sudo gedit ~/.bashrc export GST_DEBUG_DUMP_DOT_DIR=/home/dreamdeck/Documents/code/pipeline/ $ source ~/.bashrc 修改deepstream源码。在 g_main_loop_run(main_loop);后面添加如下代码： /*GST_DEBUG_BIN_T.
三、Deepsrtream 保存图片
Creationyang的博客
03-10 601
DeepStream提供的demo中有相关保存图片的示例，等有时间再进行总结。CSDN有许多关于DeepStream保存图片的文章，大部分都存在内存泄漏问题。
deepstream 预处理结果保存（进入模型前的图片）
jacke121的专栏
07-08 2090
deepstream 预处理结果保存（进入模型前的图片）
DeepStream--保存NvBufSurface图片
evsqiezi
11-24 871
NvBufSurface的memorytype有很多种，今天主要说的是DGPU上的NVBUF_MEM_CUDA_DEVICE类型，因为类型不一样，获取的方式也不一样。流程主要是用cudaMemcpy将Device内存拷贝到CPU内存，再根据颜色格式，保存为nv12/rgba/rgb。保存的数据是原始数据，可以用ffplay进行预览。
英伟达DeepStream学习笔记24——deepstream如何保存pipeline图片
耶律大石的博客
03-25 469
英伟达DeepStream学习笔记24——deepstream如何保存pipeline图片安装dot修改代码重新编译设置.dot文件生成路径运行程序查看dot并转换 参考： https://blog.csdn.net/weixin_38369492/article/details/106156957 安装dot sudo apt install graphviz 修改代码 在main.c 中开头添加 g_setenv("GST_DEBUG_DUMP_DOT_DIR", "/tmp/", TRUE);
deepstream 脉络图
怨行客
05-06 293
1、nvinfer detects objects and attach the metadata with the batched buffer.使用批处理缓冲区附加元信息 2、nvtracker tracks the detected object and provides unique-id to each of them
deepstream-test1-app_rtsp-master基于Deepstream实现RTSP视频流的读取
06-30
deepstream-test1-app_rtsp-master基于Deepstream实现RTSP视频流的读取，c++源代码
deepstream_sdk_v6.0.1_jetson.zip
08-15
DeepStream 6.0.1 for Jetson This release supports Jetson TX1, TX2, Nano, NX and AGX Xavier. Prerequisite: DeepStream SDK 6.0.1 requires the installation of JetPack 4.6.1. 这是tar包
使用gstreamer获取rtsp视频流并保存成图片.zip
10-22
使用gstreamer获取rtsp视频流并保存成图片，代码中有详细注释，注意需要自行安装gstreamer库和gtk库，ubuntu可以直接用apt install安装
NVIDIA DeepStream入门介绍
05-11
NVIDIA DeepStream 是一个强大的 SDK（软件开发工具包），专为高性能视频分析和流媒体应用设计，利用 GPU 的强大计算能力来处理复杂的计算机视觉任务，如对象检测、追踪和分类。这个SDK主要面向开发者，帮助他们构建...
deepstream test5
08-29
添加了双语字幕 感谢打赏支持 你的打赏就是我的动力 资源涵盖test5的视频、步骤、字幕 整合的github和网络资源 看清再够买哈 读研不易 可帮你节省时间
deepstream_sdk_v5.1.0_jetson.zip
08-15
DeepStream 5.1 for Jetson This release supports Jetson TX1, TX2, Nano, NX and AGX Xavier. Prerequisite: DeepStream SDK 5.1 requires the installation of JetPack 4.5.1. 这是tar包
deepstream保存pipeline图方法
weixin_44585974的博客
03-09 159
deepstream保存pipeline图方法
deepstream 实现截取图像返还
foodie_psy的博客
02-01 1066
deepstream 实现截取图像返还 在官方github文件内自带这个功能 链接:nvdia-deepstream-py 使用了opencv 实现功能函数如下： 下面展示一些 内联代码片。 def draw_bounding_boxes(image,obj_meta,confidence): confidence='{0:.2f}'.format(confidence) rect_params=obj_meta.rect_params top=int(rect_params.top
【gstreamer中appsink和appsrc操作数据转换cv::Mat】参考文献
weixin_44495869的博客
12-13 3047
文章目录参考文献gstreamer知识入门重点推荐其他参考 参考文献 gstreamer知识入门 通用的gstremer知识入门 GStreamer流媒体知识介绍 详细的GStreamer开发教程 国内葛大神写的博客 用 GStreamer 简化 Linux 多媒体开发 GstAppSink简介 GstAppSrc简介 gstreamer开发手册专栏 重点推荐 几个开源仓库中包含appsink，appsrc，filesink例子的代码。可搜索appsink，appsrc，filesink直接看相关的代码
appsink的功能
qq_23350817的博客
12-18 2234
通常方法： gst_app_sink_pull_sample()， gst_app_sink_pull_preroll() gst_app_sink_pull_preroll()，gst_app_sink_pull_preroll() max-buffers　属性　 限制buffer size !!!　 If the application is not pulling samples fast ...
deepstream保存图片
最新发布
12-01
deepstream是一种实时流式数据处理框架，可以用来处理和保存图片。在deepstream中，保存图片通常涉及到使用合适的插件和配置来实现。 首先，需要确保已经安装了deepstream，并且配置了用于处理图像的相关插件。然后，在配置文件中，需要设置要保存图片的路径和格式。可以使用deepstream的插件来实现将图像保存到本地或者远程服务器。在配置文件中，可以指定保存图片的触发条件，比如在检测到特定对象时保存图片，或者定时保存图片。还可以设置保存图片的规则，比如保存最新的图片，或者保存满足一定条件的图片。 在运行deepstream时，当满足保存图片的条件时，deepstream会调用相关的插件来实现图片的保存。保存的图片会按照之前在配置文件中设置的路径和格式保存到指定的位置。 除了保存图片，deepstream还可以处理实时的视频流，并且可以对视频流进行分析和检测。通过深度学习和机器学习算法，deepstream可以实现对象检测、人脸识别等功能。保存图片是其中的一部分功能，但是它对于监控、安防等应用场景非常重要。 总之，deepstream保存图片需要通过配置文件设置保存路径和格式，使用相关的插件实现保存功能。通过深度学习和机器学习算法，deepstream可以实现更多的图像和视频处理功能，为各种应用场景提供了强大的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值