deepstream meta应用

deepstream_user_metadata_app

osd_sink_pad_buffer_probe
{
  //访问帧级usermeta，比如访问推理加的随机数字。
}
nvinfer_src_pad_buffer_probe{
   //添加帧级usermeta, 比如加个随机数字。
}
 

deepstream-test1
对osd的sink加了一个probe函数osd_sink_pad_buffer_probe，如下代码， NvDsFrameMeta下有NvDsFrameMetaList，NvDsFrameMeta下有NvDsObjectMetaList，统计NvDsFrameMeta下人和车的个数，并创建NvDsDisplayMeta，将文本信息挂在NvDsDisplayMeta的NvOSD_TextParams，再将NvDsDisplayMeta挂到NvDsFrameMeta。

osd_sink_pad_buffer_probe{
   for (l_frame = batch_meta->frame_meta_list; l_frame != NULL; l_frame = l_frame->next) {
      NvDsFrameMeta *frame_meta = (NvDsFrameMeta *) (l_frame->data);
      for (l_obj = frame_meta->obj_meta_list; l_obj != NULL; l_obj = l_obj->next){
         //统计人和车个数。
     }
        。。。。。。
     display_meta = nvds_acquire_display_meta_from_pool(batch_meta);
     NvOSD_TextParams *txt_params  = &display_meta->text_params[0];
     nvds_add_display_meta_to_frame(frame_meta, display_meta); 

  }
}

deepstream-gst-metadata-test

这个例子是在streammux之前加的user meta, 在streamnux之后，会被转为NvDsFrameMeta级别的user meta.  有三个probe函数，从函数名就能看出函数挂在什么地方。
h264parse_src_pad_buffer_probe   
{
 /* Attach decoder metadata to gst buffer using gst_buffer_add_nvds_meta() */
  meta = gst_buffer_add_nvds_meta (buf, h264parse_meta.....
  /* Set metadata type */
  meta->meta_type = (GstNvDsMetaType)NVDS_GST_META_BEFORE_DECODER_EXAMPLE;
}
nvdecoder_src_pad_buffer_probe   
{
  /* Attach decoder metadata to gst buffer using gst_buffer_add_nvds_meta() */
  meta = gst_buffer_add_nvds_meta (buf, decoder_meta.....
  /* Set metadata type */
  meta->meta_type = (GstNvDsMetaType)NVDS_DECODER_GST_META_EXAMPLE;
}
nvinfer_src_pad_buffer_probe     
{
    NvDsBatchMeta *batch_meta = gst_buffer_get_nvds_batch_meta (buf);
    for (l_frame = batch_meta->frame_meta_list; l_frame != NULL; l_frame = l_frame->next) {
        NvDsFrameMeta *frame_meta = (NvDsFrameMeta *) (l_frame->data);
        for (l_user_meta = frame_meta->frame_user_meta_list; l_user_meta != NULL; l_user_meta = l_user_meta->next) {
              if(user_meta->base_meta.meta_type == NVDS_DECODER_GST_META_EXAMPLE)
              {...... }

             if(user_meta->base_meta.meta_type == NVDS_GST_META_BEFORE_DECODER_EXAMPLE)
             {...... }
        }
    }
}

deepstream_image_meta_test
有两个probe函数，在这个pgie_src_pad_buffer_probe中，将检测到的object进行jpg编码，挂到object的usermeta，在osd_sink_pad_buffer_probe中可以保存jpg到本地。
osd_sink_pad_buffer_probe{
      snprintf (fileNameString, FILE_NAME_SIZE, "%s_%d_%d_%d_%s_%dx%d.jpg",
          osd_string, frame_number, frame_meta->source_id, num_rects,
          obj_meta->obj_label, obj_res_width, obj_res_height);
   while (usrMetaList != NULL) {
          NvDsUserMeta *usrMetaData = (NvDsUserMeta *) usrMetaList->data;
          if (usrMetaData->base_meta.meta_type == NVDS_CROP_IMAGE_META) {
            NvDsObjEncOutParams *enc_jpeg_image =
                (NvDsObjEncOutParams *) usrMetaData->user_meta_data;
            fwrite (enc_jpeg_image->outBuffer, sizeof (uint8_t),
                enc_jpeg_image->outLen, file);
  }
} 
pgie_src_pad_buffer_probe   
{

       //obj_meta存有位置信息
        nvds_obj_enc_process (ctx, &userData, ip_surf, obj_meta, frame_meta);
}

deepstream_infer_tensor_meta_test

有4级别推理，分别是识别人车，车类型，车颜色，车制造商。 sgi的network_mode是100，那就要自己实现后处理，比如解析tensor data以获取分类置信度和标签，如果置信度大于阀值，就创建classifier_meta，并添加到object_meta。

 启动命令: ./deepstream-infer-tensor-meta-app -t infer /home/nvidia/videos/sample_720p.h264

osd_sink_pad_buffer_probe     //挂在osd

{

   //跟其他例子一样，往帧级meta加个display meta.

    nvds_add_display_meta_to_frame (frame_meta, display_meta);

}

配置：output-blob-names=conv2d_bbox;conv2d_cov/Sigmoid

output-tensor-meta=1
从配置可看出，输出层有两个，分别是conv2d_bbox和conv2d_cov/Sigmoid，output-tensor-meta等于1表明，用户可以在meta获取NvDsInferTensorMeta，这个数据包含推理输出，可以参考NvDsInferParseCustomResnet的处理。
pgie_pad_buffer_probe   // 挂在一级推理之后
{
    PGIE会把推理得到NvDsInferTensorMeta挂到帧级meta，在这个函数中，先获取到NvDsInferTensorMeta数据，再调NvDsInferParseCustomResnet进行解析，存到      std::vector < NvDsInferObjectDetectionInfo > objectList;最后将所有矩形信息，添加到帧级meta，如下：

      for (const auto & rect:objlist) {

          NvDsObjectMeta *obj_meta =

              nvds_acquire_obj_meta_from_pool (batch_meta);

          nvds_add_obj_meta_to_frame (frame_meta, obj_meta, NULL);

      }
}

配置：output-blob-names=predictions/Softmax
          output-tensor-meta=1

sgie_pad_buffer_probe   //挂在二级推理之后
{
   SGIE会把推理得到NvDsInferTensorMeta挂到object级meta，在这个函数中，也是先获取NvDsInferTensorMeta数据，再解析tensor，得到置信度和标签，最后创建NvDsClassifierMeta，添加到object级别meta，如下：

          nvds_add_label_info_meta_to_classifier (classifier_meta, label_info);

          nvds_add_classifier_meta_to_object (obj_meta, classifier_meta);

         比如，第一个模型检测是个车，创建object,第二个模型检测是大轿车，修改object的显示名称，第三个模型检测是个日产车，再修改object的显示名称，的四个模型检测是个黑色车，再修改object的显示名称，最终的显示名车可以是display_text:Vehicle sedan Nissan black。

}

nvds_remove_obj_meta_from_frame

此函数用于从framemeta上删除objectmeta,比如检测出有人和车的meta,只想留下人的meta，可以应用此函数，如下修改deepstream-test1的例子：

for (l_frame = batch_meta->frame_meta_list; l_frame != NULL;
      l_frame = l_frame->next) {
        NvDsFrameMeta *frame_meta = (NvDsFrameMeta *) (l_frame->data);
          printf("loop\n");
        //nvds_remove_frame_meta_from_batch(batch_meta, frame_meta);
        int offset = 0;
        for (l_obj = frame_meta->obj_meta_list; l_obj != NULL;
                ) {
            obj_meta = (NvDsObjectMeta *) (l_obj->data);
            NvDsMetaList *obj_next = l_obj->next;
            if (obj_meta->class_id == PGIE_CLASS_ID_VEHICLE) {
                vehicle_count++;
                num_rects++;
                printf("remove\n");
                nvds_remove_obj_meta_from_frame(frame_meta, obj_meta);
            }
            if (obj_meta->class_id == PGIE_CLASS_ID_PERSON) {
                person_count++;
                num_rects++;
                 printf("have person\n");

            }

            l_obj = obj_next;

        } 
    }

 如果有什么deepstream问题，可以发到deepstream论坛，有专人回复DeepStream SDK - NVIDIA Developer Forums