Qualcomm Robotics RB5 平台软件用户指南（10）

最新推荐文章于 2024-04-25 16:59:40 发布
最新推荐文章于 2024-04-25 16:59:40 发布
阅读量986 收藏 15
点赞数 16
分类专栏： RB5 Qualcomm 笔记 文章标签： Qualcomm 嵌入式硬件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38498942/article/details/137929531
版权
笔记 同时被 3 个专栏收录
364 篇文章 52 订阅
订阅专栏
Qualcomm
150 篇文章 22 订阅
订阅专栏
RB5
25 篇文章 3 订阅
订阅专栏

Qualcomm Robotics RB5 平台软件用户指南（10）

5 配置 AI/ML 模块

TensorFlow Lite（v2.x）是平台源代码的一部分，用于在高通平台中执行模型，支持一系列算子和应用程序开发测试。有关更多详细信息，请参阅https://www.tensorflow.org/lite/ 。

TensorFlow Lite 支持 NNAPI 委托将图形处理卸载到 DSP/GPU。目前，高通已停止支持 NNAPI 卸载模型以在 DSP/GPU 上执行。模型只能在 CPU 上执行。 NNAPI delegate 基于 Android NNAPI v1.2，支持 Android NN API 29 之前的所有操作。

TensorFlow Lite 支持多模型并发。但是，多模型应在可用的 CPU 上执行，因为不再支持委派。

5.1 使用标签图像测试 TensorFlow Lite

  1. Run adb shell mkdir /data/tf 。
  2. 对于 Linux Ubuntu，
    获取模型和标签文件use wget https://storage.googleapis.com/download.tensorflow.org/models/tflite/mobilenet_v1_224_android_quant_2017_11_08.zip
    • 对于嵌入式 Linux：

      笔记
      由于取消了加速器支持，该模型在 CPU 上执行。

  3. Run 解压mobilenet_v1_224_android_quant_2017_11_08.zip
  4. Run adb push mobilenet_quant_v1_224.tflite /data/tf/ 。
  5. Run adb push labels.txt /data/tf/。
  6. 运行获取示例图像use wget：https://github.com/tensorflow/tensorflow/raw/master/tensorflow/lite/examples/label_image/testdata/grace_hopper.bmp。
  7. Run adb push grace_hopper.bmp /data/tf/
  8. Run adb shell
  9. Go to /data/tf/: run cd /data/tf/
  10. 运行命令label_image -a 1 -m mobilenet_quant_v1_224.tflite -c 10 -l labels.txt。

5.1.1 在标签图像中设置硬件加速、多个模型及其优先级

  1. 要建模，请使用-m <list of model names comma separated m1, m2,…>
  2. 要运行多次迭代，请使用-c <# of iterations>
  3. 对于 Android 神经网络 API (NNAPI)，请使用-a 1（模型在 CPU 上执行）。
  4. 要标记文件，请使用-l <label file, for multiple models, use it as separated comma l1,l2,… >
  5. 要测试图像，请使用-i .
  6. 要使用多线程 CPU arch，请使用-t
  7. 对于Hexagon delegate,，使用-j 1
  8. 要设置推理速率限制，请使用-J <与模型一对一映射的每个模型的推理速率，即 30,15 表示模型每秒推理 30 次 m1，> 表示每秒推理 15 次m2。
  9. 要在不同的委托上运行模型，请使用-A<逗号分隔的与模型一对一映射>。
    • 0→默认CPU
    • 1 → NNAPI 委托
  10. 要检查Op特定委托或 CPU 上的运行情况，请使用 profiling -p 1。
  11. 要获取有关模型的完整详细信息，请使用-v 1。

5.2 使用基准测试应用程序测试 TensorFlow Lite

要使用基准测试应用程序测试 TensorFlow Lite，请使用以下命令：

benchmark_model --graph=mv1_1.0_224_quant.tflite --enable_op_profiling=true --use_nnapi=true --num_threads=4

在这里插入图片描述
在这里插入图片描述

5.3 安装 GStreamer 插件

  1. 启用 Qualcomm 神经处理 SDK 发行版功能。

    • 添加qti-snpe到DISTRO_FEATURES_append发行版配置文件中的列表。
    • 配置文件： poky/meta-qti-bsp/conf/distro/.conf
    • 配置：DISTRO_FEATURES_append = " qti-snpe"

  2. 在工作区中添加 Qualcomm 神经处理 SDK 包。

    • 下载Qualcomm神经处理SDK包并解压。
    • 去poky/meta-qti-ml-prop/recipes/snpe-sdk/。
    • 在此目录下创建一个文件夹Files 。
    • 将解压后的 Qualcomm 神经处理 SDK 包文件夹复制到 poky/meta-qti-ml-prop/recipes/snpe-sdk/files/.
    • 将复制的文件夹名称重命名为snpe。

    例如，如果 Qualcomm 神经处理 SDK 文件夹名称为 snpe-x.y.z，请将其重命名为snpe。

    最终的目录结构应该类似于 poky/meta-qti-ml-prop/recipes/snpe-sdk/files/snpe/.

  3. 重建映像并将映像刷新到设备。

5.4 测试高通神经处理SDK

要测试 Qualcomm 神经处理 SDK，请执行以下操作：

  1. 如果不存在，则将库和二进制文件推送到设备上：

    • 将lib\aarch64-oe-linux-gcc9.3下的所有aarch64库推送到 /usr/lib/ 。
    • 将 DSP 库推lib\dsp送到/usr/lib/rfsa/adsp/.
    • 将bin\aarch64-oe-linux-gcc9.3下的所有二进制文件推送到 /usr/bin/.
    • 设置chmod 755所需二进制文件的权限。
    • 创建一个symlink:ln-s lib lib64来自root ‘/’.

    qtimlsnpe如果插件已构建并安装，则不需要此步骤。有关安装的更多信息qtimlsnpe，请参阅安装 GStreamer 插件。

  2. 使用以下命令验证 Qualcomm 神经处理 SDK 运行时。

snpe-platform-validator --runtime all

预期输出表明 SNPE DSP 运行时已准备好使用。
- PF_VALIDATOR：DEBUG：启动计算器测试
- PF_VALIDATOR：调试：已成功加载 DSP 库 - ‘libcalculator_domains.so’。设置指针。
- PF_VALIDATOR: DEBUG: 执行求和函数成功

运行时应满足以下 DSP 先决条件。

- PF_VALIDATOR：调试：调用PlatformValidator->setRuntime
- PF_VALIDATOR：DEBUG：CPU 端验证已通过。

  1. 使用以下命令在 Qualcomm 神经处理 SDK 上运行模型。

    snpe-net-run
          --container <full path to model > --input_list <target_raw_list.txt>
          --perf_profile balanced --use_dsp

有关如何将模型转换为 Qualcomm 神经处理 SDK DLC 格式并生成输入图像的更多信息，请参阅https://developer.qualcomm.com/。

5.5 添加GST插件以支持张量输入和输出

您可以添加 ML 插件来支持通用张量输入和张量输出。解耦预处理和后处理是单独的 GST 组件。因此，您可以在推理后运行自定义后处理。您还可以在单​​独的 GST 插件或 docker 应用程序中对其进行配置。

要添加 GST 插件以支持张量，请执行以下操作：

  1. 设置 adb root 和 adb shell。
  2. 将模型和标签文件推送到设备上。这些模型可以从 TensorFlow Lite 网页下载。
adb push  detect.tflite /data/ 
adb push detection.labels /data/
adb push mobilenet_v2_1.0_224_quant.tflite /data/
adb push classification.labels /data/
adb push dv3_argmax_int32.tflite /data/
adb push segmentation.labels /data/
  1. Weston 必须为显示用例运行。有关详细信息，请参阅验证 Weston 。

5.6 物体检测用例

  • 描述了以下用例：

    • 单摄像头流：1080p，带 AI 推理。
    • 单文件流：720p，带 AI 推理。

  • TensorFlow Lite：执行用例的步骤

    • 显示（变体 1）：使用qtioverlay插件应用边界框覆盖。

      • 相机来源：

        • Linux Ubuntu：

          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! text/x-raw ! queue ! metamux.

        • 嵌入式Linux：

          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! text/x-raw ! queue ! metamux.

      • 文件来源：

        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/Draw_720p_180s_24FPS.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! text/x-raw ! queue ! metamux.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/Draw_720p_180s_24FPS.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! text/x-raw ! queue ! metamux.

    • 显示（变体 2）：使用qtivcomposer插件将原始帧与边界框蒙版混合。

      • 相机来源：
        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.
      • 文件来源：
        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/Draw_720p_180s_24FPS.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/Draw_720p_180s_24FPS.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.

    • 编码（变体 1）：使用qtioverlay插件应用边界框覆盖。

      • 相机来源：
        gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! qtic2venc target-bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! text/x-raw ! queue ! metamux.
      • 文件来源：
        gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/ Draw_720p_180s_24FPS.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! qtic2venc target-bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/ yolov5m.labels ! text/x-raw ! queue ! metamux.

    • 编码（变体 2）：使用qtivcomposer插件将原始帧与边界框蒙版混合。

      • 相机来源：
        gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\ (memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! qtic2venc target- bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320-
int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! video/x- raw,format=BGRA,width=640,height=360 ! queue ! mixer.
      • 文件来源：
        gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/ Draw_720p_180s_24FPS.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! qtic2venc target- bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=hexagon model=/data/yolov5m-320x320- int8.tflite ! queue ! qtimlvdetection threshold=75.0 results=10 module=yolov5m labels=/data/yolov5m.labels ! video/x- raw,format=BGRA,width=640,height=360 ! queue ! mixer.

  • Qualcomm 神经处理 SDK：执行用例的步骤

    • 显示（变体 1）：使用qtioverlay插件应用检测叠加。
      • 相机来源：
        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay text-font-size=24 ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! text/x-raw ! queue ! metamux.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay text-font-size=24 ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! text/x-raw ! queue ! metamux.
      • 文件来源：
        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/draw.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay text-font-size=24 ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! text/x-raw ! queue ! metamux.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/draw.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay text-font-size=24 ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! text/x-raw ! queue ! metamux.
    • 显示（变体 2）：使用qtivcomposer插件将原始帧与检测掩模混合。
      • 相机来源：
        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! video/x-raw,width=640,height=360 ! queue ! mixer.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=false fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! video/x-raw,width=640,height=360 ! queue ! mixer.
      • 文件来源：
        • Linux Ubuntu：
          export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/draw.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! video/x-raw,width=640,height=360 ! queue ! mixer.
        • 嵌入式Linux：
          export WAYLAND_DISPLAY=wayland-1 && export XDG_RUNTIME_DIR=/run/user/root && gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/draw.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! waylandsink sync=true fullscreen=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! video/x-raw,width=640,height=360 ! queue ! mixer.
    • 编码（变体 1）：使用qtioverlay插件应用检测覆盖。
      • 相机来源：
        gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay text-font-size=24 ! queue ! qtic2venc target-bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! text/x-raw ! queue ! metamux.
      • 文件来源：
        gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/draw.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtimetamux name=metamux ! queue ! qtioverlay text-font-size=24 ! queue ! qtic2venc target-bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! text/x-raw ! queue ! metamux.
    • 编码（变体 2）：使用qtivcomposer插件将原始帧与检测掩模混合。
      • 相机来源：
        gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! qtic2venc target-bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! video/x-raw,width=640,height=360 ! queue ! mixer.
      • 文件来源：
        gst-launch-1.0 -e --gst-debug=2 filesrc location=/data/draw.mp4 ! qtdemux ! queue ! h264parse ! qtic2vdec ! queue ! tee name=split ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! qtic2venc target-bitrate=6000000 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/data/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/data/yolov5s_relu_finetune_quantized_cle_bc.dlc layers="<Conv_139, Conv_140, Conv_141>" ! queue ! qtimlvdetection threshold=90.0 results=10 module=yolov5s labels=/data/yolov5s.labels ! video/x-raw,width=640,height=360 ! queue ! mixer.

  • 验证方法

    • 当应用程序收到 CTRL+ C并成功终止命令行工具时，会将 .mp4 文件保存到存储中。
    • 要验证 AI 处理，请检查显示屏上运行的视频流。物体（例如人）周围应该有可见的边界框。
weixin_38498942
关注
专栏目录
尝试恢复Qualcomm Robotics RB3
UnseenMe的博客
10-08 980
高通RB3(845c)这块板子最近无法正常启动进入Linux了。本文记录一下，尝试恢复的过程。 1 准备 先从以下链接下载好bootloader release。 http://releases.linaro.org/96boards/dragonboard845c/linaro/rescue/latest/ 我下载的时候，Release的BUILD NUMBER是50。所以得到了以下ZIP文件。解压这个文件，以备后用。 dragonboard-845c-bootloader-ufs-linux-50.z
pixelpusher：Heroic Robotics PixelPusher LED驱动器的控制软件
02-21
Pixelpusher是一款由Heroic Robotics开发的LED驱动器控制软件，专为管理和操作PixelPusher设备而设计。PixelPusher是一种先进的硬件设备，用于驱动大量的LED灯条或像素点阵，广泛应用于灯光艺术装置、舞台照明、室内...
Qualcomm Robotics RB5 平台软件用户指南（1）
weixin_38498942的博客
04-03 1421
本文档介绍如何配置子系统功能、运行选定的系统用例以及使用可用的调试功能执行故障排除。本文档适用于有兴趣了解如何测试系统关键功能区域并排除故障的软件开发人员和系统测试人员。Robotics RB5 平台支持 Linux Ubuntu 和 Linux Embedded 操作系统。在本文档中，操作系统特有的信息使用单独的头来呈现。如需技术支持，请参阅https://www.qualcomm.com/support。
Qualcomm Robotics RB5 平台软件用户指南（3）
weixin_38498942的博客
04-11 999
在 Codec2 实现中，gralloc被替换为 GBM，因为 GBM 是 Linux 发行版上用于在应用程序之间共享显示缓冲区的流行机制。配置视频设置涉及设置支持的帧速率和接口。H.264/HEVC/VP9 解码为 7680 × 4320（60 fps）/8192 × 4320（48 fps）这种将相机帧发送到结构内视频的过程encoder_media_buffer_type称为元模式或零复制功能。当相机将帧发送到struct encoder_media_buffer_type.
Qualcomm Robotics RB5 平台软件用户指南（14）
weixin_38498942的博客
04-25 994
该BCMDump.cmm []脚本转储每个 VCD 和 BCM 实例的信息。最终选定的时钟计划（FINAL_CP）以及SND CP和聚合CP的聚合（AGG_CP）；子系统名称可以是应用程序处理器、调制解调器、音频、传感器、AOP、调试、GPU、显示或计算 DSP。CMM 脚本在解析每个资源（例如，BCM 或虚拟时钟域 (VCD)）时检查以下内容。VRM包含当前资源状态(CRS)寄存器，其指示最终的VRM资源设置稳定状态。Sel_CP是BCM特殊节点CP选择，基于延迟投票和当前投票负载。
Qualcomm 机器人 RB5 开发套件用户指南（2）
weixin_38498942的博客
02-01 1864
导航到应用程序处理器构建软件位置，例如， /lu.um.3.3.1/apps_proc/build-qti-distro-ubuntu-fullstack-debug/tmp-glibc/deploy/images/qrb5165-rb5。Fastboot 是一个程序，用于通过主机的 USB 连接列出、安装和擦除操作系统二进制映像到非易失性存储器（例如遵守 fastboot 协议的设备上的闪存文件系统分区）。要使用这些工具，您需要拥有 Qualcomm 的有效帐户。
工业机器人仿真软件：Staubli Robotics Suite.zip
最新发布
08-19
史上最全工业软件二次开发技术全套教程，包括： 工业机器人仿真软件 工业机器人传感器 工业机器人品牌 工业机器人控制器 工业机器人编程语言 等流行技术的系列教程
Comau Robotics C5G 控制单元操作指南
手册涵盖了从系统启动、关闭到用户界面、教示 pendant 的使用，以及WinC5G软件和I/O配置等各个方面的信息。" 在手册的"总结"部分，它提到了前言、手册中使用的符号、参考文档、修改历史等关键内容。这表明手册不仅...
基于Qualcomm Robotics RB5边缘侧AI应用—人群热力图
csdnsqst0050的博客
01-11 1361
热力图是一个区域中基于彼此距离的不同颜色编码的人或任何物体的视觉表示。热力图可以用来进行相关分析，例如可以知道顾客对商店中产品的偏好区域，从而做出对应的措施，避免结账时过度拥挤。可以使用YoloV5模型进行人员检测。在这个存储库中，我们实现了各种AI用例，这些用例可以使用YoloV5模型在高通Robotics RB5平台上实现。
Qualcomm AI Hub-Profiling介绍
csdnsqst0050的博客
03-12 1303
Qualcomm AI Hub能够帮助开发者能够快速的针对AI模型进行验证，优化以及部署到设备端。本文主要介绍AI Hub是中的模型性能调优（Profiling）都测量了哪些关键的指标以及不同指标代表的意义。
gstreamer 介绍
u012794472的专栏
04-02 423
什么是Gstreamer？ Gstreamer是一个支持Windows，Linux，Android， iOS的跨平台的多媒体框架，应用程序可以通过管道（Pipeline）的方式，将多媒体处理的各个步骤串联起来，达到预期的效果。每个步骤通过元素（Element）基于GObject对象系统通过插件（plugins）的方式实现，方便了各项功能的扩展。 下图是对基于Gstreamer框架的应用的简单分层： Media Applications 最上面一层为应用，比如gstreamer自带的一些工具（
Qualcomm Robotics RB5 平台软件用户指南（9）
weixin_38498942的博客
04-18 1166
中的压缩参数capsfilter用于控制UBWC，当设置为compression=UBWC时，将为该特定流启用UBWC。下图说明了由放置在 2 × 2 网格中的四个输入构成的输出的用例，其中一个输入流是摄像机的 1080p 实时预览，其余三个流是 1080p 录像机视频。插件qtic2venc对其进行编码，码率为6 Mbps，码率控制设置为恒定，I帧间隔设置为29，即每第30帧为I帧。在此用例中，1080p AVC 视频流被解码为 YUV，缩小为 720p，然后在 AVC 编码后转储到文件。
Qualcomm Robotics RB5 平台软件用户指南（4）
weixin_38498942的博客
04-11 1170
有关如何选择正确设置的详细信息，请参阅 QRB5165 设备上 /etc目录中的Mixer_paths_iot.xml文件。设置混音器设置后，访问正确的音频设备节点以开始流式传输。有关音频 HAL 用例的完整列表，请检查音频 HAL 中的audio_hw.c文件。有关音频设备的完整列表，请检查音频 HAL 中的platform.h文件。Mixer_paths_iot.xml文件中存在以下混频器控制序列。下表列出了配置音频设置所需的音频内核和其他模块的源位置。启动后， /dev/snd目录下有以下设备节点。
基于Qualcomm Robotics RB5边缘侧AI应用, 目标跟踪检测
csdnsqst0050的博客
12-08 1665
目标跟踪是计算机视觉的一个常见任务，任务要求检测到连续的视频帧中的目标，并对每一个目标分配唯一标识。跟踪的目标可以行人、车辆、行李等。本文介绍高通开源的行人跟踪示例Linux应用，该基于高通Snapdragon Neural Processing Engine SDK（SNPE）实现。
RB1_UTS_171401067_robotics_源码
10-04
Modern robotics exercise from university
性能分析 Profiling
04-29 1086
转载：http://game.ceeger.com/Manual/MobileProfiling.html Ports that the Unity profiler uses: Unity分析器使用的端口如下： MulticastPort : 54998 组播端口：54998 ListenPorts : 55000 - 55511 监听端口：550
车载信息服务软件开发包使用指南（15）
热门推荐
weixin_38498942的博客
01-16 1万+
车载信息服务软件开发包使用指南（15）
OpenCL优化案例研究 (4)
weixin_38498942的博客
05-27 1万+
OpenCL优化案例研究 （4）9.3 Sobel滤波9.3.1 算法优化9.3.2 数据包优化9.3.3 向量化加载/存储优化9.3.4 性能和总结9.4 总结 9.3 Sobel滤波 Sobel滤波，又称Sobel算子，被用于许多图像处理和计算机视觉算法的边缘检测。它使用两个3x3核与原始图像结合来近似求导数。有两个内核，一个是水平方向，另一个是垂直方向，如图9-7所示。 图9-7 Sobel滤波的双向操作 9.3.1 算法优化 Sobel滤波是一个可分离滤波，可以分解为: 图9-8 Sobel 滤
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值