RB3Gen2快速开发指南(六)

示例程序

AI程序

人工智能示例应用程序展示了在 RB3 Gen 2 设备上的实时相机流上进行对象检测和并行推理的用例。要体验人工智能示例应用程序，您必须获取在 GitHub 上单独分发的人工智能模型。执行此操作的过程包括从 GitHub 下载模型，将这些模型传输到 RB3 Gen 2 设备，并执行示例应用程序。

先决条件

人工智能示例应用程序需要设备上的模型和标签文件才能运行应用程序。
要将文件推送到设备，请在 Linux 主机上运行以下命令：
1，要下载模型和标签文件，请运行以下命令：

wget https://github.com/quic/sample-apps-for-qualcomm-linux/releases/download/v0.1.0/v0.1.0.tar.gz

2，要提取文件，请运行以下命令：

tar -zxvf v0.1.0.tar.gz

3，要使用 SCP 工具将模型和标签文件推送到设备，请运行以下命令：

scp v0.1.0/* root@<rb3gen2 IP 地址>:/opt/

注意： 当提示输入密码时，输入 oelinux123。

AI物体检测

gst-ai-object-detection 示例应用程序展示了在实时相机流上执行对象检测的硬件能力。该管道接收实时相机馈送，进行预处理，在人工智能硬件上运行推理，并在屏幕上显示结果。

示例

必须将模型和标签文件推送到设备才能运行示例应用程序。有关详细信息，请参阅“先决条件”。
1，要在 HDMI 显示器上查看示例应用程序，请在 SSH 外壳中运行以下导出命令：

export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1

2，要执行该应用程序，请运行以下命令：

gst-ai-object-detection

注意： 如果未提供输入，系统默认执行 YOLO-NAS 。

• 要停止该用例，请按 CTRL + C 。
• 要显示可用的帮助选项，请运行以下命令：

gst-ai-object-detection -h

• GStreamer 调试输出由 GST_DEBUG 环境变量控制。设置所需级别以启用日志记录。例如，要记录所有警告，请运行以下命令：

export GST_DEBUG=2

并行AI融合算法

gst-ai-parallel-inference 命令行应用程序展示了在实时相机流上执行四个并行人工智能推理的硬件能力。该管道在实时相机流上执行对象检测、对象分类、姿态检测和图像分割。结果在屏幕上并排显示。

示例用法

必须将模型和标签文件推送到设备才能运行示例应用程序。有关详细信息，请参阅“先决条件”。
1，要在 HDMI 显示器上查看示例应用程序，请在 SSH 外壳中运行以下导出命令：

export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1

2，要执行该应用程序，请运行以下命令：

gst-ai-parallel-inference

• 要停止该用例，请按 CTRL + C 。
• 要显示可用的帮助选项，请运行以下命令：

gst-ai-parallel-inference -h

• GStreamer 调试输出由 GST_DEBUG 环境变量控制。设置所需级别以启用日志记录。例如，要记录所有警告，请运行以下命令：

export GST_DEBUG=2

已知问题

在姿态检测中，即使画面中有多个人，模型也只检测到一个人。

注意： 使用 Inception v3 模型进行的图像分类是在 ImageNet
数据集上训练的。因此，该模型无法检测到人，因为该类别在数据集中不可用。