高通智能多媒体(QIM)产品SDK快速入门指南(1)
1 概述
高通智能多媒体(QIM)产品SDK为在高通Linux平台上的边缘开发人工智能和多媒体用例提供了统一的环境。该SDK基于GStreamer,它是一个开源多媒体框架。
GStreamer为智能多媒体应用程序开发提供了模块化、可扩展和可定制的环境。例如,Edge AI 盒子、相机、机器人、无人机等。
该图显示了 QIM 产品 SDK 中的各种软件组件:
- QIM 产品 SDK 集成了称为功能 SDK 的专用组件,如下所示:
- QIM SDK:提供高通硬件加速插件,以优化应用程序开发。
- TensorflowLite SDK:为设备上的 AI 推理提供 TensorFlow Lite 框架。
- Qualcomm ®神经处理 SDK:为深度神经网络的执行提供加速运行时间。
- Qualcomm ® AI Engine Direct SDK:提供统一的API和工具,用于转换和优化Qualcomm AI加速器核心的深度学习模型。
- 它是 TensorFlow Lite 框架和 Qualcomm 神经处理的构建块。
QIM 产品 SDK 还集成了用于分析和优化的工具。
- 示例应用程序: QIM 产品 SDK 示例应用程序展示了 SDK 的集成,可实现端到端边缘分析用例。
- Qualcomm Linux 发行版:Qualcomm Linux 发行版目前支持 QIM 产品 SDK。有关详细信息,请参阅软件系统概述。
- 多媒体:QIM 产品 SDK 使用 Qualcomm Linux 平台的多媒体堆栈来公开 Qualcomm 硬件的摄像头、视频、音频和显示功能。
- OpenGL ES、Open CL 和 Vulkan:这些 SDK 使用 OpenGL ES、Vulkan 和 OpenCL 库(存在于 Qualcomm Linux 平台软件中)实现渲染和 AI/ML 操作的 GPU 加速。
当前版本的 QIM 产品 SDK 集成了以下组件:
范围
本文档提供了编译 QIM 产品 SDK 和设置开发环境的分步说明。
它描述了安装和启用 SDK 工作流程的步骤,其中包括设置构建环境,应用程序开发人员可以在其中编译 QIM 产品 SDK、开发自己的应用程序以及自定义示例应用程序。
2 构建并刷新 QIM 产品 SDK
使用Qualcomm 软件中心(QSC) 构建 QIM 产品 SDK,您可以通过该中心下载 Qualcomm 软件发行版和所需的主机端依赖项,或者使用标准 Yocto 构建进行构建。
使用 QSC 构建
使用 QSC,您可以提供适当的软件分发来下载 QIM 产品 SDK 并编译软件,以使用单个命令创建可闪存二进制文件。
使用以下任一接口通过 QSC 构建 QIM 产品 SDK:
-
命令行界面 (CLI):下载并编译 QIM 产品 SDK,并使用 QSC CLI 生成可闪存映像。
-
图形用户界面 (GUI):使用 QSC Launcher GUI 下载并编译 QIM 产品 SDK。
例如:-
对于分发标签,更新–distribution:
–distribution’Qualcomm_Linux.SPF.1.0|TEST|DEVICE|PB_QIMPSDK’。 -
对于发布标签,更新–build
–build “.LE.1.0-00155-STD.PROD-4”
-
使用GUI方法
有关说明,请参阅使用 QSC 启动器 GUI。
对于“选择要安装的软件和 SDK”,版本分发信息将根据用户访问级别进行更新。
例如:
- 如果您是拥有任意电子邮件地址的注册开发人员,请选择Qualcomm_Linux.SPF.1.0|TEST|DEVICE|发行版PB_QIMPSDK。
- 如果您是来自经过验证的组织的注册开发人员,请选择发行版Qualcomm_Linux.SPF.1.0|AP|Standard|OEM| NM_QIMPSDK。
该图显示了来自经过验证的组织的注册开发人员的选择示例:
使用 Yocto 命令构建
对于具有使用 Yocto 构建工作流程专业知识的开发人员来说,这是一个高级过程。
有关同步 Yocto 项目 (YP) 板支持包 (BSP) 和 QIM 产品 SDK,然后构建 QIM 产品 SDK 的说明,请参阅如何同步和构建 Qualcomm 智能多媒体产品 SDK。
刷新 QIM 产品 SDK 映像
要刷新已编译的映像,请参阅Flash 映像。
刷机后可以进行以下操作:
- 开发您的第一个应用程序
- 定制示例应用程序
3 运行示例应用程序
示例应用程序提供了可以执行以开发和配置应用程序的示例或参考。要配置和运行示例应用程序,请参阅QIM SDK 示例应用程序。