ST 意法半导体人工智能（AI）X-CUBE-AI 扩展包入门指南

引言

本用户手册指导了基于 IDE 逐步构建用于 STM32 微处理器的完整人工智能（AI）项目，自动转换预训练好的神经网络（NN）并集成所生成的优化库。本手册还介绍了 X-CUBE-AI 扩展包，该扩展包与 STM32CubeMX 工具完全集成。本用户手册还介绍了可选插件式 AI 测试应用程序或者用于 AI 系统性能和验证的实用工具。

本文档的第一部分是快速生成 STM32 AI 项目的实践性学习。采用一个 NUCLEO-F746ZG 开发套件和公开的几个用于深度学习（DL）的模型作为实践范例。任何 STM32 开发套件或者基于 STM32F3、STM32F4、STM32L4STM32L4+、STM32F7、STM32H7 或 STM32WB 系列微控制器的客户板也可在稍作修改后使用。

本文档的第二部分详细说明了 X-CUBE-AI 自动生成的 NN 库，以及嵌入式客户端推理 API。这里还介绍了使用 X-CUBE-AI 实现AI 性能和验证，以及各种 DL 工具箱中使用的功能。


1 概述

X-CUBE-AI 扩展包专门用于基于 STM32 Arm® Cortex®-M 的 MCU 上运行的 AI 项目。

当前版本用户手册中的描述基于：
• X-CUBE-AI r3.3.0
• 嵌入式推理客户端 API 1.0.0
用于本文档中各示例的预训练 Keras DL 模型包括：
• https://github.com/Shahnawax/HAR-CNN-Keras：在 Keras 中利用 CNN 实现人类活动识别
• https://github.com/Shahnawax/KWS-ANN-KERAS：KWS-ANN-KERAS - 关键词识别
提示 Arm 是 Arm Limited（或其子公司）在美国和/或其他地区的注册商标。

1.1 STM32Cube™是什么？

STM32Cube™源自意法半导体，旨在通过减少开发工作量、时间和成本，明显提高设计人员的生产率。

STM32Cube™涵盖整个 STM32 产品系列。

STM32Cube™包括：
• 一套用户友好的软件开发工具，覆盖从构想到实现的整个项目开发过程，其中包括：
– STM32CubeMX 图形软件配置工具 STM32CubeMX，可通过图形向导自动生成初始化 C 代码。
– STM32CubeProgrammer（STM32CubeProg），图形版本和命令行版本中可用的编程工具。
– STM32CubeMonitor-Power（STM32CubeMonPwr），测量并帮助优化 MCU 功耗的监控工具。

• STM32Cube™ MCU 包，针对于每个微控制器系列的综合嵌入式软件平台（例如，STM32F4 系列的STM32CubeF4），它包括：
– STM32Cube™硬件抽象层（HAL），确保在 STM32 各个产品之间实现最大限度的可移植性。
– STM32Cube™底层 API，通过硬件提供高度用户控制，确保最佳性能和内存开销
– 一套一致的中间件，比如 RTOS、USB、TCP/IP 和图形。
– 配备完整外设和应用示例的全部嵌入式软件实用工具


1.2 X-CUBE-AI 如何补充 STM32Cube™？

X-CUBE-AI 通过提供在计算和存储器（RAM 和闪存）方面均已优化的自动神经网络库生成器扩展STM32CubeMX，该生成器将预训练的神经网络从最常用的 DL 框架（如 Caffe、Keras、Lasagne 和 ConvnetJS）转换为自动集成到最终用户项目的库。项目自动完成设置，准备好在 STM32 微控制器上进行编译和执行。X-CUBE-AI 还为项目创建添加特定 MCU 过滤，从而选择符合用户 NN 特定标准要求（如 RAM 或闪存大小）的正确设备，进而扩展 STM32CubeMX。

X-CUBE-AI 工具可生成三种项目：
• STM32 MCU 上运行的系统性能项目，可精确测量 NN 推理 CPU 负载和存储器使用情况
• 验证项目，在桌面 PC 和 STM32 Arm® Cortex®-M 的 MCU 嵌入式环境下递增地验证 NN 在随机或用户测试数
据激励下返回的结果。
• 应用模板项目，可构建包括多网络支持的应用程序


1.3 X-CUBE-AI 内核引擎

X-CUBE-AI 内核引擎，如图 1 和图 2 所示，是 X-CUBE-AI 扩展包的一部分，之后将在第 1.3 节 介绍。它提供一个自动且先进的 NN 映射工具，利用有限并受约束的硬件资源为嵌入式系统的预训练神经网络（DL 模型）生成并部署优化且稳定的 C 模型。生成的 STM32 NN 库（专用和通用部分）可直接集成到 IDE 项目或者基于 makefile 的构建系统。

还可导出定义明确且特定的推理客户端 API（参考第 8 节 嵌入式推理客户端 API），用于开发客户端基于AI 的应用程序。支持各种用于深入学习的框架（DL 工具箱）和层（参考第 12 节 支持的深度学习工具箱和层深度学习）。

配备一个简单的配置接口。使用预训练的 DL 模型文件时，仅需要较少的参数：
• 名称：表示生成的 C 模型的名称（默认值为“network”）
• 压缩：表示用于减小权重/偏差参数大小的压缩系数（参考第 6.1 节 图形流和存储器布局优化器）
• STM32 系列：选择优化的 NN 内核运行时库

图 2，总结了上传的 DL 模型和目标子系统运行时的主要支持功能。

 

• 仅支持简单的张量输入和简单的张量输出
– 4 维形状：批、高度、宽度、通道（参考第 8.1 节 输入和输出 x-D 张量布局）
– 仅浮点类型

• 仅支持 32 位浮点生成的 C 模型
– 生成过程块（参考第 6.1 节 图形流和存储器布局优化器）
– 通过结构保证预训练模型的精度


1.4 STM32CubeMX 扩展

STM32CubeMX 是用于 STM32 微处理器的软件配置工具。单击一下，它即可利用图形向导（如引脚分配冲突处理器、时钟树设置助手等）为 STM32 创建完整的 IDE 项目，包括生成用于设备和平台设置（引脚、时钟树、外设和中间件）的 C 初始化代码。
 

从用户的角度来看，集成 X-CUBE-AI 扩展包可以视为添加 IP 或中间件 SW 组件。基于 X-CUBE-AI 内核，提供了以下主要功能：
• 利用可选特定 AI 过滤器移除内存不足的设备，扩展 MCU 过滤器选择器。如启用，将直接滤除没有 Arm®Cortex®-M4 或-M7 内核的 STM32 设备。
• 提供完整的 AI UI 配置向导，可上传多个 DL 模型。包括在桌面 PC 和目标上对生成的 C 代码进行的验证过程。
• 扩展 IDE 项目生成器，辅助生成优化 STM32 NN 库并将其集成到选定 STM32 Arm® Cortex®-M 内核与 IDE。
• 可选插件式应用程序可生成完整的即用型 AI 测试应用程序项目，包括生成的 NN 库。用户必须已将其导入到首选 IDE 内，才能生成固件映像并进行刷写。最终用户无需附加代码或修改。


1.5 缩写、缩略语和定义

表 1 详细列出了本文档中所用的特定缩略词和缩写词。
 

1.6 先决条件

必须安装以下软件包（参考第 2 节 安装 X-CUBE-AI）：
• STM32CubeMX 5.0.1 或更高版本
• 附加软件包 - STM32CubeMX AI 3.3.0 包

必须安装用于 STM32 的一个以下工具链或 IDE：
• TrueSTUDIO® 适用于 STM32 v9.0.1 或更高版本的 TrueSTUDIO®（atollic.com/truestudio）
• IAR Embedded Workbench™ IDE - ARM v8.x or v7.x（www.iar.com/iar-embeddedworkbench）
• µVision® V5.25.2.0 - Keil® MDK-ARM 专业版（www.keil.com）
• System Workbench for STM32（SW4STM32）
• GNU Arm Embedded Toolchain（developer.arm.com/open-source/gnu-toolchain/gnu-rm）

可以使用 STM32CubeMX 支持的所有操作系统：
• Windows® 10 和 Windows® 7
• Ubuntu® 18.4 和 Ubuntu® 16.4（或衍生版本）

提示 • macOS®（x64）（已在 OS X® El Capitan 和 Sierra 上测试）


1.7 Ubuntu®是 Canonical Ltd.的注册商标

macOS®和 OS X®是苹果公司在美国及其他国家注册的商标。


授权

X-CUBE-AI 根据 Mix Ultimate Liberty+OSS+3rd-party V1 软件许可协议（SLA0048）交付。

 

登录大大通，了解更多详情，解锁1500+完整应用方案，更有大联大700+FAE在线答疑解惑！