开发者分享｜使用Vitis AI在Zynq MP上实现手势识别

FPGA得益于其高可编程性以及低延迟，低功耗的特点，在机器学习的推理领域已获得了广泛的关注。在过去，FPGA对于软件开发人员来说有较高的开发门槛，把一部分开发者挡在了门外。如今越来越完善的高阶工具以及软件堆栈使得开发者可以充分利用FPGA优点对关键应用进行加速，同时不需花费时间去了解FPGA的底层实现。

Xilinx Vitis AI 是用于 Xilinx 硬件平台上的 AI 推理的开发堆栈。它由优化的 IP（DPU）、工具、库、模型和示例设计组成，使用Xilinx ZynqMP SOC或者Versal ACAP器件并借助强大的Vitis AI堆栈，已大大降低了FPGA上部署机器学习应用的门槛。

本文将使用Tensorflow 2.0从零搭建并训练一个简单的CNN模型来进行数字手势识别，并部署运行在ZynqMP开发板上，来熟悉Vitis AI的工作流程。

我们首先用Tensorflow 2.0创建模型并针对目标数据集进行训练，然后使用Vitis AI 工具对模型进行量化/编译等处理，获得运行DPU所需要的xmodel文件。最后需要编写调用Vitis AI runtime的主机应用，该应用运行在CPU上，进行必要的预处理/后处理以及对DPU进行调度。

 

1

Vitis AI环境配置

Vitis AI支持业界通用的Pytorch/Tensorflow/Caffe训练框架。模型创建和训练工作完全在通用框架下进行开发。开始