跨平台AI模型部署神器：FastDeploy实战Yolov5

简介

FastDeploy 是一款易用、高效的 AI 模型部署工具。

它旨在简化 AI 模型从训练到部署的整个流程，支持在多种硬件和操作系统上进行模型推理。

特点如下：

多平台支持 ： FastDeploy 支持在云、边、端等多种环境中部署模型，包括但不限于 Windows、Linux、Android、iOS 等操作系统。

多硬件兼容 ： 支持多种硬件平台，如 Intel CPU、NVIDIA GPU、Jetson、ARM CPU 等。

多算法支持 ： 支持多种主流算法模型，包括图像分类、目标检测、图像分割、人脸检测、人体关键点检测、文本识别等。

低门槛使用 ： FastDeploy 提供了简单易用的 API，开发者可以通过少量代码实现模型的加载、推理和输出处理。

模型推理

FastDeploy 模型推理指的是使用 FastDeploy 工具对已经训练好的 AI 模型进行加载和执行，以完成对新的输入数据的预测任务。

在机器学习和深度学习中，“推理”（Inference）通常指的是模型对新数据进行预测的过程，与模型的训练阶段（Training）相对。

推理过程包含以下步骤：

加载模型：将训练好的模型从磁盘加载到内存中，以便进行推理

预处理输入数据：对新的输入数据进行必要的预处理，比如调整图像大小、归一化等，以匹配模型训练时的数据格式。

执行推理：将预处理后的数据输入模型，模型根据其学习到的参数进行计算，输出预测结果。

后处理输出数据：对模型的输出结果进行必要的处理，比如解码、阈值筛选、非极大值抑制（NMS）等，以获得最终的预测结果。

输出结果：将处理后的预测结果输出，这可能是分类标签、边界框坐标、分割图等，具体取决于模型的类型和任务。

安装

github：https://github.com/PaddlePaddle/FastDeploy/blob/develop/README_CN.md

新建一个目录 fastDeploy-yolo5，本文所用环境是，wind10 conda 虚拟环境 python3.9

本电脑没有 gpu ，就只能安装 cpu 版本。

切换到 fastDeploy-yolo5 目录，激活环境，输入以下安装命令：

pip install numpy opencv-python fastdeploy-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html

yolov5模型导出

yolov5 模型训练已经在前面的文章中讲解了，此处不在重复说明。本文以上篇训练的模型为测试模型。

由于 fastDeploy 需要的模型是 ONNX 格式的，所以 yolov5 需要转换模型。

yolov5 默认是注释掉了模型导出的依赖的，需要开启依赖

安装依赖

如图所示打开依赖注释，再安装依赖

pip install