PaddleX端侧部署实战指南：从环境搭建到模型推理全流程-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00455/article/details/148505105

PaddleX端侧部署实战指南：从环境搭建到模型推理全流程

PaddleX PaddlePaddle End-to-End Development Toolkit（『飞桨』深度学习全流程开发工具）项目地址: https://gitcode.com/gh_mirrors/pa/PaddleX

前言

PaddleX作为飞桨全流程开发工具，提供了从数据准备到模型部署的完整解决方案。本文将重点介绍如何将PaddleX训练好的模型部署到Android移动设备上，实现边缘计算场景下的高效推理。

一、端侧部署概述

端侧部署是指将深度学习模型部署到终端设备（如手机、嵌入式设备等）上运行，具有以下优势：

低延迟：数据在本地处理，无需网络传输
隐私保护：数据无需上传到云端
离线可用：不依赖网络连接
成本节约：减少服务器开销

PaddleX支持多种端侧部署方式，本文重点介绍在Android设备上通过Shell命令运行的部署方案。

二、支持模型列表

PaddleX当前支持以下6大类模型在Android端的部署：

| 模型类型 | 具体模型 | CPU支持 | GPU支持 | |----------------|-----------------------------|---------|---------| | 目标检测 | PicoDet-S/PicoDet-L | ✓ | ✓ | | 版面区域检测 | PicoDet_layout_1x | ✓ | ✓ | | 语义分割 | PP-LiteSeg-T | ✓ | ✓ | | 图像分类 | PP-LCNet_x1_0/MobileNetV3 | ✓ | ✓ | | 文本检测 | PP-OCRv4_mobile_det | ✓ | ✗ | | 文本识别 | PP-OCRv4_mobile_rec | ✓ | ✗ |

注：GPU支持指使用OpenCL技术将计算映射到GPU执行

三、环境准备

3.1 开发环境配置

CMake安装：
- 版本要求：≥3.10（推荐3.20+）
- 安装方法：
  - Mac: brew install cmake
  - Linux: sudo apt install cmake
  - Windows: 官网下载安装包
Android NDK安装：
- 版本要求：≥r17c（推荐r20b+）
- 下载地址：Android开发者官网NDK下载页面
ADB工具安装：
- Mac: brew install android-platform-tools
- Linux(Debian系): sudo apt install adb
- Windows: 下载Android Studio自带

3.2 设备环境检查

准备Android手机并开启开发者模式
通过USB连接电脑
终端执行adb devices确认设备连接成功

四、部署流程详解

4.1 项目初始化

获取部署代码库
下载模型资源包（需填写相应问卷获取下载链接）

4.2 模型准备

PaddleX模型需要经过优化才能部署到移动端：

使用paddle_lite_opt工具将训练好的模型转换为.nb格式
将优化后的模型放入项目指定目录

# 示例：目标检测模型准备
cd PaddleX-Lite-Deploy/object_detection/assets
sh download.sh PicoDet-L

4.3 编译配置

修改CMakeLists.txt中的NDK路径
根据平台设置CMAKE_SYSTEM_NAME：
- Windows: set(CMAKE_SYSTEM_NAME windows)
- Mac: set(CMAKE_SYSTEM_NAME darwin)

4.4 编译与运行

# 编译
cd android/shell/cxx/picodet_detection
sh build.sh

# 运行
sh run.sh PicoDet-L

五、实战示例：目标检测部署

5.1 部署流程

下载预测库：
```
cd libs
sh download.sh
```

准备模型资源：

cd ../object_detection/assets
sh download.sh PicoDet-L

编译部署包：

cd ../android/shell/cxx/picodet_detection
sh build.sh

执行推理：
```
sh run.sh PicoDet-L
```

5.2 结果解析

执行成功后，终端将输出类似以下信息：

======= benchmark summary =======
input_shape(s) (NCHW): {1, 3, 320, 320}
model_dir:./models/PicoDet-L/model.nb
warmup:1
repeats:10
power_mode:1
thread_num:0
* time info(ms) *
1st_duration:320.086
max_duration:277.331
min_duration:272.67
avg_duration:274.91

====== output summary ======
detection, image size: 768, 576, detect object: bicycle, score: 0.905929, location: x=125, y=120, width=441, height=304
detection, image size: 768, 576, detect object: truck, score: 0.653789, location: x=465, y=72, width=230, height=98
detection, image size: 768, 576, detect object: dog, score: 0.731584, location: x=128, y=222, width=182, height=319

同时会在设备上生成标注结果图片dog_picodet_detection_result.jpg。