RK3588平台开发系列讲解（嵌入式AI篇）嵌入式AI模型的部署

已于 2023-11-23 00:24:12 修改
阅读量2.1k 收藏 33
点赞数 27
分类专栏： RK3588 Android12 开发入门到精通专栏 文章标签： RK3588
于 2023-11-23 00:08:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33487044/article/details/134565644
版权
本文聚焦嵌入式AI模型的部署，详细讲解了从训练模型转换为推理模型的过程，包括使用rknn-toolkit进行转换、性能优化、模型压缩和安全保护。此外，还探讨了AI模型训练框架及RK3588平台支持的模型类型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

请添加图片描述

文章目录

沉淀、分享、成长，让自己和他人都能有所收获！😄

📢 本篇将给大家介绍嵌入式AI模型的部署。

一、嵌入式AI模型的部署

模型的部署，是指将训练好的模型放到运行环境中进行推理的过程。

在这里插入图片描述

一般需要经过以下操作：

  • 将训练模型转换推理模型->需要转换框架的转换器/转换工具，转换为符合硬件要求的数据结构，模型的预处理等
  • 部署阶段的一些性能优化->如算子融合、算子替换、自定义算子、模型的预编译（加快加载模型的时间）等
  • 模型压缩->量化，以减少模型精度，剪枝神经网络的稀疏，知识蒸馏等
  • 安全保护->模型的加密
  • 模型推理->涉及前处理、执行推理、后处理

瑞芯微对应的工具：

了解本专栏 订阅专栏 解锁全文
RK3588平台开发系列讲解（嵌入式AI篇）嵌入式AI的学习步骤
内核笔记
11-15 1119
📢 本篇将给大家介绍什么是嵌入式AI。
RK3588平台开发系列讲解（AI 篇）什么是NPU
内核笔记
02-08 972
📢什么是 NPU 呢？在谈这个问题之前，可以先来看看什么是 CPU 和 GPU,CPU 就是中央处理器，中央处理器就好像是人类的大脑，主要负责各种逻辑控制和任务调度。所以 CPU的计算能力相对来说不是最强的。GPU 是图形处理器，顾名思义，图形处理器是用来处理图形的，那处理图形就要涉及到大量的计算，所以 GPU 相对 CPU 来说更擅长计算，但是不擅长逻辑控制和调度。从这方面来讲就可以说 GPU 是 CPU的互补。
嵌入式模型部署学习笔记 ——在Jetson TX1上部署Yolov5模型
m0_49579642的博客
07-16 6220
Jetson TX1实现TensorRT加速YOLOv5进行实时检测
AdaptEdge 系列（第 1 篇）：探索嵌入式 AI 框架的实验之旅
EdgeAIHub的博客
04-10 714
这是一个模块化的框架，基于“输入-转换-输出-反馈”的循环理念，尝试在资源受限的设备上实现智能决策和自适应优化。它不是一个成熟的成品，而是一个逐步迭代的实验项目。
在RK3588开发板上部署AI
海涛高软
09-05 498
FR：徐海涛(hunkxu)
基于RK3588平台的机器学习模型部署
My Adventure
10-07 4647
通过rknn-toolkit2开发工具，可以方便的将各种框架下得到的机器学习模型转化为rk3588需要的rknn模型，并且调用rk3588的NPU进行模型的推理运算。考虑到rk3588的NPU具有很强的运算能力(6TOPS)，将机器学习模型部署到rk3588上并由专用的NPU提供算力支持，可以大大提高模型的计算速度和能力，为机器学习模型的终端部署提供有效保证。
Jetson嵌入式系列模型部署-1
热门推荐
周同学的博客
08-17 1万+
Jetson嵌入式系列模型部署
RK3588部署YOLOv8
m0_48979117的博客
01-16 1万+
本人基于YOLOv8改进水了一篇论文，为了增加工作量在RK3588上部署了改进的算法。根据网上的方法一直没有部署成功，最后在参考官方和网络上的方法成功实现算法的部署，因此写下这篇博客进行记录，以防后面忘了怎么部署，也可供网友参考.
RK3588平台开发系列讲解（AI 篇）RKNPU 推理软件框架
内核笔记
08-14 2069
📢本篇章主要讲解什么是RKNPU。
【嵌入式AI开发rk3588】yolov8模型转换：pt-＞onnx-＞rknn
Michaeljackchen的博客
12-04 458
ultralytics版本不一致可能会导致（import优先导入了虚拟环境中的包）：pip install -e . 解决问题。
在RK3588平台上部署YOLOv5：一步步实现目标检测
最新发布
uck2010的博客
04-13 975
rk3588,yolov5
使用python多线程异步提高模型部署到rk3588NPU使用率-python源码+项目使用说明.zip
05-10
使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】 使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用, 但是作者本人并没有rk3568开发板......) 此分支使用模型yolov5s_relu_tk2_RK3588_i8.rknn, 将yolov5s模型的激活函数silu修改为为relu,在损失一点精度的情况下获得较大性能提升,详情见于rknn_model_zoo 部署应用 修改main.py下的modelPath为你自己的模型所在路径 修改main.py下的cap为你想要运行的视频/摄像头 修改main.py下的TPEs为你想要的线程数, 具体可参考下表 修改func.py为你自己需要的推理函数, 具体可查看myFunc函数 多线程模型帧率测试 使用performance.sh进行CPU/NPU定频尽量减少误差 测试模型为yolov5s_relu_tk2_RK3588_i8.rknn 【备注】更多详细介绍请看说明和代码！
Jetson嵌入式系列模型部署-2
周同学的博客
08-17 6143
Jetson嵌入式系列模型部署
RK3588环境部署教程
qq_44129924的博客
04-30 2897
1、安装完成后设置linux和win之间可以相互复制、粘贴，教程https://blog.csdn.net/ssz__/article/details/126921531。进入rknn-toolkit2-15\rknn_toolkit_lite2\examples\inference_with_lite文件，5、安装rknn库，进入rknn–toolkit2文件的rknn_toolkit_lite2>package，注意这个安装aarch版本。即可，安装完成后打开终端，会出现（base）即安装成功。
嵌入式设备上模型部署有什么方式
weixin_42593549的博客
02-18 325
嵌入式设备上模型部署有多种方式，包括使用现有的嵌入式计算框架(例如TensorFlow Lite，Caffe2，OpenCV)，使用专用的神经网络硬件(例如NVIDIA Jetson，Intel Movidius)，以及使用模块化的框架(例如PyTorch，Keras)。 ...
1.0 RK3588上运行AI模型
11-07 498
使用python虚拟环境软件 Miniconda。当前系统是Ubuntu20.04。安装RKNN-Toolkit2。
瑞芯微rk3588部署yolov5模型实战
Silver__Wolf的博客
08-11 3876
瑞芯微rk3588部署yolov5模型实战/ 包括模型转换以及部署
推荐开源项目：RKNN - 高效部署AI模型于Rockchip芯片的利器
gitblog_00011的博客
06-05 796
推荐开源项目：RKNN - 高效部署AI模型于Rockchip芯片的利器 rknn-toolkit2项目地址:https://gitcode.com/gh_mirrors/rk/rknn-toolkit2 1、项目介绍 如果你正在寻找一个能够快速将AI模型部署到Rockchip芯片上的解决方案，那么RKNN软件栈无疑是你的首选。这个强大的工具链允许开发者将训练好的模型转化为专门为Rockchip...
rk3588 rknntoolkit模型转换及部署
weixin_42064949的博客
06-07 358
cankao。
飞凌嵌入式 rk3588使用
03-21
<think>嗯，用户问的是关于飞凌嵌入式RK3588的使用教程或开发文档。首先，我需要确认用户的需求是什么。他们可能刚拿到开发板，需要快速上手，或者已经在开发中遇到问题需要文档支持。 查看用户提供的引用资料，引用1到4都有提到飞凌嵌入式的OK3588-C开发板和相关的资源。特别是引用1提到了硬件准备、系统安装、开发环境设置等步骤，还有示例代码，比如GPIO控制。引用3提到了Android12的用户资料下载地址和项目地址，引用4则介绍了RKNN-Toolkit用于AI模型部署。 用户可能需要分步骤的指导，比如如何开始使用开发板，安装系统，配置环境，运行代码，以及AI相关的工具使用。所以，我应该把这些信息整理成结构化的步骤，每个步骤引用对应的资料。例如，硬件准备引用1，系统安装引用1和3，开发环境引用1和4，示例代码引用1和4，以及进阶学习引用3和4。 另外，用户可能还关心如何获取这些文档和资源，所以需要明确给出下载地址和项目链接，如引用3中的gitcode地址。同时，注意用户可能需要中文资料，所以确保提供的链接和文档都是中文的。 还要考虑用户可能遇到的问题，比如找不到资料的位置，或者具体某个步骤的详细操作。因此，在回答中需要清晰列出每个步骤和相关引用，方便用户按图索骥。此外，生成的相关问题可以帮助用户进一步探索，比如系统定制、AI部署或硬件接口开发，这些可能都是用户后续会遇到的疑问。 最后，确保回答符合系统级指令，正确使用LaTeX格式，虽然用户的问题中可能不涉及数学公式，但如果有示例代码或命令，需要用代码块包裹。同时，引用标识要自然地添加在对应的内容末尾，如引用1、3、4等。</think>### 飞凌嵌入式RK3588开发板使用教程及资源解析 #### 一、基础开发准备 1. **硬件准备与系统安装** - 开发板需连接电源、调试串口（UART）、HDMI显示器和USB外设 - 支持通过TF卡或USB烧录工具安装Android12/Linux系统（参考官方镜像文件）[^1][^3] - 推荐使用Type-C接口进行ADB调试 2. **开发环境搭建** - 安装RK3588专用工具链：包括RKDevTool（固件烧录）、ADB调试工具等 - 配置交叉编译环境（针对Linux开发）： ```bash sudo apt-get install gcc-aarch64-linux-gnu ``` - Android开发需安装Android Studio和NDK工具包[^3] #### 二、核心开发流程 1. **GPIO控制示例（基于Linux）** 通过sysfs接口操作GPIO引脚： ```python # 导出GPIO引脚 echo 504 > /sys/class/gpio/export # 设置输出方向 echo out > /sys/class/gpio/gpio504/direction # 控制电平 echo 1 > /sys/class/gpio/gpio504/value ``` 该示例展示了基础硬件控制方法 2. **AI模型部署流程** 使用RKNN-Toolkit进行模型转换： ```python from rknn.api import RKNN rknn = RKNN() rknn.config(target_platform='rk3588') rknn.load_pytorch(model='model.pth') rknn.build(do_quantization=True) rknn.export_rknn('model.rknn') ``` 该工具支持TensorFlow/PyTorch等框架模型转换[^4] #### 三、关键开发文档 1. **官方资料获取** - Android12开发资料包：包含BSP源码、硬件原理图、开发指南 [下载地址](https://gitcode.com/Open-source-documentation-tutorial/1476f) - Linux开发文档：涵盖内核编译指南、设备树配置说明 2. **进阶学习路径** - 第一阶段：基础外设控制（GPIO/I2C/UART） - 第二阶段：多媒体开发（VPU编解码、NPU加速） - 第三阶段：系统定制（Android Framework修改、Linux驱动开发）[^3]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

内核笔记

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值