（十二）rk3568 NPU 中部署自己训练的模型，(3)连板部署

最新推荐文章于 2024-07-12 14:41:25 发布
最新推荐文章于 2024-07-12 14:41:25 发布
阅读量503 收藏 1
点赞数 1
分类专栏： rockchip芯片调试记录总结 文章标签： 深度学习 计算机视觉 人工智能 rknn yolo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongshizhishui/article/details/130303602
版权
本文介绍了如何在RK3568平台上，利用NPU部署自己训练的YOLOv5模型。首先，修改SDK中的YOLOv5后处理代码，调整类别数以匹配训练模型。接着，编译并安装SDK到开发板。然后，更新模型目录中的类别标签文件。最后，设置LD_LIBRARY_PATH并运行代码，得到识别后的图片。
摘要由CSDN通过智能技术生成

1、至于yolov5后处理代码，本人使用的事rk3568中sdk中的demo。

 

更改/external/rknpu2/examples/rknn_yolov5_demo/include/postprocess.h

中的类别个数为自己训练的类别数（默认为80 coco数据集）。

执行  ./build-linux_RK356X.sh  

编译成功后将install目录放入开发板中。

修改/install/rknn_yolov5_demo_Linux/model中的coco_80_labels_list.txt文件为你识别的类别。

执行export LD_LIBRARY_PATH=./lib

然后运行代码：

 

 运行后 out.jpg为识别后图片。

DSZS123
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
RK3568 OpenHarmony3.2 AI NPU适配
Martian_Jonas的博客
07-12 942
Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。本文介绍芯片厂商如何在将专有加速芯片接入NNRt，接入OpenHarmony社区生态。整体适配思路：在虚拟机平台上通过Build.gn的方式编译得到可执行文件, 然后将可执行文件及对应鸿蒙系统的api库文件推送到板子，最后将.rknn后缀结尾的模型文件以及图片文件等输入资源拷贝至RK3568进行模型的运行。
RK3568平台开发系列讲解（NPU篇）让 NPU 跑起来
内核笔记
11-10 4768
📢本篇将介绍如何让NPU跑起来。
RK3568 NPU RKNN_API_for_RK356X_v1.0_20210430
09-07
RK3568 NPU RKNN_API_for_RK356X_v1.0_20210430
使用python多线程异步提高模型部署到rk3588NPU使用率-python源码+项目使用说明.zip
05-16
使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】 使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用, 但是作者本人并没有rk3568开发板......) 此分支使用模型yolov5s_relu_tk2_RK3588_i8.rknn, 将yolov5s模型的激活函数silu修改为为relu,在损失一点精度的情况下获得较大性能提升,详情见于rknn_model_zoo 部署应用 修改main.py下的modelPath为你自己的模型所在路径 修改main.py下的cap为你想要运行的视频/摄像头 修改main.py下的TPEs为你想要的线程数, 具体可参考下表 修改func.py为你自己需要的推理函数, 具体可查看myFunc函数 多线程模型帧率测试 使用performance.sh进行CPU/NPU定频尽量减少误差 测试模型为yolov5s_relu_tk2_RK3588_i8.rknn 【备注】更多详细介绍请看说明和代码！
迅为RK3568手册上新 | RK3568开发板NPU例程测试
mucheni的博客
07-12 312
本次新增《itop-3568开发板NPU例程测试手册》是NPU视频教程的扩展手册，目的是帮助学习和开发用户快速上手使用RKNPU。第3章 rknn-toolkit-lite2环境搭建和使用。3.1 rknn-toolkit-lite2环境搭建。3.2 rknn-toolkit-lite2推理测试。1.3 rknn-toolkit-lite2介绍。第2章 rknn-toolkit2环境搭建和使用。第6章 rknn-model-zoo模型推理测试。第5章 rknn-model-zoo例程演示。
算法部署-使用RKNN在RK3588上部署YOLOX目标检测算法-附项目源码+模型-优质项目实战.zip
05-10
算法部署_使用RKNN在RK3588上部署YOLOX目标检测算法_附项目源码+模型_优质项目实战
RK3568 NPU rknn-toolkit2.1
09-07
RK3568 NPU rknn-toolkit2.1
瑞芯微 rk3568的npu使用，部署unet网络
tony365的博客
12-19 3619
模型转换是 RKNN-Toolkit2 的核心功能之一，它允许用户将各种深度学习模型从不同的框架转换为 RKNN 格式以在 RKNPU 上运行，用户可以参考模型转换流程图以帮助理解如何进行模型转换。因此如下图，输入的 uint8的image data, 然后归一化到0-1，因为设置了 outputs[0].want_float=1,然后model infer 得到 float data,范围 0-1. 以上全在 npu中进行，也就是全在rknn_run中进行，因为使用的时零拷贝 api.
RK3568平台开发系列讲解（NPU篇）RKNPU SDK软件架构
内核笔记
03-13 3944
从上到下来看，最上层是 AI Apps层，也就是 RKNN 应用层，RKNN 应用层包含了客户开发的 AI 应用，包括瑞芯微提供的 demo 应用。往下一层，是瑞芯微对外开放的 RKNN API，这个 API 里面其实是 RKNN 运行时。RKNN API 往上提供了对应用的调用接口。再往下一层是 RKNPU 内核驱动层，主要负责功能是对下操作硬件 NPU，对上提供比较轻量级的接口。最下一层是 RKNPU 的硬件。
基于rk3566-npu的rgbd相机目标检测模型部署，c++程序
最新发布
08-04
基于rk3566-npu的rgbd相机目标检测模型部署，c++程序，利用了rk3566的npu资源进行神经网络推理rknn模型。
迅为RK3568开发板瑞芯微安卓11核心板NPU边缘计算人工智能物联网
mucheni的博客
03-23 9019
性能强：iTOP-3568开发板采用瑞芯微RK3568处理器，是一款中高端通用型SOC，22nm工艺制程。内部集成了四核64位Cortex-A55处理器。主频高达2.0Ghz，2GB内存，16GB EMMC，RK809动态调频。 双核心架构GPU：集成了双核心架构GPU、ARMG52 2EE、支持OpenGL ES1.1/2.0/3.2、OpenCL2.0、Vulkan1.1、内嵌高性能2D加速硬件。 内置独立NPU：内置独立NPU，算力达0.8T，可用于轻量级人工智能应用。 强大的视频编解码：高性能VP.
（十二）rk3568 NPU 中部署自己训练的模型，（1）使用yolov5训练自己的数据集-模型训练部分
不见围墙
04-22 922
训练完成后，在runs/train/exp/weights/目录下生成两个模型文件一个last.pt 一个best.pt。yolov5_train.txt和yolov5_val.txt分别给出了训练图片文件和验证图片文件的列表，在yolov5下生成了两个文件yolov5_train.txt和yolov5_val.txt。YOLOLabels下的文件是images文件夹下每一个图像的yolo格式的标注文件，images文件夹下有train和val文件夹，分别放置训练集和验证集图片；之后点击“Commits”
【RK3568+RV1126】NPU算力集成
泛在安防边缘智能视频分析
03-06 959
Mini-PCIe接口的RV1126算力棒，单片算力可达2.0TOPS@INT8算力，最高可支持4路1080P@25fps的相机接入及解码，支持TensorFlow、Caffe、ONNX、Darknet等框架的网络模型转换。通过瑞芯微RK3568使用USB RNDIS网络与多个RV1126算力棒进行网络通信，打造多算力集群，同时进行AI运算处理，NPU算力集成不仅能增加算力，更能灵活的控制成本，具有更高的性价比，更低的功耗。
RK3568-npu模型转换
Paper_Love的博客
08-16 842
NPU模型转换和模型推理
RK3568平台开发系列讲解（NPU篇）什么是RKNPU
内核笔记
11-28 3581
📢本篇章将介绍RKNPU。
（十二）rk3568 NPU 中部署自己训练的模型，（1）使用yolov5训练自己的数据集-环境搭建部分
不见围墙
04-22 1413
yolov5在yolov3的基础上有很大提高，在保持准确率的情况下，模型更小，更适合轻量化的嵌入式产品部署。NVIDIA 驱动下载：https://www.nvidia.cn/Download/index.aspx?对于cudnn直接将其解开压缩包，然后需要将bin,include,lib中的文件复制粘贴到cuda的文件夹下。cuda下载链接：https://developer.nvidia.com/cuda-downloads?以上三个都是按照自己的电脑显卡配置、以及操作系统来下载的，不可以随意下载。
OpenHarmony开发实战：深入了解开发版-RK3568
shudaoshanQAQ的博客
04-02 1383
支持蓝牙、Wi-Fi、音频、视频和摄像头等功能
【资料上新】基于3568开发板的NPU开发资料全面升级
mucheni的博客
06-28 1566
【资料上新】基于3568开发板的NPU开发资料全面升级
rk3568部署yolov5
07-28
要在rk3568上部署yolov5模型，你可以按照以下步骤进行操作： 1. 首先，你需要在Windows上搭建训练环境并使用pytorch框架训练yolov5s模型。你可以参考\[1\]中提供的教程来完成这一步骤。 2. 在训练完成后，你需要将训练好的模型转换为rknn模型。你可以使用RKNN-Toolkit2来进行转换。建议使用conda虚拟环境，并按照\[3\]中提供的文档进行安装。 3. 在转换完成后，你可以将rknn模型部署到rk3568电路板上进行推理。具体的部署步骤可能因为你的具体环境和需求而有所不同，你可以参考RKNN-Toolkit2的文档或者官方文档来了解如何在rk3568上部署rknn模型。 总结起来，你需要在Windows上搭建训练环境并使用pytorch框架训练yolov5s模型，然后将训练好的模型转换为rknn模型，并最后在rk3568上部署rknn模型进行推理。希望这些信息对你有帮助！ #### 引用[.reference_title] - *1* [（十二）rk3568 NPU 中部署自己训练的模型，（1）使用yolov5训练自己的数据集-环境搭建部分](https://blog.csdn.net/dongshizhishui/article/details/126887399)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [（十二）rk3568 NPU 中部署自己训练的模型，（1）使用yolov5训练自己的数据集-模型训练部分](https://blog.csdn.net/dongshizhishui/article/details/130302325)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [手把手教学YOLOV5在RK3568的部署应用及代码实现](https://blog.csdn.net/yangbisheng1121/article/details/128785690)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DSZS123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值