7.rk3588进行rknn的模型推理（c++）

最新推荐文章于 2024-05-27 16:28:43 发布
最新推荐文章于 2024-05-27 16:28:43 发布
阅读量681 收藏
点赞数 3
分类专栏： 9.车辆智能的C++ 文章标签： 人工智能 计算机视觉 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_71719718/article/details/136059410
版权
YANQ662
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RK3588平台开发系列讲解（AI 篇）RKNPU 推理软件框架
内核笔记
08-14 1601
📢本篇章主要讲解什么是RKNPU。
基于RK3588实现YOLOv5s模型多线程板端推理C++源码(含项目说明+rknn模型）.zip
最新发布
05-30
【优质项目推荐】 1、品质保证：项目代码均经过严格测试，确保功能稳定且运行ok。您可以放心下载并立即投入使用，若遇到任何问题，随时欢迎您的反馈与交流。 2、适用广泛：无论您是计算机相关专业（如计算机科学、信息安全、数据科学、人工智能、通信、物联网、自动化、电子信息等）的在校学生、专业老师，还是企业员工，都适用。 3、多用途价值：该项目不仅具有很高的学习借鉴价值，对于初学者来说，是入门进阶的绝佳选择；当然也可以直接用于 毕业设计、课程设计、期末大作业或项目初期立项演示等。 3、开放创新：如果您有一定基础，且热爱探索钻研，那该项目代码更是您发挥创意、实现新功能的起点。可以基于此代码进行修改、扩展，创造出属于自己的独特应用。 欢迎下载使用优质资源，欢迎交流学习，欢迎借鉴引用，共同探索编程的无穷魅力！ 基于RK3588实现YOLOv5s模型多线程板端推理C++源码(含项目说明+rknn模型）.zip 为c++实现yolo5的batch多线程推理 * 实现4路摄像头的batch=4的推理 模型转换 * yolov5工程下export.py转换onnx，直接转，切忌修改batch_size * 参考网上方法，rknn-toolkit2进行onnx转rknn，需要修改./rknn-toolkit2/examples/onnx/test.py为本工程test.py ### 演示 * 系统需安装有**OpenCV**，如果需要读取AHD摄像头还需要安装**gstreamer** * 运行build-linux_RK3588.sh * 可切换至root用户运行performance.sh定频提高性能和稳定性 * 编译完成后进入install运行命令./rknn_yolov5_demo **模型所在路径** ### 部署应用 * 修改include/rknnPool.hpp中的rknn_lite类 * 修改inclue/rknnPool.hpp中的rknnPool类的构造函数 # 多线程模型帧率测试 * 使用performance.sh进行CPU/NPU定频尽量减少误差 * 设置线程数为8，batch_size=4，读取USB摄像头视频流测试，平均处理速度15.8FPS*4，八核CPU占用率约500%，三核NPU平均占用率75% ![示例](./view.png) 仅支持rk3588/rk3588s下的运行
yolov5+Deepsort部署于rk3588和rk3399pro开发板C++完整源码(车辆行人跟踪)+模型+部署文档.zip
05-10
yolov5+Deepsort算法部署于rk3588和rk3399pro开发板C++完整源码(车辆行人检测跟踪)+rknn模型+操作说明文档.zip 【资源介绍】 改善了边界框漂移, 完善了当图中没有目标等其他情形出现的bug, 增加了对cost matrix出现nan时的处理 加入了隔帧检测的功能. 设置方法: 在./yolov5/include/detect.h中 将 const int det_interval = 1;改成期望的数值, 例如3, 表示每隔3帧检测一次, 这样可以显著提升速度. 同时, 也需要更改./deepsort/include/deepsort.h中line 39的const int track_interval = 1; , 数值要和检测的保持一致. 加入Re-ID多线程的功能 如果您不希望使用多线程, 则在./deepsort/src/deepsort.cpp中line 144的if (numOfDetections < 2) 改成if (true) 更多详细介绍请查看资源内的项目说明。按照步骤操作使用
yolov10 瑞芯微 rknn 部署 C++代码
zhangqian_1的博客
05-27 1169
yolov10 目标检测rknn的C++部署来了。直接上代码和模型，欢迎参考交流。
yolov5训练并生成rknn模型部署在RK3588开发板上，实现NPU加速推理
m0_62919535的博客
03-24 5696
RK3588是瑞芯微（Rockchip）公司推出的一款高性能、低功耗的集成电路芯片。它采用了先进的28纳米工艺技术，并配备了八核心的ARM Cortex-A76和Cortex-A55处理器，以及ARM Mali-G76 GPU。该芯片支持多种接口和功能，适用于广泛的应用领域。本篇为yolov5部署在RK3588的教程。接着将训练好的best.pt放在工程文件夹下，使用yolov5工程中的export.py将其转换为onnx模型。
yolov8 瑞芯微 RKNN 的 C++部署，部署工程难度小、模型推理速度快
zhangqian_1的博客
01-11 2895
之前写过两次yolov8目标检测部署，后续继续思考，针对部署还有优化空间，本示例的部署方式优化了部署难度，加快了模型推理速度（略微增加了后处理的时耗）。【完整代码】
RKNN语法-C++篇
dongdonglele521的博客
03-14 1124
8. rknn_outputs_release()释放输出数据内存；6. rknn_outputs_get()获取推理结果数据；2. rknn_query()查询模型的输入输出属性；4. rknn_inputs_set()设置输入数据；9. rknn_destroy()销毁 RKNN；1. rknn_init()初始化模型；5. rknn_run()进行模型推理；RKNN C++调用流程。3. 对输入进行前处理；7. 对输出进行后处理；
RK3588模型推理总结
程序人生
04-04 5166
RK3588模型推理总结
四、RK3588-Mobilenet直接推理(C++版本)
weixin_43999691的博客
12-27 1961
RKNN（Rockchip Neural Network）是一种用于嵌入式设备的深度学习推理框架，提供了一个端到端的解决方案，用于将训练好的深度学习模型转换为在嵌入式设备上运行的可执行文件。RKNN在Rockchip NPU（神经网络处理器）平台上运行，提供了模型转换、推理和性能评估的开发套件。RKNN-Toolkit2是一个开发套件，它为用户提供了在PC和Rockchip NPU平台上进行模型转换、推理和性能评估的Python接口。
模型部署——RKNN模型的评估和推理测试（附代码）
qq_40280673的博客
02-25 4498
RKNN模型的评估和推理测试
rk3588rk3588s使用c++多线程异步等优化c++实现源码(yolov5运行可达到142fps)+项目使用说明.zip
05-16
使用线程池异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数 yolov5s使用relu激活函数进行优化,提高量化能力 rk3568等请自行修改include/rknnPool.hpp下的rknn_lite类和rknnPool的构造函数 演示 ...
rk3588 retianface 部署 c++ 实现
11-02
retinaface 是人脸检测算法 源码地址https://github.com/biubug6/Pytorch_Retinaface，本项目实现此模型的 onnx到rknn模型的转换，用c++写前后推理，人脸检测结果和Python的推理结果相同。
rk3588rk3588s使用c++多线程异步等优化c++实现源码(yolov5运行可达到135fps)+项目使用说明.zip
05-10
使用线程池异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数 yolov5s使用relu激活函数进行优化,提高量化能力 rk3568等请自行修改include/rknnPool.hpp下的rknn_lite类和rknnPool的构造函数 演示 ...
瑞芯微新一代旗舰Soc芯片RK3588详细介绍
热门推荐
dvlinker的技术专栏
03-09 7万+
瑞芯微新一代旗舰Soc芯片RK3588详细介绍
yolo转rknn推理置信度大于1出现乱框怎么解决
weixin_58729248的博客
11-20 717
使用yolov5-5.0版本，导出时修改了yolo.py文件中的forward如下，opset设置12可是推理结果完全不对，请大佬解惑。
rk3588使用npu进行模型转换和推理，加速AI应用落地
振华OPPO的博客世界
08-08 1万+
本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条路行不通。使用该NPU需要下载RKNN SDK，RKNN SDK 为带有 NPU 的RK3588S/RK3588 芯片平台提供编程接口，能够帮助用户部署使用 RKNN-Toolkit2 导出的 RKNN 模型，加速 AI应用 的落地。简单修改下test.py文件，显示并保存结果图片，不得不说，npu推理的检测框置信度高的离谱，不愧是嵌入式神经网络，比原先yolov5高很多。.
RK3588使用npu运行onnx模型推理
joyopirate的博客
10-26 3004
先说总体流程，我的RK3588板子上安装了Ubuntu22.04，可以直接在上面编程1.在x86主机上安装2.使用【rknn-toolkit2】，把onnx模型转换成rknn格式的模型。3.在板子部署【rknpu2】，在程序中调用接口编程即可。
踩坑RV1106板端部署rknn模型
weixin_45715405的博客
12-28 3248
按照官方的流程可以跑通，他自己提供的yolov5s.rknn（640*640）的模型，但是跑自己的模型的时候加载就会出错E RKNN: failed to decode config data!这个文件就是源码里面埋了很大一个坑，取反了，模型输入要求是NHWC，但是他将h取到w上面了，所以出现错乱，为什么官方自己的模型没问题推理是正常的，因为官方的是640*640，高宽尺寸是一致的，所以没有出现这个bug。如果直接拿自己的模型不修改代码，直接推理，会出现这种报错，就是类别没有对上。修改之后再次验证正常了。
YOLO目标检测问题汇总
北屿的博客
03-14 248
设输出图片大小为1280，768，类别个数为2，则yolov5输出的三种特征图，其维度分别为：[1,3,96，160，7]，[1,3,48,80,7]，[1,3,24,40,7]；相当于yolov5模型总共输出（96160+4880+24*40）*3=60480个目标框；
rk3588烧.rknn模型
04-24
RK3588是瑞芯微推出的一款高性能AI芯片，它采用了6nm工艺制造，集成了多个高性能的CPU和GPU核心，以及专门用于AI计算的NPU（神经网络处理单元）。RKNN模型是基于RKNN（Rockchip Neural Network）框架开发的模型，用于在RK3588芯片上进行神经网络推理。 RKNN模型具有以下特点： 1. 高性能：RK3588芯片的强大计算能力和NPU的加速，使得RKNN模型能够实现高效的神经网络推理，提供快速的计算速度和低延迟。 2. 多种框架支持：RKNN模型支持多种主流的深度学习框架，如TensorFlow、Caffe、PyTorch等，开发者可以根据自己的需求选择适合的框架进行模型开发。 3. 灵活性：RKNN模型支持离线模型转换，可以将训练好的模型转换为RKNN格式，方便在RK3588芯片上进行部署和推理。 4. 高效能耗比：由于RK3588芯片采用了先进的6nm工艺制造，以及NPU的加速，RKNN模型在保持高性能的同时，也能够实现较低的功耗。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值