7.rk3588进行rknn的模型推理（c++）

最新推荐文章于 2025-04-11 20:00:00 发布
最新推荐文章于 2025-04-11 20:00:00 发布
阅读量2k 收藏 1
点赞数 3
分类专栏： 9.车辆智能的C++ 文章标签： 人工智能 计算机视觉 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_71719718/article/details/136059410
版权
rk3588(香橙派5pro)使用gpu(tvm)进行推理
qq_34524246的博客
04-11 3686
香橙派5pro配置tvm驱动gpu跑ai
rk3588对npu的再探索，yolov5使用rknn模型推理教程
热门推荐
振华OPPO的博客世界
08-17 1万+
博主在瑞芯微ITX-3588J-8K的开发板上跑了yolov5目标检测算法，调用了外置相机获取rtsp视频流，但是每帧处理需要833ms左右，和放PPT一样。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是arm的手机gpu，没有nvidia的cuda，所以不能这样适配。那么转过来，使用开发板自带的NPU进行加速推理，岂不是最佳方案，因为它本身就是人工智能开发板，不用NPU相当于没有发挥它的全部能力。.........
yolov8rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zip
04-11
yolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zipyolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zipyolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zipyolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zipyolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zipyolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zipyolov8瑞芯微rknn板端C++部署源码（使用平台 rk3588，全网最简单、运行最快的部署方式）.zip 【资源说明】 1、该资源内项目代码都是经过测试运行成功，功能正常的情况下才上传的，请放心下载使用。 2、适用人群：主要针对计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、数学、电子信息等)的同学或企业员工下载使用，具有较高的学习借鉴价值。 3、不仅适合小白学习实战练习，也可作为大作业、课程设计、毕设项目、初期项目立项演示等，欢迎下载，互相学习，共同进步！
RK3588上的Yolo多线程推理演示教程
gitblog_01171的博客
08-31 1277
RK3588上的Yolo多线程推理演示教程 项目地址:https://gitcode.com/gh_mirrors/rk/rk3588-yolo-demo 项目介绍 本项目是基于RK3588平台的Yolov8多线程推理演示，由kaylorchen维护。它特别适配于读取视频文件及摄像头输入流，采用轻量级的Yolov8n模型进行文件推理。在理想的条件下，能够实现最高达每秒100帧的推理速度。此项目对于...
RK3588芯片NPU的使用及编程入门：rknn_model_zoo的yolov5 c++ example源码解析
最新发布
懒人的技术笔记
04-11 1145
今天深入分析了rknn_model_zoo中YOLOv5的C++示例代码，包括： - 模型加载与初始化的完整流程（init_yolov5_model） - 图像预处理中的Letterbox实现细节 - NPU推理过程的关键API调用（rknn_inputs_set/rknn_run） - 后处理中的置信度过滤与NMS实现
四、RK3588-Mobilenet直接推理(C++版本)
weixin_43999691的博客
12-27 2787
RKNN（Rockchip Neural Network）是一种用于嵌入式设备的深度学习推理框架，提供了一个端到端的解决方案，用于将训练好的深度学习模型转换为在嵌入式设备上运行的可执行文件。RKNN在Rockchip NPU（神经网络处理器）平台上运行，提供了模型转换、推理和性能评估的开发套件。RKNN-Toolkit2是一个开发套件，它为用户提供了在PC和Rockchip NPU平台上进行模型转换、推理和性能评估的Python接口。
RKNN语法-C++篇
dongdonglele521的博客
03-14 1963
8. rknn_outputs_release()释放输出数据内存；6. rknn_outputs_get()获取推理结果数据；2. rknn_query()查询模型的输入输出属性；4. rknn_inputs_set()设置输入数据；9. rknn_destroy()销毁 RKNN；1. rknn_init()初始化模型；5. rknn_run()进行模型推理；RKNN C++调用流程。3. 对输入进行前处理；7. 对输出进行后处理；
瑞芯微RK3588 C++部署Yolov8检测和分割模型
四平的博客
03-04 5707
Docker容器主要用来进行模型转换，也就是pt转onnx的过程，因此docker中需要用的的包主要是rockchip-yolov8,需要修改该代码，进行模型的转换，在linux服务器上安装docker环境，创建一个ubuntu系统的docker环境。，C++的部署的代码参考的里面都有，我自己这边只是根据自己的项目做了集成，如有需要可私信。这一部分的修改代码参考山水无移大哥的部署过程，贼清洗，膜拜一下，少走了很多弯路，直接贴上。（3）yolov8_onnx2rknn：在（2）的基础上转检测rknn模型。
RK3588模型推理总结
程序人生
04-04 8336
RK3588模型推理总结
使用c++在rk3588-3588s上运行的yolov5s简单demo(142帧-s).zip
05-16
使用线程池异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数 yolov5s使用relu激活函数进行优化,提高推理帧率。 使用说明 演示 系统需安装有OpenCV 下载Releases中的测试视频于项目根目录,运行...
基于多线程异步操作rknn模型对Yolov5进行推理Python源码+文档说明.zip
02-06
使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数，不过实际在使用摄像头做实时目标检测的时候帧率在25左右，所以后面打算主要使用rknpu2做板端部署，预计会快很多，有待验证 ...
基于RK3588+c++开发边缘预警项目+Yolov7算法+读取输入视频源并检测+HTTP信息推送+源码+开发文档（高分优秀项目
05-15
基于RK3588+c++开发边缘预警项目+Yolov7算法+读取输入视频源并检测+HTTP信息推送+源码+开发文档，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： 基于RK3588的边缘预警项目（C++）。 采用Yolov7算法，通过读取输入视频源（RTSP、USB摄像头等），经过自创轻量级目标跟踪算法去重检测，将告警信息实时通过HTTP接口推送，同时将视频源进行转发并利用RTMP协议推送。其中告警条件可拓展，目前支持的条件为物体： 出现（某个物体在画面中第一次出现） 离开（某个物体从画面中离开） 经过（物体从画面中的某个方向[上/下/左/右]经过） 滞留（物体留在画面中超过多少秒） 数量（物体的数量的逻辑运算[等于/不等于/大于/小于...]） ...
算法部署-基于rknn+Cpp在瑞芯微rk3588上部署YOLOv10目标检测算法-附项目源码+流程教程-优质项目实战.zip
10-18
算法部署_基于rknn+Cpp在瑞芯微rk3588上部署YOLOv10目标检测算法_附项目源码+流程教程_优质项目实战
RK3588 C++ 多线程运行
11-14
RK3588 C++ 多线程运行
踩坑，RK3588编译运行rknn的c++例程
血玥珏的博客
01-22 580
rwxr-xr-x 1 hzx hzx 60208 1月 22 06:19 rknn_yolov5_video_demo*rknn-toolkit2-master/rknpu2/examples/3rdparty里mpp/Linux/aarch64里。-rwxr-xr-x 1 hzx hzx 7300456 1月 22 06:19 rknn_yolov5_demo*最后，./build-linux.sh -t rk3588 -a aarch64 -b Release。
多线程异步提高RK3588的NPU占用率，进而提高yolov5s帧率_rk3588 多线程
2401_84011132的博客
04-16 1823
这是在不同线程数下视频推理的帧率:测试模型来源，激活函数为silu（非relu优化版本）测试视频为resnet50在9线程下的NPU占用率:可以看到此时NPU的性能发挥到近乎极致，其推理性能约为280帧。
yolov8 瑞芯微 RKNN 的 C++部署
zhangqian_1的博客
06-09 1万+
上一篇博客写了在rknn模型的转换与PC端仿真测试，有网友希望写一篇在板子上部署的博文和开源提供C++代码。这一篇基于rknn板子进行C++部署，并开源提供完整的源代码和模型，供网友自行进行测试验证。
yolov10 瑞芯微 rknn 部署 C++代码
zhangqian_1的博客
05-27 2289
yolov10 目标检测rknn的C++部署来了。直接上代码和模型，欢迎参考交流。
RK3588 qt rknn
03-04
### RK3588 平台上的 Qt 和 RKNN 开发 #### 一、环境准备 为了在 RK3588 上使用 Qt 进行 RKNN (Rockchip Neural Network) 的开发，需先安装必要的软件包和工具链。这包括但不限于 Rockpi SDK 工具链以及 Qt 库文件[^1]。 对于操作系统的选择上，建议采用官方支持的 Linux 发行版来确保兼容性和稳定性。完成基础设置之后，则要配置好交叉编译器以便于后续的应用程序编写工作。 #### 二、RKNN 模型转换与优化 模型转换是将训练好的神经网络模型转化为适合 RKNN 推理引擎使用的格式的过程。通常情况下，会利用 Python 脚本来实现这一目标： ```bash pip install rknn-toolkit2 ``` 通过上述命令可以安装 `rknn-toolkit2` ，这是一个用于处理 TensorFlow 或 ONNX 等多种框架导出模型至 RKNN 格式的工具集。接着按照具体需求调整参数并执行相应的 API 函数来进行量化操作或是其他形式的性能调优措施。 #### 三、Qt 集成 RKNN 实现图像分类案例分析 下面给出一段简单的 C++ 代码片段作为例子展示如何集成 Qt 及其图形界面组件同 RKNN 结合起来做图片识别任务: ```cpp #include <QApplication> #include <QWidget> #include <QPushButton> #include <QLabel> #include <QVBoxLayout> // 加载 RKNN 模型所需的头文件 extern "C" { #include "rknn_api.h" } class ImageClassifier : public QWidget { public: explicit ImageClassifier(QWidget *parent = nullptr); private slots: void classifyImage(); private: QLabel* m_label; }; ImageClassifier::ImageClassifier(QWidget *parent): QWidget(parent),m_label(new QLabel(this)){ QVBoxLayout *layout = new QVBoxLayout; QPushButton *button = new QPushButton(tr("Classify"), this); connect(button, SIGNAL(clicked()), SLOT(classifyImage())); layout->addWidget(m_label); layout->addWidget(button); setLayout(layout); // 初始化 RKNN 模型... } void ImageClassifier::classifyImage(){ /* 假设这里已经实现了读取输入图像数据到 input_data 中 */ const char* model_path="./mobilenet_v1.rknn"; int ret=0; rknn_context ctx; struct rknn_input_output_num io_num; ret=rknn_query(ctx,RKNN_QUERY_IN_OUT_NUM,&io_num,sizeof(io_num)); if(ret<0){ qDebug()<<"Failed to get IO number!"; return ; } float output[1000]; memset(output,0,sizeof(float)*1000); struct rknn_input inputs={}; inputs.index=0; inputs.type=RKNN_TENSOR_UINT8; inputs.size=input_size; inputs.fmt=RKNN_TENSOR_NHWC; memcpy(inputs.data,input_data,input_size); ret=rknn_inputs_set(ctx ,&inputs,1); if(ret!=0){ qDebug()<<"Set Input Failed!"; return ; } ret=rknn_run(ctx,NULL); if(ret!=0){ qDebug()<<"Run failed!"; return ; } struct rknn_output outputs={ .want_float=true, .is_prealloc=false, .index=0, .buf=output, .size=sizeof(float)*1000 }; ret=rknn_outputs_get(ctx , &outputs,1); if(ret!=0){ qDebug()<<"Get Output Failed!"; return ; } // 对输出结果进行解析... QString result="The image is classified as..."; m_label->setText(result); } int main(int argc,char **argv){ QApplication app(argc, argv); ImageClassifier w; w.show(); return app.exec(); } ``` 此段代码创建了一个基于 Qt Widgets 架构的小应用程序，在其中定义了一个按钮点击事件处理器函数 `classifyImage()` 来加载预训练过的 MobileNetV1 模型并对给定的测试样本做出预测。注意实际应用时还需要考虑更多细节比如内存管理等方面的问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值