rk3588调用NPU、查看npu的使用情况

笨小蛙

已于 2025-04-07 14:24:41 修改

阅读量5.1k

点赞数 5

文章标签： python bash arm

于 2024-08-27 10:03:13 首次发布

本文链接：https://blog.csdn.net/GREEN_cq/article/details/141594121

版权

1、rk3588启用NPU

启用三个内核->RKNNLite.NPU_CORE_0_1_2

rknn_lite = RKNNLite(verbose=False)
ret = rknn_lite.load_rknn(RKNN_MODEL)
ret = rknn_lite.init_runtime(core_mask=RKNNLite.NPU_CORE_0_1_2)

2、查看NPU使用情况：

watch sudo cat /sys/kernel/debug/rknpu/load

该命令将每两秒运行一次（默认），使用情况如下：

若需要查看当前npu使用情况，去掉watch!

每0.1秒运行一次:watch -n 0.01 sudo cat /sys/kernel/debug/rknpu/load

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

笨小蛙

关注关注

5
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

RK3588平台开发系列讲解（NPU篇）NPU调试方法

内核笔记

03-20

4860

📢本篇我们一起来看一下NPU的调试方法。

RK3588 NPU开发环境搭建

阿xin*的嵌入式AI

09-01

814

搭建RK3588 RKNN开发环境，并通过Python和C例子运行在板端的例子，体验了NPU运行AI模型的全过程。

参与评论您还未登录，请先登录后发表或查看评论

RK3588实战：调用npu加速，yolov5识别图像、ffmpeg发送到rtmp服务器

最新发布

weixin_48721556的博客

03-06

536

RK3588的芯片有7路TS-ADC分别对应：芯片中心位置、A76_0/1、A76_2/3、DSU 、A55_0/1/2/3、PD_CENTER、 NPU、GPU。CPU利用率95%以上时的CPU温升情况，记录cpu各个核的温度，主要针对一下的cpu。（4）CPU小核A55_0/12/3 即CPU0、CPU1、CPU2、CPU3的温度。默认是自动变频模式：simple_ondemand（恢复的话设置为该模式即可）。默认是自动变频模式：simple_ondemand（恢复的话设置为该模式即可）。

RK3588查看gpu和npu占用的方法

Alon1787的博客

10-16

2066

RK3588查看gpu和npu占用的方法

Yolov5在RK3588与3568 调用NPU运行

qq_57168149的博客

10-12

1235

yolov5的pytorch模型转onnx转rknn最终在rk3588上调用npu进行推理运行

rknn3588如何查看npu使用情况

重剑无锋博客

08-11

3988

这个示例将使用时间作为X轴，内存使用量作为Y轴，并绘制两条折线，分别代表Resident Set Size (RSS)和Virtual Size (VSZ)。你可以使用pidstat命令来监视特定进程的内存使用情况，并将数据输出到文件中。在Linux中，你可以使用一些工具和命令来绘制某一进程的实时内存折线图。这将生成一个名为memory_graph.png的图像文件，显示进程的实时内存使用情况的折线图。请注意，这只是一个示例，你可以根据你的需求进行调整和修改，以适应你特定进程的内存数据和绘图要求。

rk3588实时查看NPU使用情况命令、Linux中使用nvidia-smi命令实时查看GPU使用情况

lqq

12-23

932

0.01 表示每隔0.01秒刷新一次GPU使用情况;0.01 表示每隔0.01秒刷新一次NPU使用情况;其次还有Linux中使用。

1.6 rk3588 查看CPU,GPU相关的命令

11-07

1670

查看NPU使用率，需要root权限。# 查看NPU可用的频率,然后设置频率。# 查看NPU当前工作频率。

rknn相关npu状态查看

m0_60827485的博客

06-21

953

1、使用系统信息获得npu使用情况。

使用python多线程异步提高模型部署到rk3588NPU使用率-python源码+项目使用说明.zip

05-10

使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用, 但是作者本人并没有rk3568开发板......) 此分支使用模型yolov5s_relu_tk2_RK3588_i8.rknn, 将yolov5s模型的激活函数silu修改为为relu,在损失一点精度的情况下获得较大性能提升,详情见于rknn_model_zoo 部署应用修改main.py下的modelPath为你自己的模型所在路径修改main.py下的cap为你想要运行的视频/摄像头修改main.py下的TPEs为你想要的线程数, 具体可参考下表修改func.py为你自己需要的推理函数, 具体可查看myFunc函数多线程模型帧率测试使用performance.sh进行CPU/NPU定频尽量减少误差测试模型为yolov5s_relu_tk2_RK3588_i8.rknn 【备注】更多详细介绍请看说明和代码！

rk3588对npu的再探索，yolov5使用rknn模型推理教程

振华OPPO的博客世界

08-17

1万+

博主在瑞芯微ITX-3588J-8K的开发板上跑了yolov5目标检测算法，调用了外置相机获取rtsp视频流，但是每帧处理需要833ms左右，和放PPT一样。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是arm的手机gpu，没有nvidia的cuda，所以不能这样适配。那么转过来，使用开发板自带的NPU进行加速推理，岂不是最佳方案，因为它本身就是人工智能开发板，不用NPU相当于没有发挥它的全部能力。.........

RK3588平台开发系列讲解（NPU篇）NPU 驱动的组成

内核笔记

01-18

674

沉淀、分享、成长，让自己和他人都能有所收获！😄。

RK3588部署及其RKNPU工具链使用学习

qq_37937847的博客

10-21

3828

RKNN-Toolkit2是为用户提供在计算机上进行模型转换、推理和性能评估的开发套件，RKNN-Toolkit2的主要框图如下：通过该工具提供的Python接口可以便捷地完成以下功能：**1. 模型转换：**支持将PyTorch、ONNX、TensorFlow、TensorFlow Lite、Caffe、DarkNet等模型转为 RKNN模型。**2. 量化功能：**支持将浮点模型量化为定点模型，并支持混合量化。**3. 模型推理：**将RKNN模型分发到指定的NPU设备上进行推理并获取推理结果。

ROCKCHIP ~ 查看NPU/GPU/CPU 频率/使用率

南柯好萌的博客

06-28

6784

【代码】ROCKCHIP ~ 查看NPU/GPU/CPU 频率/使用率。

ubuntu查看cpu使用率

振华OPPO的博客世界

07-11

7443

输入，开启进程界面：点击资源，进入CPU资源查看：我们运行yolov5s模型，实时检测外置相机视频流，看下CPU使用情况：真的8核一起用，CPU在燃烧。

rk3588调用npu

02-16

### RK3588平台NPU调用方法 #### 创建和初始化NPU环境为了在RK3588平台上成功调用NPU进行神经网络推理或加速，首先需要确保设备已正确配置并加载了相应的驱动程序。Rockchip的官方固件通常已经预装了RKNPU驱动[^3]。一旦确认硬件准备就绪，可以通过以下方式创建和初始化NPU环境： ```cpp #include "rknn_api.h" // 初始化模型路径和其他参数 const char* model_path = "./model.rknn"; int ret; rknn_context ctx; ret = rknn_init(&ctx, model_path, 0, 0, NULL); if (ret < 0) { printf("Failed to initialize rknn context\n"); } ``` 这段代码展示了如何使用`rknn_api.h`库来初始化一个RKNN上下文对象，这一步骤对于后续的操作至关重要[^2]。 #### 加载和编译模型接下来，在实际运行之前还需要加载预先训练好的神经网络模型文件（通常是`.rknn`格式）。此过程涉及读取模型二进制数据，并将其传递给RKNN API以便内部处理和优化。 ```cpp // 假设模型已经被转换成 .rknn 文件格式 char *model_data; // 模型的数据指针 size_t model_size; // 模型大小 FILE *fp = fopen(model_path, "rb+"); fseek(fp, 0L, SEEK_END); model_size = ftell(fp); rewind(fp); model_data = (char *)malloc(sizeof(char)*model_size); fread(model_data, sizeof(unsigned char), model_size, fp); fclose(fp); // 将模型数据传入RKNN API ret = rknn_load_rknn(ctx, &model_data, &model_size); free(model_data); if(ret != 0){ printf("Load Model Failed!\n"); } else{ printf("Model Loaded Successfully.\n"); } ``` 这里说明了从磁盘读取模型文件的具体操作流程，并通过API函数将这些信息提交给了底层框架去解析和设置好用于推断所需的资源[^1]。 #### 执行前向传播计算当一切准备工作完成后就可以开始真正的预测工作——即让NPU执行一次完整的前向传播运算。这个阶段主要是构建输入张量、启动异步任务以及收集输出结果。 ```cpp float input_tensor[INPUT_SIZE]; // 输入特征图数组 float output_tensors[MAX_OUTPUTS][OUTPUT_SIZE]; // 输出特征图数组 struct rknn_input inputs[] = {{input_tensor}}; struct rknn_output outputs[MAX_OUTPUTS]; for(int i=0;i<NUM_ITERATIONS;++i){ memset(inputs, 0 ,sizeof(struct rknn_input)); memcpy(input_tensor, inputData[i], INPUT_SIZE*sizeof(float)); // 启动推理任务 ret = rknn_run(ctx, nullptr); if(ret!=0){ printf("Inference failed at iteration %d", i); break; } // 获取输出结果 for(size_t j=0;j<num_outputs;++j){ struct rknn_output& out = outputs[j]; size_t bufSize = OUTPUT_SIZE * sizeof(float); void* buffer = malloc(bufSize); ret = rknn_get_output(ctx, j, &out.datatype, &buffer, &bufSize, false); if(!ret && buffer){ memcpy(output_tensors[j], buffer, bufSize); free(buffer); } } } printf("All iterations completed successfully."); ``` 上述片段体现了典型的基于RKNN SDK的应用场景：先准备好待测样本作为输入；接着触发内核中的计算逻辑；最后获取到经过变换后的响应值供下一步分析所用[^4]。