香橙派rk3588在ubuntu上rknn的C++调用npu进行拉流rtsp解码多线程推理输出rtsp流服务的资源占用率测试

最新推荐文章于 2025-05-16 22:32:22 发布
最新推荐文章于 2025-05-16 22:32:22 发布
阅读量867 收藏 19
点赞数 21
文章标签： ubuntu c++ linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lajuchenghui/article/details/147873893
版权

根据之前例程的各部分实现结合使用场景进行修改 使得性能测试结果更加真实可靠

一个常见的场景 输入拉流rtsp 推理 输出rtsp流服务

要实现的具体功能 拉流rtsp 解码 预处理 推理 后处理 编码 rtsp流服务

拉流rtsp 用ffmpeg实现 解封装得到h264 为了传输稳定配置rtsp over tcp

解码 例程有mpp解码实现 解h264得到nv12图像

预处理

为了减少cpu占用和提高帧率 处理图像尽量不使用opencv 而是使用rga 例程有rga处理图像实现 主要实现放缩和nv12转rgb

但是预处理一般用letterbox方式 就是要宽高等比放缩 多余空间填充黑边 图像居中等 这样一来就不是放缩和nv12转rgb这么简单了 还要位移填充 坐标处理等

另外rga的使用会有很多注意事项 需要查阅官方文档 网上很多使用rga出现4G内存报错、图像抖动和处理慢都是对rga理解不够 解决办法有限定rga3核和使用专门的内存分配器等

此测试使用letterbox方式

推理

例程有推理的实现 但那是只使用了一个npu核 实际使用需要把所有核都调动起来 提高处理帧率 一般有两种办法 一个是多核推理 一个是多线程推理

多核推理是在一个线程内让多个npu核共同推理每一帧

多线程推理是为每个npu核各用一个线程 各线程轮流输入不同的图像给npu逐个推理

他们的特点是 多核推理时延迟低 多线程推理帧率高

举个具体的例子 在3576上两个npu核 一个核推理耗时50ms 两个核进行多核推理 是两个核共同推理一帧 耗时40ms 仅减少10ms 总帧率是25 但是两个核进行多线程推理 是两个核分别推理一帧 一个核推理耗时50ms 单核帧率20 两个核总帧率20*2=40 一般为了高帧率而选择使用多线程推理

官方文档对多核推理的使用和调优有详细的说明 多核推理适用于模型网络更复杂的场景 多核推理的调度需要cpu参与 可以通过把程序绑定cpu大核和调中断来提高多核推理的效率

实现方面 多核推理实现简单 只需要一个api就能实现 多线程推理实现复杂 需要自己做npu调度 分配各核输入输出 需要保证负载均衡 保证输入输出顺序

此测试使用多线程推理方式

后处理

例程有输出过滤的nms和画框实现 主要是少了打标签

画框是用cpu实现的 即根据坐标点直接改写图像数据

而且是直接在解码出来的nv12图像上画框 而不是rgb图像 这样减少了nv12转rgb的处理时间 而且如果不这样做 后面编码还要转多一次rgb转nv12

理论上讲要换成rga画框 但是实际上因为画框需要处理的像素点太少了 一般cpu画框比rga画框快 目标太多可能会不一样 需要根据实测来决定方式 我这边实测cpu画框平均每帧耗时3.39ms 而rga画框平均每帧耗时7.8ms 所以一般选择opencv画框

打标签在例程上有部分实现 得到标签文字后需要用opencv将文字转成图像 此时是rgb格式 也用opencv转成nv12 最后将文字的图像填充到原来的图像也是和画框那样用cpu实现 以上图像处理不用rga实现 原因和画框一样

编码 例程有mpp编码实现 nv12图像编码得到h264

rtsp流服务 用的网上开源的叫rtsp_demo的项目 将h264封装成rtsp流服务 外部可以直接拉流

以上各处理流程都必须各用一条线程 保证相互独立互不影响 每个线程都要通过线程安全队列传输输入输出数据 像流水线一样逐级处理

模型用的例程里的模型

测试视频是1080p@30 码率2554kbps

播放视频

在pc上用vlc拉流的rtsp

资源占用率

cpu 50% （满载800%）

mem 1.3% 105MB

npu core0:15% core1:16% core2:15%

rga rga3_core0:10% rga3_core1:0% rga2:0%

输出信息

inf: null <run:70>:decIn 30 decOut 30 preProcIn 30 preProcOut 29 rknnIn 29 rknnOut 30 postProcIn 30 postProcOut 31 encIn 31 encOut 31 renderIn 0

inf: null <run:77>:post in 29 out 29 tReultViewCost 1 tReultViewCost100 97

inf: null <run:68>:pre in 29 out 29 tNv12ToRgb24Cost 2 tNv12ToRgb24Cost100 285

inf: null <run:183>:rknn in 10 out 10 tInferenceCost 17 tInferenceCost100 1913

inf: null <run:183>:rknn in 9 out 9 tInferenceCost 19 tInferenceCost100 1887

inf: null <run:183>:rknn in 10 out 10 tInferenceCost 19 tInferenceCost100 1839

inf: null <run:241>:enc fInCnt 27 fOutCnt 27 tEncCost 4 tEncCost100 420

inf: null <run:189>:dec in 30 out 30 tDecCost 0 tDecCost100 1012

信息总结

每帧平均耗时ms

解码 10.12 预处理 2.85 推理 18.79 后处理 0.97 编码 4.2

逸俊晨晖
关注
35、ubuntu20.04搭建瑞芯微的npu仿真环境和测试rv1126的Debain系统下的yolov5+npu检测功能以及RKNN推理部署以及RTSP视频流解码
sxj731533730
08-06 9265
镜像是：F:\rv1126\AIO-RV1126(1109)-JD4\Buildroot\薪火车牌识别固件\AIO-RV1126_RV1109-XHLPR_IPC_2021_0906_1125。第一步：刷机，真的是难，各种各样的小问题，反正成功的方法只有一个，遇到问题，断电重新进行连接，刷机，基本都能解决上次的问题，这说的我都无语了,刷了的debain10系统。替换配置是：F:\rv1126\Debian10\debian10_2021_0429_1902。刷机固件网址和方法参考官方。...........
玩转rk3588（二）：rknn模型转换、部署及性能测试，解决视频流处理高延时问题（二）
qq_32636415的博客
12-26 4181
./configure --prefix=/usr/local --disable-sanity-checks 报错：LD_LIBRARY_PATH shouldn't contain the current directory when。修改 rknn-toolkit2-1.4.0/examples/onnx/yolov5/test.py脚本，根据具体情况修改如下位置。思路：在虚拟机上将pt模型转化成onnx模型，然后通过rknn-toolkit将onnx模型转换成rknn模型。
深入解析香橙派 AIpro开发板：功能、性能与应用场景全面测评
m0_62599305的博客
07-12 3102
首先，我们打开香橙派AIpro开发板开发板主体盒子(里面带开发板)对应的数据线和充电头，这个充电头是20V+3.25A的最大功率，完全可以满足我们的开发板Fmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。
如何在iOS平台上实现视频硬解码？
魔都凯凯的专栏
11-05 7960
在iOS平台上做视频的解码，一般有三种方案： 1、软解码方案：ffmpeg 缺点：消耗CPU太大，一般720P 20帧以上就解不动了 2、硬解码方案：采用私有接口VideoToolBox 优点：CPU消耗极低，解码效率极高 缺点：使用私有接口VideoToolBox，iOS设备必须越狱 3、硬解码方案：采用AVPlayer＋httpserver＋HttpLiveStream的组合方案
海思流媒体项目总结
Cykangkk的博客
06-25 985
移植ffmpeg实现8路摄像头的的拉流：项目简述：该项目基于海思3536平台开发实现的新一代的水利检测系统。主要源于水库区域检测人员对水库水位降雨量等环境指标的实时检测以及视频监控的这么一个需求。我们负责的这部分工作主要是将多路视频流拉入海思平台进行解码，对视频进行处理叠加采集来的环境数据osd，然后再将视频数据编码推送至流媒体服务器或者在本地hdmi输出显示以及本地转存。这里面就涉及到了利用ffmpeg对摄像头的rtsp流解封装，利用海思的编解码器进行硬编解码，利用SDL库进行位图的渲染等技术。
异构推理资源调度与性能监控一体化实践：GPU × DPU × CPU 的统一管理体系构建
努力分享一些人工智能相关的知识干货！
05-07 771
随着 AI 推理系统走向多模型、多场景和多节点部署，异构计算资源（GPU、DPU、CPU）的协同效率已成为影响系统稳定性与扩展能力的关键因素。单一设备管理方式已无法支撑 DPU 网络前处理、GPU 主干推理与 CPU 控制调度等任务并行运行的高效协同需求。本文基于工程实战路径，系统梳理 GPU × DPU × CPU 异构资源的统一调度体系设计、运行状态指标采集机制、任务执行链路打通策略，以及如何构建一个面向 AI 推理平台的全链路性能监控系统。结合实际部署经验，展示如何实现资源利用率提升 2 倍、任务平均
基于昇腾AI异构计算架构CANN的通用目标检测与识别一站式方案初体验
qq_40679625的博客
06-10 3414
在计算机视觉领域，CANN最新开源的[通用目标检测与识别样例]，通过其强大的可定制、可扩展性，为AI开发者们提供了良好编程选择。大量模块化编程逻辑、可扩展配置，让开发者们像乐高搭积木一样，仅需进行简单的替换和定制，就能实现符合业务场景需求的高性能、企业级AI应用。......
视频结构化从入门到精通——视频结构化主要技术介绍
swpucwf的博客
08-29 2714
数据中介指的是处理管道中的最后一个处理环节或模块，它负责将原始视频经过一系列处理步骤（如目标检测、跟踪、行为识别等）后生成的结构化数据输出。检测结果：包括目标的类别、边界框坐标、置信度等信息。跟踪数据：目标在视频中的轨迹数据，包括时间戳、位置信息等。行为分析结果：对目标行为或事件的分析结果，如异常行为检测、活动分类等。标签化数据：将视频片段进行分类或打上标签，用于进一步的检索或分析。
基于华为云ECS的目标检测与识别的昇腾AI开发体验【华为云至简致远】
weixin_72866240的博客
08-02 1287
强大的社会粘性不断催温数字化发展，目标检测与识别作为计算机视觉领域的一项关键技术，应用场景广泛，前景十分广阔，从城市治理、楼宇园区、互联网等领域，延伸至智能家居、金融、医疗影像等更多创新领域。随着这些技术潜移默化地渗透入人们的生活中，各行各业竞相通过引入目标检测和识别等人工智能新技术打开市场空间，关于目标检测和识别等各类人工智能需求奔涌而来。.........
如何优化这段代码的性能，已达到无延迟rtsp推理的目的？目前已知的问题是NPU的利用率只是单核用到了8%，一共3个核心：import fastdeploy as fd import cv2 import numpy as np import time import threading from queue import Queue # -----------------配置参数------------------ RTSP_URL = "rtsp://admin:jd888888.@49.7.214.81:9018/video2" MODEL_PATH = "./modal/picodet_s_416_coco_lcnet_rk3588.rknn" CONFIG_FILE = "./conf/picodet_infer_cfg.yml" INFERENCE_THREADS = 3 # 根据NPU核心数调整 QUEUE_SIZE = 4 # 控制内存占用 USE_GPU_PREPROCESS = False # 是否启用GPU预处理 # -----------------多线程队列------------------ frame_queue = Queue(maxsize=QUEUE_SIZE) result_queue = Queue(maxsize=QUEUE_SIZE*2) # -----------------模型初始化------------------ def create_model(): runtime = fd.RuntimeOption() runtime.use_rknpu2() model = fd.vision.detection.PicoDet( MODEL_PATH, "", CONFIG_FILE, runtime_option=runtime, model_format=fd.ModelFormat.RKNN ) model.postprocessor.apply_decode_and_nms() return model # -----------------视频采集线程------------------ def capture_thread(): cap = cv2.VideoCapture(RTSP_URL) cap.set(cv2.CAP_PROP_BUFFERSIZE, 3) while True: ret, frame = cap.read() if not ret: break if frame_queue.qsize() < QUEUE_SIZE: frame_queue.put((time.time(), frame)) cap.release() # -----------------推理线程------------------ def inference_thread(model): while True: timestamp, frame = frame_queue.get() # 硬件加速预处理 if USE_GPU_PREPROCESS: frame = fd.vision.cuda.cvtColor(frame, fd.vision.CVDT_COLOR_BGR2RGB) # 执行推理 try: result = model.predict(frame) result_queue.put((timestamp, frame, result)) except Exception as e: print(f"Inference error: {e}") # -----------------可视化线程------------------ def visualize_thread(): last_ts = 0 while True: ts, frame, result = result_queue.get() # 计算推理延迟 latency = time.time() - ts print(f"End-to
03-28
好的，用户的问题是关于如何优化基于FastDeploy和RTSP流的多线程推理代码，以提高NPU利用率和降低延迟。当前NPU利用率只有8%的单核使用，显然资源没有被充分利用。我需要从代码结构、线程管理、硬件加速等方面入手...
Ubuntu 更改 Nginx 版本
WGS.
05-16 77
Ubuntu 更改 Nginx 版本
Ubuntu 22.04搭建OpenStreeMap地址解析服务（保姆级教程）
谁念西风独自凉
05-13 832
浏览器访问解析地址时候，如果出现下面的问题，说明应用程序无法通过 Unix 域套接字连接到 PostgreSQL 服务器，通常是由于权限问题或服务未运行导致的。创建后再次清理数据库，执行导入操作，看到下面的进度说明我们导入开始，等待导入结束。如果在导入过程中出现内存不足，导致osm2pgsql意外中断，则可以采用增加虚拟内存的方式进行临时解决，有条件的可以增加物理内存条。经历长时间的等待（5天时间），终于将全球数据导入到了数据库，算上下载数据，整个过程需要10来天左右，真不易。
解决 Ubuntu 22.04 安装后启动卡死问题
qq_31638535的博客
05-15 569
通过进入恢复模式，执行文件系统检查、软件包修复和系统更新，我成功解决了 Ubuntu 22.04 安装后启动卡死的问题。这个方法简单有效，适合大多数因文件系统或软件包问题导致的启动失败情况。如果你的 Ubuntu 系统也遇到了类似问题，不妨按照以上步骤尝试修复。
Ubuntu离线安装Minio
weixin_45056021的博客
05-15 290
本文详细介绍了在 Linux 环境下离线安装 MinIO 服务端的步骤。首先，在联网机器上下载 MinIO 可执行文件，并将其拷贝到目标离线服务器的指定目录。接着，创建数据目录并赋予相应权限。然后，通过命令行启动 MinIO 服务，并设置默认端口和管理控制台地址。此外，还提供了通过 systemd 服务实现 MinIO 自启动的配置方法，并建议设置访问密钥以提高安全性。最后，提醒用户注意防火墙设置和生产环境的安全措施。该教程适用于内网或无法联网的服务器环境。
windows、Ubuntu、Debian 添加静态路由
云途行者 DevOps 技术分享
05-15 142
/ 添加静态路由（重启后丢失）// 添加静态路由（永久）
Ubuntu 24.04 LTS系统上配置国内时间同步
Chiron技术栈
05-13 500
在Ubuntu 24.04 LTS系统上配置时间同步到中国NTP服务器的步骤如下：首先确认系统版本为Ubuntu 24.04 LTS，然后检查并启动systemd-timesyncd服务。接着，编辑/etc/systemd/timesyncd.conf文件，配置中国NTP服务器（如阿里云、腾讯云等），并重启服务。通过timedatectl status和timedatectl timesync-status命令验证时间同步状态和NTP服务器连接。若时区未自动设置为Asia/Shanghai，可手动设置。确保
Ubuntu20.04下如何源码编译Carla，使用UE4源码开跑，踩坑集合
大侠的后花园
05-15 836
无人驾驶车辆仿真，算法改进，二次开发
Ubuntu 系统默认已安装 python，此处只需添加一个超链接即可
雁过留声花欲落，风吹草鸣似卒奔。
05-14 262
【代码】Ubuntu 系统默认已安装 python，此处只需添加一个超链接即可。
ubuntu22.04卸载vscode
最新发布
keyboard专栏
05-16 355
如果你解压了 VSCode 的 .tar.gz 文件，通常位于自定义目录（如 ~/vscode 或 /opt/vscode）。：如果你需要保留 VSCode 的设置或扩展，在删除 ~/.config/Code 或 ~/.vscode 前，备份这些文件夹。删除相关行，然后运行 source ~/.bashrc 或 source ~/.zshrc。如果返回空或 /usr/bin/code 不存在，说明已卸载。如果输出显示 code，说明是通过 APT 安装的。方法 2：通过 APT 卸载 VSCode。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值