目标检测5：采用yolov8, RK3568上推理实时视频流

已于 2024-03-08 15:51:13 修改
阅读量868 收藏 6
点赞数 10
文章标签： 目标检测 RK3568 RK3588 yolov8
于 2024-03-05 18:12:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/proing/article/details/136485546
版权

 上一个效果图，海康球机对着电脑屏幕拍，清晰度不好。

RK3568接取RTSP视频流，通过解码，推理，编码，最终并把结果推出RTSP视频流。

RK3568 推理

 

数据集采用coco的80个种类集，通过从yovo8.pt，转换成RKNN，然后跑在3568上。

3568性能太差了些，通过优化终于可以实时推理视频了。如果跑在RK3588上会很好，没钱买3588，只能先用3568调研。

如果不处理视频流，只处理图片的话，RK3568绝对够用。

RKNN输出信息：

参考：

目标检测：1预备知识

目标检测：2如何生成自己的数据集

proing
关注
  • 10
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
基于RK3588部署YOLOv5多线程推理C++源码+项目说明(支持4路视频AI分析).zip
01-09
1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载体验！下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！ 【资源说明】 基于RK3588部署YOLOv5多线程推理C++源码+项目说明(支持4路视频AI分析).zip 此项目为c++实现yolo5的batch多线程推理 实现4路摄像头的batch=4的推理 # 使用说明 模型转换 * yolov5工程下export.py转换onnx，直接转，切忌修改batch_size * 参考网上方法，rknn-toolkit2进行onnx转rknn，需要修改./rknn-toolkit2/examples/onnx/test.py为本工程test.py 演示 * 系统需安装有**OpenCV**，如果需要读取AHD摄像头还需要安装**gstreamer** * 运行build-linux_RK3588.sh * 可切换至root用户运行performance.sh定频提高性能和稳定性 * 编译完成后进入install运行命令./rknn_yolov5_demo **模型所在路径** 部署应用 * 修改include/rknnPool.hpp中的rknn_lite类 * 修改inclue/rknnPool.hpp中的rknnPool类的构造函数 # 多线程模型帧率测试 * 使用performance.sh进行CPU/NPU定频尽量减少误差 * 设置线程数为8，batch_size=4，读取USB摄像头视频流测试，平均处理速度15.8FPS*4，八核CPU占用率约500%，三核NPU平均占用率75% ![示例](./view.png) # 补充 * 异常处理尚未完善, 目前仅支持rk3588/rk3588s下的运行
基于RK3588上部署yolov5s模型源码(实时摄像头检测)+部署说明文档.zip
07-24
【资源介绍】 基于RK3588上部署yolov5s模型源码(实时摄像头检测)+部署说明文档.zip 该项目是个人毕设项目，答辩评审分达到95分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。 该资源主要针对计算机、通信、人工智能、自动化等相关专业的学生、老师或从业者下载使用，亦可作为期末课程设计、课程大作业、毕业设计等。 项目整体具有较高的学习借鉴价值！基础能力强的可以在此基础上修改调整，以实现不同的功能。 yolov5模型(.pt)在RK3588(S)上的部署(实时摄像头检测) - 所需： - 安装了Ubuntu20系统的RK3588 - 安装了Ubuntu18的电脑或者虚拟机 <details> <summary>一、yolov5 PT模型获取</summary> [Anaconda教程](https://blog.csdn.net/qq_25033587/article/details/89377259)\ [YOLOv5教程](https://zhuanlan.zhihu.com/p/501798155)\ 经过上面两个教程之后，你应该获取了自己的`best.pt`文件 </details> <details> <summary>二、PT模型转onnx模型</summary> - 将`models/yolo.py`文件中的`class`类下的`forward`函数由： ```python def forward(self, x): z = [] # inference output for i in range(self.nl): x[i] = self.m[i](x[i]) # conv bs, _, ny, nx = x[i].shape # x(bs,255,20,20) to x(bs,3,20,20,85) x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous() if not self.training: # inference if self.dynamic or self.grid[i].shape[2:4] != x[i].shape[2:4]: self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i) if isinstance(self, Segment): # (boxes + masks) xy, wh, conf, mask = x[i].split((2, 2, self.nc + 1, self.no - self.nc - 5), 4) xy = (xy.sigmoid() * 2 + self.grid[i]) * self.stride[i] # xy wh = (wh.sigmoid() * 2) ** 2 * self.anchor_grid[i] # wh y = torch.cat((xy, wh, conf.sigmoid(), mask), 4) else: # Detect (boxes only) xy, wh, conf = x[i].sigmoid().split((2, 2, self.nc + 1), 4) xy = (xy * 2 + self.grid[i]) * self.stride[i] # xy wh = (wh * 2) ** 2 * self.anchor_grid[i] # wh y = torch.cat((xy, wh, conf), 4) z.append(y.view(bs, self.na * nx * ny, self.no)) return x if self.training else (torch.cat(z, 1),) if self.export else (torch.cat(z, 1), x) ``` 改为： ```python def forward(self, x): z = [] # inference
Rk3588平台安卓系统使用RKNN推理yolov5网络
11-09
支持的平台 - RK3566/RK3568 - RK3588/RK3588S - RV1103/RV1106
yolov7-tiny在瑞芯微rk3588上测试运行结果
09-07
1、运行时间测试 2、多core运行与单core运行时间分析 3、图优化分析
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测
10-20
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测 系统使用debian11
手把手教学YOLOV5在RK3568的部署应用及代码实现
yangbisheng1121的博客
01-29 4598
YOLOV5模型移植在RK3568
RK3568笔记六：基于Yolov8的训练及部署
11-28 2098
若该文为原创文章，转载请注明原文出处。基于Yolov8的训练及部署，参考鲁班猫的手册训练自己的数据集部署到RK3568,用的是正点的板子。1、
RK3568笔记十四：yolov8pose部署
02-13 1467
若该文为原创文章，转载请注明原文出处。本篇参考山水无移大佬文章，并成功部署了yolov8pose在RK3568板子上，这里记录下全过程。
Lnton羚通视频分析算法开发yolov8训练与rknn模型导出并在RK3588部署的详细步骤
LNTON羚通科技
09-07 736
bash testYolov8_rk3588.sh 中的./rknn_yolov8_demo model/RK3588/yolov8s-640-640.rknn model/bus.jpg为./rknn_yolov8_demo model/RK3588/yolov8s.rknn model/bus.jpg。修改为rknn.config(mean_values=[[0, 0, 0]], std_values=[[255, 255, 255]], target_platform='rk3588')
瑞芯微：基于RKNN3568得yolov8det部署
qianxun
06-27 905
所以需要将yolov8det目标检测部署在rk3568里面。
RK3568移植yolov7目标检测模型【人工智能项目实战】
04-19
RK3568移植yolov7目标检测模型，人工智能项目实战。 项目代码可直接编译运行~
RK3568移植yolov5目标检测模型【人工智能项目实战】
04-19
RK3568移植yolov5目标检测模型，人工智能项目实战。 项目代码可直接编译运行~
YOLOV5+deepsort+rknn(rk3588进行实时目标跟踪)
qq_52859223的博客
09-13 6715
rk3588的目标检测+目标跟踪
YOLOv8部署在RKNN3588上
qq_43571475的博客
05-31 7668
并且我将bbox分支的reshape后面的算子全部去除，因为在板子上运行的时候老是报错，由于这个地方在源码中就是将bbox的预测输出变成xyhw的输出格式，于是干脆砍掉，在后处理的过程中修改即可。在转为rknn模型的过程中，如果打开了量化，类别得分会全部被量化为0，所以单输出的onnx转成rknn会有问题（如果有大佬有解决办法，并且成功对单输出的模型进行后处理的，欢迎讨论分享）注意，onnx要转成rknn模型，目前不支持太高版本的opset算子库，YOLOv8默认是opset=17，我们需要修改成12。
rk3588使用npu进行模型转换和推理，加速AI应用落地
热门推荐
振华OPPO的博客世界
08-08 1万+
本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条路行不通。使用该NPU需要下载RKNN SDK，RKNN SDK 为带有 NPU 的RK3588S/RK3588 芯片平台提供编程接口，能够帮助用户部署使用 RKNN-Toolkit2 导出的 RKNN 模型，加速 AI应用 的落地。简单修改下test.py文件，显示并保存结果图片，不得不说，npu推理的检测框置信度高的离谱，不愧是嵌入式神经网络，比原先yolov5高很多。.
基于RK3399+YOLO目标检测人工智能图像系统设计
YEYUANGEN的专栏
02-14 2320
算法将图像的像素矩阵通过卷积和池化处理提取出特征信息，在全连接层对图像进行类。型移植到嵌入式平台上，对目标检测系统平台进行测试，通过对图像的各项参数和目标。检测的准确率等指标分析，并得出实验结论，证明该目标检测系统可以有效增强图像，部分：采集模块，算法处理模块，存储模块，通信模块和显示模块。同时将几种基于神经网络的目标检测算法进行性能对比，选择。训练学习时，像素矩阵经过卷积和池化处理后提取出图像中物体的特征信息，全连接层。出层通过目标物体的预测值及损失函数计算出物体所属类别的概率，通过进行比较，将。
Android开发BLE 串口调试工具，用来和底层进行一些握手协议的调试
最新发布
05-01
【Android】开发BLE 串口调试工具，用来和底层进行一些握手协议的调试。
机械设计自动锁垫片机（sw18可编辑+工程图+BOM）非常好的设计图纸100%好用.zip
05-01
机械设计自动锁垫片机（sw18可编辑+工程图+BOM）非常好的设计图纸100%好用.zip
yolov5目标检测rk3588部署
09-02
您好！针对将Yolov5目标检测部署在RK3588上，您可以按照以下步骤进行操作： 1. 首先，确保您的RK3588设备已经正确安装了操作系统和相关的开发环境。 2. 接下来，您需要安装PyTorch框架和Yolov5模型。您可以通过以下命令安装PyTorch： ``` pip install torch torchvision torchaudio ``` 您可以从Yolov5的GitHub仓库中克隆代码并安装依赖项： ``` git clone https://github.com/ultralytics/yolov5.git cd yolov5 pip install -r requirements.txt ``` 3. 对于RK3588设备，您需要将Yolov5模型转换为TensorRT格式，以提高推理性能。您可以使用`export.py`脚本将Yolov5模型转换为ONNX格式，然后使用TensorRT进行优化。在RK3588上安装TensorRT，并根据官方文档将ONNX模型转换为TensorRT引擎。 4. 在部署之前，您需要对输入图像进行预处理，并将其传递给目标检测模型。您可以使用OpenCV库加载、调整和转换图像格式。 5. 最后，您可以使用目标检测模型对输入图像进行推理，并获取检测到的目标及其边界框信息。根据您的具体应用需求，您可以选择在图像上标注检测结果或进行其他后续处理。 请注意，这只是一个基本的指导步骤，具体实施过程可能会有所不同。您可能还需要进一步调优和优化模型以适应RK3588设备的计算资源和性能要求。希望对您有所帮助！如果您有更多问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值