目标检测5：采用yolov8, RK3568上推理实时视频流

已于 2024-03-08 15:51:13 修改
阅读量1.6k 收藏 10
点赞数 10
文章标签： 目标检测 RK3568 RK3588 yolov8
于 2024-03-05 18:12:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/proing/article/details/136485546
版权
文章讲述了使用RK3568芯片接收RTSP视频流，通过解码、推理和编码技术提升清晰度的过程。作者提到3568的性能有限，但经过优化后可以实现实时目标检测。此外，还提及了使用COCO数据集和如何将预训练模型转换到RKNN在3568上的应用。
摘要由CSDN通过智能技术生成

 上一个效果图，海康球机对着电脑屏幕拍，清晰度不好。

RK3568接取RTSP视频流，通过解码，推理，编码，最终并把结果推出RTSP视频流。

RK3568 推理

 

数据集采用coco的80个种类集，通过从yovo8.pt，转换成RKNN，然后跑在3568上。

3568性能太差了些，通过优化终于可以实时推理视频了。如果跑在RK3588上会很好，没钱买3588，只能先用3568调研。

如果不处理视频流，只处理图片的话，RK3568绝对够用。

RKNN输出信息：

参考：

目标检测：1预备知识

目标检测：2如何生成自己的数据集

proing
关注
yolov8实战第五天——yolov8+ffmpeg实时视频流检测并进行实时推流——（推流，保姆教学）
qq_34717531的博客
01-05 1万+
YOLOv8是YOLO目标检测算法的一个变种。它在YOLOv4的基础上进行了一些改进，如使用更大的图像尺寸、更深的网络结构、更多的训练数据等，从而获得更好的检测精度和更快的检测速度。实时视频流目标检测是一种非常有用的应用场景。例如，在视频监控系统中，我们需要对视频流进行实时分析和检测，以便及时发现异常事件和行为。另外，实时视频流目标检测也可以用于自动驾驶、无人机等领域。
yolov8同时推理多路视频流，同时支持torch和onnx推理
06-30
yolov8同时推理多路视频流，同时支持torch和onnx推理
瑞芯微RK3568运行yolov8模型记录（未完待续）
weixin_47462906的博客
07-24 1813
瑞芯微RK3568运行yolov8模型
基于YOLOv8的RTSP视频流实时目标检测与告警系统设计与实现（超详细）
我的青春一去不复返
09-18 1089
在训练模型完成后，想把模型应用起来，比如模型可以部署到项目中，实时接收RTSP视频流进行识别检测，一旦达到自己所设置的置信度阈值（例如大于0.5），系统就会实时把报警信息发送给服务端，由服务端进行实时响应和策略执行，很像是个企业级应用流程。比如：我们在yolov8平台训练完“火焰”模型，想要实时检测并把识别结果发送给服务端进行报警，一旦出现火焰，立即发送服务端进行报警。
目标检测6：采用yolov8, RK3568推理的性能
06-12 762
根据官方的数据，yolov8s模型的性能在15.4 FPS。所以基本上也吻合了这个数据。通过性能优化，发现推理，稳定的达到了FPS 13左右，NPU利用率在90%上下浮动。解析一段视频文件，1280*720, fps 24。读取视频文件，然后进行推理。本次采用模型为yolov8s.rknn，作了一次验证。
YoloV8视频实时检测
wuminghang的专栏
03-31 915
基于onnxRuntime，使用c#版实现的基于YoloV8s模型的视觉检测框架,yolov9模型也可使用。3、支持：图片分类、物体检测、Sam分割、Pose姿态检测/动作、OBB旋转框、动作关键点预测。8、毫秒级推理，运行速度快，几行代码即可调用，自动识别模型，无需单独设置模型参数。9、封装类中含有大量注释，从预处理到后处理，轻松学会整个推理过程，轻松上手。4、支持CPU、GPU，一键切换使用Cpu或者Gpu运行。5、支持集成显卡、Nvidia显卡、amd显卡的推理。2、支持YoloV8s模型。
迅为【AI深度学习推理加速器】RKNPU2 从入门到实践视频教程3568开发板
mucheni的博客
08-14 401
P9-08_RKNN Toolkit lite2部署RKNN模型-14:51。P8-07_RKNN 模型评估-性能评估和内存评估-14:24。P4-03_RKNN Toolkit2 环境搭建-12:44。P7-06_RKNN 模型评估-量化精度分析-30:27。P11-10_RKNPU2 零拷贝API讲解-23:38。P10-09_RKNPU2 通用API讲解-30:27。P6-05_RKNN 模型评估-推理测试-28:24。P5-04_RKNN模型构建-29:14。P1-00 前言-05:13。
YOLOv8 onnx 文件推理多线程加速视频流
weixin_43958308的博客
11-27 1756
【代码】YOLOv8 onnx 文件推理多线程加速视频流。
VS+QT+Opencv使用YOLOv4对视频流进行目标检测
qq_45445740的博客
08-12 1586
【代码】VS+QT+Opencv使用YOLOv4对视频流进行目标检测。
YOLOv8 多路视频流推理工具：高效处理视频数据的利器
gitblog_09779的博客
09-06 1036
YOLOv8 多路视频流推理工具：高效处理视频数据的利器 项目地址:https://gitcode.com/open-source-toolkit/1012d 项目介绍 在当今的计算机视觉领域，视频数据的处理需求日益增长。为了满足这一需求，我们推出了 YOLOv8 多路视频流推理工具。该工具旨在帮助开发者轻松实现 YOLOv8 模型对多路视频流的并行推理，从而显著提升推理效率和处理速度。无论您是从...
YOLOv8结合SAHI推理图像和视频
Dora_blank的博客
07-07 3259
在上一篇文章中，我们深入探讨了如何通过结合YOLOv8和SAHI来增强小目标检测效果，并计算了相关评估指标，虽然我们也展示了可视化功能，但是这些功能往往需要结合实际的ground truth（GT）数据进行对比，这在实际操作中可能会稍显不便。为了进一步简化操作，这篇文章将直接分享可以用来推理图像和视频的代码，通过这段代码，我们能够更加方便地使用SAHI进行小目标检测，而不需要反复处理和对比GT数据。不多说啦，以下是完整的代码示例，供大家参考使用。
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测
10-20
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测 系统使用debian11
RK3568移植yolov7目标检测模型【人工智能项目实战】
04-19
在本项目中，我们将深入探讨如何在RK3568平台上移植并运行Yolov7目标检测模型。Yolov7是一种高效的深度学习算法，广泛应用于计算机视觉领域，特别是目标检测任务，它能够准确地定位并识别图像中的物体。而RK3568是一...
该项目是一个在RK3588平台上运行的Yolov8/yolov10多线程推理演示
最新发布
10-12
该项目是一个在RK3588平台上运行的Yolov8多线程推理演示，已经针对读取视频文件和摄像头流进行了适配。该演示使用Yolov8n模型进行文件推理，最大推理帧率可达每秒100帧。 该项目是一个在RK3588平台上运行的Yolov8...
rk3588部署yolov8视频目标检测教程
qq_53545309的博客
07-19 927
因为我使用的自定义数据集，我是基于VisDrone数据加上了自己的数据制作的训练集，所以加载的是改造后的VisDrone.yaml文件 数据的转换这里不仔细写了，以后空了我再补充在这里，但是需要注意的是，我是二分类，所以需要修改两处地方，否则训练出来的模型是不正确的。其中BUILD_SHARED_LIBS表示是否编译为动态库，我关闭后，变成静态库，使用的时候一直报错，所以我还是使用的动态库去链接，有懂的大佬请指教一下。
YOLOv10：实时端到端目标检测
m0_47867638的博客
08-19 1051
近年来，YOLO系列模型因其在计算成本与检测性能之间的有效平衡，在实时目标检测领域占据了主导地位。研究人员在YOLO的架构设计、优化目标、数据增强策略等方面进行了探索，并取得了显著进展。然而，YOLO在后处理阶段对非极大值抑制（NMS）的依赖阻碍了其端到端的部署，并对推理延迟产生了不利影响。此外，YOLO中各组件的设计缺乏全面和彻底的审查，导致明显的计算冗余，限制了模型的性能。这导致了次优的效率，并存在相当大的性能提升空间。在这项工作中，我们的目标是同时从后处理和模型架构两个方面进一步推动YOLO的性能与效
yolov8pose pt转onnx，并实现图片和视频推理
LKjoey的博客
06-19 9870
v8官网v8pose权重看自己设备配置和推理速度下载需要的模型。
【深度学习之YOLO8】视频流推断
愿Bug与你同在
07-21 1706
Ultralytics YOLOv8 的使用
RK3568笔记五十六：yolov8_obb旋转框训练部署
08-20 248
若该文为原创文章，转载请注明原文出处。本文基于rknn_model_zoo和山水无移大佬的博客和代码训练模型并部署到正点原子的ATK-DLRK3568板子测试。
yolov8 部署rk3568
07-18
YOLOv8（You Only Look Once version 8）是一个先进的实时物体检测算法，它在速度和准确度上都有出色的表现。RK3568是一种嵌入式系统芯片，通常用于工业物联网设备、监控摄像头等应用。 将YOLOv8部署到RK3568上一般需要经过以下几个步骤： 1. **硬件兼容**：首先确认RK3568支持的计算能力是否足以运行YOLOv8模型，因为YOLOv8对GPU性能有一定要求。 2. **模型优化**：由于RK3568可能没有强大的GPU，需要对YOLOv8模型进行轻量化处理，如剪枝、量化或选择更小的模型版本（例如Nano或Tiny）。 3. **软件环境准备**：安装适合RK3568架构的Linux发行版（如Raspbian或Ubuntu for ARM），并配置必要的深度学习库（比如TensorRT、CUDA等）。 4. **移植工具链**：下载针对RK3568的工具链，以便编译和运行YOLOv8的C++或Python代码。 5. **编译模型**：使用合适的命令行工具（如CMake或cmake-gui）构建YOLOv8，指定目标平台和优化选项。 6. **加载到硬件**：将编译后的YOLOv8推理引擎加载到RK3568的运行环境中，通过API访问进行实时物体检测。 7. **集成应用**：如果是在实际产品中部署，还需将其整合到相应的应用程序或UI中，提供用户交互界面。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值