（十二）rk3568 NPU 中部署自己训练的模型，（1）使用yolov5训练自己的数据集-模型训练部分

已于 2023-04-22 13:05:32 修改
阅读量1k 收藏 2
点赞数 1
分类专栏： rockchip芯片调试记录总结 文章标签： YOLO 深度学习 pytorch rk3568 rk3588
于 2023-04-22 11:41:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongshizhishui/article/details/130302325
版权
本文介绍了如何在rk3568平台上使用YOLOv5训练自定义数据集的步骤，包括数据集准备、生成训练验证文件、修改配置文件、模型训练和测试。
摘要由CSDN通过智能技术生成

一、rknn的demo中已经给了yolov5的后处理demo。但是这个后处理只适合yolov5特定版本（v5.0），还有下载特定的分支，如下为下载位置：。

下载地址 GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

               commit id :c5360f6e7009eb4d05f14d1cc9dae0963e949213

              之后点击“Commits”

了解本专栏 订阅专栏 解锁全文
（十二）rk3568 NPU 中部署自己训练的模型，（1）使用yolov5训练自己的数据集-环境搭建部分
不见围墙
04-22 1611
yolov5在yolov3的基础上有很大提高，在保持准确率的情况下，模型更小，更适合轻量化的嵌入式产品部署。NVIDIA 驱动下载：https://www.nvidia.cn/Download/index.aspx?对于cudnn直接将其解开压缩包，然后需要将bin,include,lib中的文件复制粘贴到cuda的文件夹下。cuda下载链接：https://developer.nvidia.com/cuda-downloads?以上三个都是按照自己的电脑显卡配置、以及操作系统来下载的，不可以随意下载。
RK3568笔记五十五：yolov10训练部署测试
08-17 375
若该文为原创文章，转载请注明原文出处。yolov8还没熟悉，yolov10就出来了，本篇记录使用yolov10训练自己的数据，并部署到rk3568上。参考大佬的博客。
瑞芯微：基于RK3568的深度估计模型部署
qianxun
11-10 773
因此，高昂的成本导致数据集的数据量较小，也意味着有监督学习的深度估计方式不适用于大规模的工业场景。随着深度学习技术的发展，该范式已经成为了估计单目图像的深度信息的一种解决方案。早期的深度估计方法大多是有监督的，即要求数据集包含单目图像和对应的深度真值支撑网络模型训练。根据单张图像估计深度信息是计算机视觉领域的经典问题，也是一项具有挑战的难题。由于单目图像的尺度不确定，传统方法无法计算深度值。对于距离的计算，常用的算法就是单目测距，但传统算法有时候并不是很准确，因此需要深度学习去进行深度估计。
RK3568部署yolo8记录
最新发布
qq_42681787的博客
11-28 1387
瑞芯微教程基本上都可以在ultralytics_yolo8、rknn_toolkit2、rknn_model_zoo这三个项目的doc目录下找到，模型量化、转化、推理、部署等教程都在这里面。不仅是yolo8部署教程、包括其他yolo版本都可以找到教程。总之，关于rknn的一切教程都在ultralytics_yolo8、rknn_toolkit2、rknn_model_zoo这三个项目中。
RK3568 NPU rknn-toolkit2.1
09-07
RK3568 NPU rknn-toolkit2.1
RK3568笔记三十二:PaddleSeg训练部署
06-12 1041
训练的模型权重保存在output目录下，如下所示。总共训练1000轮，每500轮评估一次并保存模型信息，所以有。PaddleSeg训练好模型J是动态的，将模型导出为预测模型、使用预测库进行部署，可以实现更快的推理速度。下载后把数据放到 data目录下，没有目录新创建一个。后续模型的评估、测试和导出，都是使用保存在。将训练出来的动态图模型转化成静态图预测模型。评估精度最高的模型权重，保存在。到处RKNN需要rknn环境，自行搭建。文件夹下精度最高的模型权重。脚本输入参数的详细说明如下。虽然报错，但导出成功。
全志V853 NPU开发（四）模型部署
weixin_42904656的博客
11-23 2326
全志V853 NPU开发，模型部署
（十二）rk3568 NPU 中部署自己训练的模型，（2）模型转换
不见围墙
04-22 1191
对于rknn 模型部署，本人使用*.pt -> *.onnx -> *.rknn的方式。
瑞芯微 rk3568的npu使用，部署unet网络
tony365的博客
12-19 5004
模型转换是 RKNN-Toolkit2 的核心功能之一，它允许用户将各种深度学习模型从不同的框架转换为 RKNN 格式以在 RKNPU 上运行，用户可以参考模型转换流程图以帮助理解如何进行模型转换。因此如下图，输入的 uint8的image data, 然后归一化到0-1，因为设置了 outputs[0].want_float=1,然后model infer 得到 float data,范围 0-1. 以上全在 npu中进行，也就是全在rknn_run中进行，因为使用的时零拷贝 api.
（十二）rk3568 NPU 中部署自己训练的模型，(3)连板部署
不见围墙
04-22 581
修改/install/rknn_yolov5_demo_Linux/model中的coco_80_labels_list.txt文件为你识别的类别。更改/external/rknpu2/examples/rknn_yolov5_demo/include/postprocess.h。1、至于yolov5后处理代码，本人使用的事rk3568中sdk中的demo。中的类别个数为自己训练的类别数（默认为80 coco数据集）。执行export LD_LIBRARY_PATH=./lib。
RK3588部署Yolov5自训练模型
u010492025的博客
12-22 2482
一. 训练Yolov5的模型 1.创建训练环境 2.拉取yolov5工程 3. 训练自己的模型 4.模型推理 二. 导出rknn模型 1. 创建导出环境 2. pt转onnx模型 3. onnx转rknn模型 三. 部署到rk3588 1. 安装rknn_toolkit2_lite 2. 推理测试
2.2 YOLOv8训练自己的模型并部署RK3588（Rock5B开发板）
m0_46087051的博客
04-12 1039
cp Dockerfile_ubuntu_20_04_for_cp38 Dockerfile sudo docker build -t "rknn/toolkit2:20240208" . sudo docker image ls sudo docker run -it -v $(pwd -P):/workplace rknn/toolkit2:20240208 /bin/bashpython convert.py ./best.onnx rk3588修改OBJ_CLASS_NUM，否则会在后处理报错
[rknpu][yolov5]自训练yolov5模型运行于rv1126npu上（一）训练yolov5模型并转换为onnx模型
sakuramiao的博客
03-31 6276
[rknpu][yolov5]自训练yolov5模型运行于rv1126npu上（一）训练yolov5模型并转换为onnx模型
RK3568 OpenHarmony3.2 AI NPU适配
Martian_Jonas的博客
07-12 1282
Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。本文介绍芯片厂商如何在将专有加速芯片接入NNRt，接入OpenHarmony社区生态。整体适配思路：在虚拟机平台上通过Build.gn的方式编译得到可执行文件, 然后将可执行文件及对应鸿蒙系统的api库文件推送到板子，最后将.rknn后缀结尾的模型文件以及图片文件等输入资源拷贝至RK3568进行模型的运行。
RK3568笔记五：基于Yolov5的训练及部署
11-13 2783
环境：Ubuntu20.04、python3.8芯片：RK3568芯片系统：buildroot开发板：ATK-DLRK3568开发主要参考文档：《Rockchip_Quick_Start_RKNN_Toolkit2_CN-1.4.0.pdf》、《Rockchip_User_Guide_RKNN_Toolkit2_CN-1.4.0.pdf》
RK3568平台开发系列讲解（NPU篇）让 NPU 跑起来
内核笔记
11-10 5141
📢本篇将介绍如何让NPU跑起来。
RK3568平台开发系列讲解（NPU篇）RKNPU SDK软件架构
内核笔记
03-13 4106
从上到下来看，最上层是 AI Apps层，也就是 RKNN 应用层，RKNN 应用层包含了客户开发的 AI 应用，包括瑞芯微提供的 demo 应用。往下一层，是瑞芯微对外开放的 RKNN API，这个 API 里面其实是 RKNN 运行时。RKNN API 往上提供了对应用的调用接口。再往下一层是 RKNPU 内核驱动层，主要负责功能是对下操作硬件 NPU，对上提供比较轻量级的接口。最下一层是 RKNPU 的硬件。
迅为RK3568开发板瑞芯微安卓11核心板NPU边缘计算人工智能物联网
mucheni的博客
03-23 9141
性能强：iTOP-3568开发板采用瑞芯微RK3568处理器，是一款中高端通用型SOC，22nm工艺制程。内部集成了四核64位Cortex-A55处理器。主频高达2.0Ghz，2GB内存，16GB EMMC，RK809动态调频。 双核心架构GPU：集成了双核心架构GPU、ARMG52 2EE、支持OpenGL ES1.1/2.0/3.2、OpenCL2.0、Vulkan1.1、内嵌高性能2D加速硬件。 内置独立NPU：内置独立NPU，算力达0.8T，可用于轻量级人工智能应用。 强大的视频编解码：高性能VP.
多线程异步提高RK3588的NPU占用率，进而提高yolov5s帧率
热门推荐
m0_62740527的博客
04-30 1万+
作者手头上有一块香橙派5，其搭载有一颗三核心6TOPS算力的NPU, 由于发布时间不长，社区的资料还是比较匮乏, 所以在这里写一下关于如何提高NPU使用率的教程文章和代码使用yolov5s进行讲解, 其他模型如resnet之类的同理,稍作修改就可以使用。由于已经有很多人,如等做了如何通过修改模型提高视频推理帧率的教程, 这里我就主要讲另外一种性能的方法——多线程异步。
如何使用Oulu-NPU数据集对深度学习模型进行2D人脸活体检测的训练和测试？
11-02
利用Oulu-NPU数据集来训练一个深度学习模型进行2D人脸活体检测，首先需要了解数据集的组织结构和特点，包括真实和攻击视频样本的多样性、不同设备拍摄的图像、不同光照和背景条件下的视频帧，以及模拟的打印和视频重放攻击类型。接下来，可以按照以下步骤进行模型的训练和测试： 参考资源链接：[OULU-NPU：2D人脸RGB活体检测数据集，深度学习开发必备](https://wenku.csdn.net/doc/5opb7a4nbc?spm=1055.2569.3001.10343) 1. 数据预处理：由于数据集中的视频帧是RGB格式的2D图像，因此首先需要对视频帧进行预处理。这包括图像的归一化处理、大小调整以及数据增强技术，比如随机裁剪、水平翻转等，以增加模型的泛化能力。 2. 模型选择：选择一个适合的深度学习架构。常用的结构包括卷积神经网络（CNN）用于特征提取，以及循环神经网络（RNN）或长短时记忆网络（LSTM）处理序列数据。可以考虑使用预训练的模型作为起点，例如ResNet、Inception或VGG。 3. 模型训练：根据活体检测的具体任务，设计模型的损失函数。对于二分类任务，可以使用交叉熵损失函数；如果考虑到攻击类型的多样性，可以使用多分类损失函数。在训练过程中，应使用部分数据集作为验证集，以监控模型在未见样本上的表现，并进行超参数调整。 4. 模型评估：使用剩余的数据集进行测试，评估模型在不同场景下的性能。除了准确率之外，还应考虑其他指标，如召回率、精确率、F1分数和ROC曲线下面积（AUC），以全面了解模型的活体检测能力。 5. 结果分析与优化：分析模型在不同类型攻击和不同条件下的表现，识别模型的弱点，并进行相应的优化。可能的优化措施包括调整网络结构、增加训练数据、采用更高级的训练技术等。 6. 模型部署：一旦模型训练完成并经过充分测试，可以将其部署到实际的人脸识别系统中，进行实时的活体检测。 在研究和开发过程中，推荐查阅《OULU-NPU：2D人脸RGB活体检测数据集，深度学习开发必备》这份资料，它提供了对数据集的详细介绍和使用指南，有助于深入理解数据集的特性，并为模型开发提供指导。此外，对于希望进一步提升模型性能的研究者和开发者，还应关注深度学习算法的最新进展，以及在人脸识别和活体检测方面的前沿研究。 参考资源链接：[OULU-NPU：2D人脸RGB活体检测数据集，深度学习开发必备](https://wenku.csdn.net/doc/5opb7a4nbc?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DSZS123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值