【yolov5系列】将模型部署到瑞芯微RK3566上面

已于 2024-05-26 18:52:02 修改
阅读量5k 收藏 51
点赞数 11
分类专栏： yolo系列 工程配置 文章标签： YOLO python RKNN
于 2023-06-19 18:38:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/magic_ll/article/details/131230288
版权

【yolov5系列】yolov5 v6.0 环境配置、图片视频测试、模型可视化、v6.0的更新内容
【yolov5系列】yolov5的原理与核心代码解析
【yolov5系列】yolov5-onnxruntime在Ubuntu和RK芯片上运行
【yolov5系列】将模型部署到瑞芯微RK3566上面
 
本篇博客记录将yolov5s移植到瑞芯微3566上的整体流程。当然在其它芯片上的操作类似，差别会在具体的API的调用上。

1 芯片相关

gitlab连接如下：
 
RKNN Toolkit：包含python的安装包、安装说明文档、python将onnx转成rknn示例工程。​

 

Rockchip NPU提供驱动、C++推理示例

这里记录基于3566上的v1.4.0的版本的环境安装流程和部署工作。故没有下载master分支，而是下载 rknn-toolkit2-v1.4.0分支、rknpu2-v1.4.0分支，然后解压。
另外补充说下，官方文档里面介绍api是比较详细的，如果按照下面流程依然无法正确跑通，就多看看文档了。
 
【2024.5.20】针对不同系列的芯片，rk开发者使用了多套工具链。常用的为rknpu1、rknpu2，用于端侧内容的开发和编译，对应python模型转换环境分别为：rknn-toolkit、rknn-toolkit2。其中每个工具链又存在自己更新的版本，rknpu1目前常用的为1.7，rknpu2目前常用的为1.4。
另外，rknpu2-1.6的板端跑了yolov8比rknpu2-1.4速度快很多，但测试出1.6的端侧不能同时运行两个模型进行推理，会导致推理结果异常。故目前使用的仍未1.4版本。
 

2 DEMO工程的运行

2.1 配置环境与demo模型转换

进入【rknn-toolkit2-v1.4.0】工程根目录，文件夹下的树状结构如下。tree的安装命令为【sudo apt-get -y install tree】
在这里插入图片描述

  1. 创建虚拟环境
    1.4的版本支持python3.6、python3.8。这里选择python3.6
    conda create -n RK3566 python=3.6
    conda activate RK3566
  2. 安装依赖库
    安装必要的依赖包。下面的命令添加了清华镜像，加快安装速度，否则跟蜗牛一样。
    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r ./doc/requirements_cp36-1.4.0.txt
  3. 安装rk的包
    pip install ./packages/rknn_toolkit2-1.4.0_22dcfef4-cp36-cp36m-linux_x86_64.whl
  4. 检查是否安装成功
    在这里插入图片描述
  5. 运行官方的yolov5demo
    cd examples/onnx/yolov5
    python test.py
    其中，yolov5s.rknn为转换后的模型，test.png为结果的可视化图片
    在这里插入图片描述
    python的工作到此结束。
    我们需要注意下，对于RK1126相似系列的代码中模型转换时，模型build时，有个预编译参数，仿真时和端侧运行时的设置是不一致且不通用的。

2.2 demo工程编译与板端运行

进入【rknpu2-v1.4.0】工程根目录，文件夹下的树状结构如下
在这里插入图片描述

  1. 下载交叉编译器
    交叉编译器可通过两种方式安装：
    • a) 终端命令安装
      查看可安装版本：apt-cache search aarch64
      安装指定版本为：apt-get install gcc-10-aarch64-linux-gnc
      报错"E: Unmet dependencies"时：apt --fix-broken install
    • b) 官方软件包下载
      我这里在【官方软件包下载路径】下载版本【gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu】，下载文件夹里面是已经编译好的二进制可执行程序。下载后解压，bin目录下存放这所需的交叉编译器，可直接使用
  2. 编译官方 yolov5 demo
    demo路径为【./examples/rknn_yolov5_demo】。需要先修改工程中的交叉编译器路径
    cd ./examples/rknn_yolov5_demo
    打开文件【build-linux_RK356X.sh】并修改【GCC_COMPILER】路径，
    在这里插入图片描述
  3. 板端运行demo
    将编译好的install目录推到板端的【/userdata/】路径下。然后运行
    adb shell
    cd /userdata/install/rknn_yolov5_demo_Linux
    ./rknn_yolov5_demo ./model/RK356X/yolov5s-640-640.rknn ./model/bus.jpg
    在这里插入图片描述
    在这里插入图片描述
  4. 板端的运行时间
    神经网络在大多数平台推理时，前1-3次的推理运行时间普遍会增长一点，这是计算平台有一个"热身"的动作，用于计算单元的资源分配等操作。真实的推理时间，我们需观察一段时间的平均值较为准确。
    这里的推理平均时间是：对于输入图片640*640*3，推理时间需要57ms，后处理时间需要1ms；但如果加入到完整的项目工程中，芯片的使用时发热、其他模块的资源占用，这个时间将会增长
    在这里插入图片描述
    在这里插入图片描述

3 相关代码解析

3.1 onnx转rknn的核心代码

在【doc/Rockchip_User_Guide_RKNN_Toolkit2_CN-1.4.0.pdf】中，详细介绍了API接口的使用规则。这里只记录需要注意的点。

  1. 均值方差的设置
    模型在训练时，图片会经过归一化处理，一般都是减均值除方差。在yolov5目标检测的训练时候，均值方差分别为[0,0,0]、[255,255,255]。代码设置如下截图。
    如果个人实际训练中，修改了均值方差，对应位置修改即可。在这里插入图片描述

  2. 加载ONNX模型并设置输出节点
    源码中的设置如图
    在这里插入图片描述
    但我们自己训练的yolov5的onnx模型使用【Netron】打开，如下图。
    在这里插入图片描述
    当想要3层的输出时，需要指定输出节点才行。

    • 可以看到模型提供的3个输出层的节点名称分别为[339,392,445]，对应的输出shape分别为 (1x3x20x20x22)、(1x3x40x40x22)、(1x3x80x80x22)。
    • 这三层输出的reshape前的节点分别为[326,379,432]，对用的shape分别为(1x66x20x20)、(1x66x40x40)、(1x66x80x80)。
    • 我们可以看到仿真器的后处理，以及C++部署的后处理都是针对(1x66x20x20)、(1x66x40x40)、(1x66x80x80)。所以这里需要设置节点为[326,379,432]。当我们优化改造过模型，这三个节点具体的名称会发生变化，所以一定要可视化onnx模型确认节点名称
      在这里插入图片描述

  3. 是否量化的设置
    在rknn.build(do_quantization=QUANTIZE_ON, dataset=DATASET)中，前者是设置是否进行量，后者是量化时使用的数据集的图片路径。量化的图片的shape和网络输入如果不一致，这里会自动resize，所以为了保证精度，我们的量化数据集的shape尽量与输入一致。
    在【Rockchip_Trouble_Shooting_RKNN_Toolkit_V1.7.3_CN.pdf】中有简单介绍。
    在这里插入图片描述

  4. 导出rknn模型
    导出的模型，用于板端的推理
    在这里插入图片描述

  5. rknn仿真器推理结果
    在这里插入图片描述

  6. 结果后处理
    在这里插入图片描述

3.2 rknn板端推理核心代码

这部分代码不需要我们修改多的内容，就是自己实际使用时，想要将其添加到其他工程中，就需要将其重构成一个类，实现出对外可调用的3个成员函数：init_model、detect、destroy_model，具体修改这里不做记录。这里说明如下几点：

  1. 通过rknn_query获取加载后的rk模型的相关信息
    代码实现和终端打印如下：
    在这里插入图片描述
    在这里插入图片描述
    上图分别获取的内容：rk的版本信息、模型的输入输出数量的信息、输入节点相关的信息、输出节点相关的信息
    1）自己曾遇到过sdk version 和driver version的版本不兼容导致模型无法加载正确。所以模型在有些主板上可加载成功 有些不能，可留心板端的的库的版本等信息是否正确。
    2）对于输入输出节点信息的打印，我们能看到的元素有：

    • index：模型的第几个输入或输出
    • name：节点的名称
    • n_dims：节点的维度数量
    • dims：节点的具体的维度数值
    • n_elems：节点中有多少个数值
    • size：节点的内存大小，单位为Byte。当为int8时，一个数大小为1Byte，此时n_elems=size。
    • fmt：该节点维度维度为NCHW、或 NHWC
    • type：该节点的数据类型
    • qnt_type：量化的方式
    • zp：量化时候的参数
    • scale：量化时候的参数
       

  2. 通过rknn_input实现输入数据的设置
    在这里插入图片描述
    注意这里设置的信息要与前面网络模型获取的输入节点信息相匹配。这里的buf的设置时，一定保证图片的大小和网络的输入是相同的尺寸。
    在源码中是先有个判断，如果两者不一致会进行resize处理，这里使用的是rga库进行resize的。较早的rk提供板端的推理工程图片读取处理使用的都是rga，该库的速度会很快。但在一般图像相关工程中都会使用到opencv，所以rk修改为使用opencv的库读取图片，但opencv的resize较为耗时，这里还是选择rga的resize进行操作

在这里插入图片描述
当我们网络为多输入时候，设置如下即可：

在这里插入图片描述

量化方式

在这里插入图片描述

magic_ll
关注
  • 11
    点赞
  • 踩
  • 51
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
yolov5+Deepsort部署于rk3588和rk3399pro开发板C++完整源码(车辆行人跟踪)+模型+部署文档.zip
05-10
yolov5+Deepsort算法部署于rk3588和rk3399pro开发板C++完整源码(车辆行人检测跟踪)+rknn模型+操作说明文档.zip 【资源介绍】 改善了边界框漂移, 完善了当图中没有目标等其他情形出现的bug, 增加了对cost matrix出现nan时的处理 加入了隔帧检测的功能. 设置方法: 在./yolov5/include/detect.h中 将 const int det_interval = 1;改成期望的数值, 例如3, 表示每隔3帧检测一次, 这样可以显著提升速度. 同时, 也需要更改./deepsort/include/deepsort.h中line 39的const int track_interval = 1; , 数值要和检测的保持一致. 加入Re-ID多线程的功能 如果您不希望使用多线程, 则在./deepsort/src/deepsort.cpp中line 144的if (numOfDetections < 2) 改成if (true) 更多详细介绍请查看资源内的项目说明。按照步骤操作使用
YOLOv8部署瑞芯微RK3588板端c++源码(含使用说明).zip
10-27
【资源说明】 YOLOv8部署瑞芯微RK3588板端c++源码(含使用说明).zipYOLOv8部署瑞芯微RK3588板端c++源码(含使用说明).zip ## 编译和运行 1）编译 ``` cd examples/rknn_yolov8_demo_open bash build-linux_RK3588.sh ``` 2）运行 ``` cd install/rknn_yolov8_demo_Linux ./rknn_yolov8_demo ``` 注意：修改模型、测试图像、保存图像的路径，修改文件为src下的main.cc ``` 测试效果 冒号“:”前的数子是coco的80类对应的类别，后面的浮点数是目标得分。（类别:得分） ![images](test_result.jpg) （注：图片来源coco128） 说明：推理测试预处理没有考虑等比率缩放，激活函数 SiLU 用 Relu 进行了替换。由于使用的是coco128的128张图片数据进行训练的，且迭代的次数不多，效果并不是很好，仅供测试流程用。换其他图片测试检测不到属于正常现象，最好选择coco128中的图像进行测试。 把板端模型推理和后处理时耗也附上，供参考，使用的芯片rk3588。 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
YOLOv5部署到泰山派（RK3566）详细过程
weixin_62656772的博客
05-31 1429
下载版本【gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu】，下载文件夹里面是已经编译好的二进制可执行程序。坚持到这里就离胜利不远了！将数据集放置在新建dataset文件夹中，如图，data.yaml是数据集自带的文件，yolov5s.pt文件在。打开pycharm切换环境，在终端进入requirements.txt所在的文件夹，运行以下代码安装所需的库。运行指令后，我遇到的问题是numpy库有些函数已经弃用了，降级即可，这部分问题忘记记录。
算法部署-在瑞芯微RK3588上使用rknn部署YOLOv9目标检测算法.zip
03-15
算法部署_在瑞芯微RK3588上使用rknn部署YOLOv9目标检测算法
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测
10-20
RK3588 RK3568 RK3566 Linux QT Opencv NPU YoloV5 摄像头实时检测 系统使用debian11
RK3566上运行yolov5模型进行图像识别
杀手的博客
11-05 1199
本文记录了依靠RK官网的文档，一步步搭建环境到最终在rk3566上把yolov5 模型跑起来。最终实现的效果如下：其中yolov5s-640-640.rknn是模型文件，bus.jpg是输入给模型的图像数据输入图像：输出识别结果：其中console输出如下下面简单记录实现过程。
yoloV5部署学习笔记
roymustang的博客
02-17 2763
参考https://github.com/wudashuo/yolov5 1下载 首先github上下载 git clone https://github.com/wudashuo/yolov5.git yolov5按大小分为四个模型yolov5s、yolov5m、yolov5l、yolov5x，这四个模型的表现见下图 上图为基于5000张COCO val2017图像进行推理时，每张图像的平均端到端时间，batch size = 32, GPU：Tesla V100，这个时间包括图像预处理，FP16推
YOLO-V5 系列算法和代码解析（八）—— 模型移植
DAOCHI
02-18 3189
文章目录： 工程目标； 芯片参数； 查阅官方文档； 基本流程； Python 版工具链安装； RKNPU2的编译以及使用方法； 移植自己训练的模型；
【yolov8系列】将yolov8-seg 模型部署到瑞芯微RK3566上
magic_ll的博客
07-27 4584
前言之前记录过，整体比较流畅，记录了onnx转rknn的相关环境配置，使用的rk版本为rknn-toolkit2-v1.4.0。当前库已经更新为1.5，这里还是沿用1.4的版本进行记录。本篇博客是在上篇博客（yolov5的rk3566的部署）的基础上，记录下yolov8n-seg的模型在3566上的部署过程。若精度异常可查看官方提供文档，写的比较详细。这里说明下自己遇到的问题：yolov8模型模型进行全量化结果异常yolov8模型在PC端模拟器的运行结果时，板端运行结果异常。
基于树莓派4B的YOLOv5-Lite目标检测的移植与部署（含训练教程）
热门推荐
black_sneak的博客
06-27 3万+
基于树莓派4B的YOLOv5-Lite目标检测的移植与部署（含训练教程），手把手教学级别，博客全篇代码开源！！！
yolov7-tiny在瑞芯微rk3588上测试运行结果
09-07
1、运行时间测试 2、多core运行与单core运行时间分析 3、图优化分析
算法部署-基于rknn+Cpp在瑞芯微rk3588上部署YOLOv10目标检测算法-附项目源码+流程教程-优质项目实战.zip
最新发布
06-07
算法部署_基于rknn+Cpp在瑞芯微rk3588上部署YOLOv10目标检测算法_附项目源码+流程教程_优质项目实战
YOLOV5 C++部署的人员检测项目，包括CUDA编程，PTQ校准，jetson部署，开发后处理【C++深度学习部署（十一）】
qq_23022733的博客
11-21 979
需要在有界面的主机上安装，远程ssh无法使用窗口# 建议使用conda虚拟环境 # 安装 pip install labelImg # 启动 labelImg深度学习量化就是将深度学习模型中的参数（例如权重和偏置）从浮点数转换成整数或者定点数的过程。这样做可以减少模型的存储和计算成本，从而达到模型压缩和运算加速的目的。如int8量化，让原来模型中32bit存储的数字映射到8bit再计算（范围是[-128,127]）。加快推理速度：访问一次32位浮点型可以访问4次int8整型数据；
RK3588实战：调用npu加速，yolov5识别图像、ffmpeg发送到rtmp服务器
zichuanning520的博客
03-02 2万+
rk3588做的小项目，用到ffmpeg、openCV、npu等相关部分。
自己进行opencv交叉编译移植到RK3566进一步精简总结
诗筱涵的博客
02-20 554
bin里面放的是一些可执行文件，include里面放的是一些头文件，lib里面放着一些动态库，share里面放着一些cmake文件包括最重要的OpencvConfig.cmake，cpp工程里面的cmakelists通过先找到这个OpencvConfig.cmake进而找到对应的头文件和库文件路径。我首先按照正常的方式去在NX上装opencv3.3.1，cmake选项和普罗米修斯wiki里面提供的一样，就是install路径改为一个专门的文件夹，到时候方便直接拷贝走。我移植的对象是opencv3.3.1。
c++实现yolov5的OpenVINO部署
uestcyhq1998的博客
12-24 1026
本文介绍了一种使用c++实现的,使用OpenVINO部署yolov5的方法 此方法在2020年9月结束的极市开发者榜单中取得后厨老鼠识别赛题第四名 2020年12月,注意到yolov5有了许多变化,对部署流程重新进行了测试,并进行了整理 希望能给需要的朋友一些参考,节省一些踩坑的时间 部署的教程和代码demo见github https://github.com/fb029ed/yolov5_cpp_openvino ...
训练自己的yolov5数据集并部署到android全套流程（学习记录）
qwerdf6660的博客
12-14 3845
在这个基础上修改，将best.pt转换为torchscript格式，即best.torchscript.ptl，替换了官方提供的yolov5s.pt并修改了classes中的类别，但是遇到了各种奇怪的错误，demoAPP会闪退，找了很多办法也没有解决，于是换了种思路，将best.pt转换为best-fp16.tflite格式，成功运行。也可以根据自己所需的版本来选择。在images中新建三个文件夹train，val，test，在labels中同样也新建三个文件夹train，val，test。
瑞芯微RK3568/RK3588平台YOLOV5实时视频算法的部署小白教程
weixin_48104648的博客
09-06 1万+
本文实现整体的部署流程比较小白，首先在PC上分别实现工程中的模型仿真推理、yolov5-pytorch仿真推理、自己训练yolov5模型仿真推理，完成仿真之后再在板端分别实现rk提供模型的板端推理、yolov5-pytorch板端推理、自己训练的yolov5模型板端推理，最后实现自己训练的yolov5模型实时视频算法部署，整个过程从仿真到板端，从图片到视频，过程较为繁琐，各位大佬们可以根据自己的情况选择跳过某些章节。接下来我们就一块开始部署之旅吧！
yolov5部署到rk3588平台
08-20
你好！将YOLOv5部署到RK3588平台需要进行以下步骤： 1. 准备环境：确保你的RK3588平台已经正确设置和配置，并且拥有足够的计算资源和存储空间。 2. 安装依赖：安装RK3588平台所需的依赖库，如OpenCV、NumPy等。你可以使用apt-get或pip等包管理工具进行安装。 3. 下载YOLOv5代码：从YOLOv5的官方GitHub仓库(https://github.com/ultralytics/yolov5)上下载最新的代码。 4. 配置模型：根据你的需求选择合适的YOLOv5模型，如yolov5s、yolov5m等，并下载预训练权重。 5. 转换模型：使用YOLOv5提供的工具，将模型权重转换为RK3588平台可用的格式。你可以参考YOLOv5文档中关于模型转换的说明。 6. 编译运行代码：根据RK3588平台的架构和指令集进行代码编译，并在RK3588上运行YOLOv5检测代码。你可能需要进行一些平台特定的配置和优化，以提高性能和效果。 以上是部署YOLOv5到RK3588平台的大致步骤，具体操作可能会有所差异，你可以根据实际情况进行调整和优化。祝你成功部署YOLOv5！如果你还有其他问题，可以继续提问。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值