weixin_45824067的博客

感兴趣，可以多看工程落地的一些知识（C++、Makefile、cmake、编译相关、SDK），多参与一些实际项目攒攒经验，多熟悉一些常见的大厂造的部署轮子（libtorch、TensorRT、openvino、TVM、openppl、Caffe等），尝试转几个模型（ONNX）、写几个op（主要是补充，性能不要最优）、写几个前后处理、debug下各种奇葩的错误，让模型可以顺利在一些平台跑起来，平台可以在PC、手机、服务器等等；最近对模型部署很感兴趣，发现这些东西书上没有，所以在网上整理一些在这里，欢迎交流。

在交叉编译时候，发现在 pc 端能用 opencv 打开的视频，但是在 rv1126 上打不开。在网上查了很久，原因可能是 ffmpeg 造成的。尝试了一天还是第二个博客的样子，ffmpeg组件是yes,但是ffmpeg是NO，很迷惑！

在 CMakeLists 中将正确的 OpenCV库 路径添加到 CMAKE_PREFIX_PATH 变量中。将该文件从别处复制到项目 include 文件夹。link 时直接用绝对路径。

目标：yolov5_coco_rv1126.rknn ---> yolov5_coco_rv1126_pre.rknn。yolov5_detet_demo C++ 代码 ---> yolov5_detect_demo 可执行文件。目标：yolov5_coco.onnx ---> yolov5_coco_rv1126.rknn。1、加载docker镜像，rknn-toolkit-1.7.3-docker.tar.gz。4、模型转换，内存够大 【rknn_convert.py】3、将编译结果复制到板卡上。

main.cpp这里是单线程，每帧获取耗时200ms左右，也就是fps大概为5；

在前面，已经将 onnx模型转为 rknn模型。这里探讨的是：rknn模型在rv1126开发板上运行。

这一步是把准备好的一些图片，生成图片路径的文本文件，在构建RKNN模型的时候有用处。通过使用真实的样本数据集，RKNN工具可以更好地理解和建模模型的输入数据，从而更好地优化网络结构、权重和量化方案。这一步如果是在虚拟机上运行的话，8GB的内存条win10系统也要用，分配给虚拟机的没多少，3GB也不够执行这一步。后来我直接在Ubuntu系统执行这一步，8GB系统用一点还剩6.7GB，CPU和内存直接干满。还是在docker环境 模型转换工作目录，运行rknn_convert.py。为映射到docker镜像。

这不最近新出了网络，YOLO-NAS，听过性能和速度都不错，而且int8量化后效果也不错。

这里的8400,表示有8400个检测框，56为4边界框坐标信息+

yolov6n 推理速度确实比yolov5n快一点，检测的物体更多（平放的书本也检测出来了），但是存在一定的误检，可能修改置信度阈值能好点？但是我看 ONNX/export_onnx.py的置信度阈值设置还可以。暂时不知道如何改进，如有大佬知道，烦请留言觉得写得不错，厚脸皮要个赞，哈哈哈手把手教你运行YOLOv6（超详细）_Mr Dinosaur的博客-CSDN博客。

基于以上两个结果，可以用立体矫正后的图像，作为YOLOv8的输入图像。YOLOv8 ONNX RUNTIME 部署代码中的utils.cpp中有一个函数需要作修改。运用SGBM算法得到的视差图，其尺寸与立体矫正后的图像尺寸不一致，如获取深度图代码信息输出图。视差图由SGBM算法获得，深度信息图由reproJectImageTo3D()函数获得。参数6：默认值为0，用户传给回调函数的数据值。参数4：表示滑块达到最大位置的值。参数5：默认值为0，指向回调函数。参数3：滑块初始位置。

运行效果：输入为640*640，CPU推理耗时100ms左右速度比yolov5快一点但是也可以把手识别成人？？应该可以根据使用情况把detect.h中的分类阈值提高一点，可以解决误识别的 问题。

yolov8是yolov5作者发布的新作品。

我用摄像头直接读取处理，发现yolov5n 运行起来有点卡，AMD R5300H CPU 的耗时是150ms左右，而 同样设备Pytorch Python 推理 只有几十ms耗时！欢迎留言、欢迎交流！

1、运行总结：如果你把onnx格式模型路径、类别文件路径、图像路径写对后，可能还是跑不起来，代码中需要修改一下如果运行出现下面这样的报错：那就直接把模型输入输出的名字写进去：2、运行速度我这次用的是yolov5-6.2版本的yolov5n模型，在C++上用onnxtime部署，用视频大概检测其推理速度，发现onnxruntime比opencv dnn快一些。不过还是没有pytorch python快。3、项目通用性另外如果你用的是其他模型，要套这个项目的话，你得知道输出信息，然后进行修改。

这里使用的yolov5 6.2，使用export.py很方便地得到onnx格式的模型。然后用onnxruntime推理框架在Python上进行部署。主要是为了测试模型的准确，整个代码分为四个部分：1、对输入进行预处理；2、onnxruntime推理得到输出；3、对输出进行后处理 4、画预测框。代码的难点是nms处理。代码尚存在的缺陷是，将输入图像处理至模型输入尺寸大小时没有使用等比例缩放，对效果可能有点影响。的最终是用 C++ 部署，从而部署在嵌入式设备等。代码中有详细注释，不懂的可以在下面留言。