yolov8在地平线旭日X3派上的部署和测试（Python版本和C++版本）

搭建开发环境

参考：yolov8在地平线旭日X3派上的部署和测试（Python版本和C++版本） – 金书世界

当前的测试根据一下的步骤并修改源码是可以实现yolov8的板端运行，如果不想再搭建环境和测试代码bug上浪费更多的时间可以直接获取本人的测试虚拟机，所有的测试代码、虚拟环境和板端测试工程以全部打包到了虚拟机，需要的可以通过网盘获取：链接：https://pan.baidu.com/s/1VVlM4ry61tjEf45zpHgSwg?pwd=01hc 提取码：01hc 

yolov8的环境搭建和测试

获取yolov8的工程：https://github.com/ultralytics/ultralytics

搭建环境：

#进入到指定的路径
cd /home/kkx3/wyj/yolov8/ultralytics-main
#创建虚拟环境
conda create -n yolov8 python=3.7 
#激活虚拟环境
conda activate yolov8
#安装Pytorch
pip install torch==1.12.1+cpu torchvision==0.13.1+cpu torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cpu
#安装ultralytics 
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple 
#如安装过程中出现其他需要安装的请pip自行安装，本人测试过程中出现的问题未记录
#测试
yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'

当前测试存在一个图片的网址路径无法访问的问题，所以需要先下载下来图片奥，source后面直接使用本地的路径就可以了。测试结果如下:

 yolov8的模型转换（pt转onnx）

使用的转换脚本是yolov8官方的转换脚本

#测试的路径
cd /home/kkx3/wyj/yolov8/ultralytics-main
#使用的虚拟环境
conda activate yolov8
#模型转换的代码
python pt2onnx.py

测试结果如下：

 模型的网络查看结果如下所示：

yolov8的pt模型   

  yolov8的onnx模型

 需要对转换的onnx模型进行验证，这个是yolov8官方的转换工具，相信官方无需onnx模型的推理验证。

yolov8的模型转换（onnx转bin）

这部分可以基于yolov5的模型转转换进行修改，本人的测试就是将yolov5的复制出来一份进行的修改。

#进入到指定的路径
cd /home/kkx3/wyj/x3/TransModel/horizon_model_convert_sample/04_detection/08_yolov8s/mapper
#激活虚拟环境
conda activate x3model
#模型检查
bash 01_check.sh
#模型推理
bash 02_preprocess.sh 
#模型编译
bash 03_build.sh
#模型验证
bash 03_build.sh

 

 

 

由于以上都是基于yolov5进行的修改具体执行脚本的修改内容如下所示（注：由于当前的yolov8的模型和原yolov5的的模型不一致后处理需要自行的更改，yolov8的输出是8400*84的向量）

 

 

 

 将转换后的模型复制地平线X3派上测试。

python版本的yolov8测试

 当前的测试也是基于Python的yolov5版本修改的，模型和测试路径如下

连接开发板执行一下指令测试

#进入到测试路径，之歌需要基于yolov5的修改后创建
cd /app/ai_inference/09_yolov8_sample/
#测试
sudo python3 ./test_yolov8.py

 测试结果(与yolov5测试对比）

yolov5板端测试结果

yolov8板端测试结果

 C++版本的yolov8测试

当前的测试也是基于C++的yolov5版本修改的，模型和测试路径如下

连接开发板执行一下指令测试

#进入到指定的路径，这个需要基于yolov5的修改并创建
cd /app/bpu_yolov8/src
#编译
sudo make
#进入到执行的路径
cd bin 
#测试
sudo ./sample -f /app/model/basic/yolov8n_640x640_nv12.bin -m 0

运行时间是289ms 3-4fps(运行比较慢原因未知，可能和一下的报错有关，未进行后续的测试，欢迎给为大神指点)。

C++版本是可以实现读取mipi摄像头数据并使用hdmi输出检测结果，测试结果如下所示

测试图片：

 

测试视频：

yolov8在地平线X3派上运行测试