通过Vitis Ai 3.0平台量化yolov5模型并部署到ZCU102板卡上相关问题求解！

slepnier

已于 2023-08-22 15:47:22 修改

阅读量886

点赞数 1

分类专栏：模型训练文章标签： python 目标检测 YOLO yolov5 github

于 2023-08-22 15:46:50 首次发布

本文链接：https://blog.csdn.net/weixin_55626974/article/details/132428207

版权

模型训练专栏收录该内容

2 篇文章 0 订阅

订阅专栏

通过Vitis Ai 3.0平台量化yolov5模型并部署到ZCU102板卡上相关问题求解！

这些天再通过Vitis Ai 3.0平台来量化yolov5模型的并且部署到zcu102板子上的时候一直遇到检测结果比较离谱的问题，因此想要发个贴请教下大佬们。

首先在虚拟机中应用的相关系统和环境为：

OS: Ubuntu 20.04.6 Linux System
Vitis ai docker images: xilinx/vitis-ai-pytorch-cpu:ubuntu2004-3.0.0.106
the model we use is Yolov5_nano(yolov5n_nndct.yaml)
the traning code and quantification code are officially downloaded from yolov5

在使用coco和coco128数据集训练ylov5n模型后，我尝试了几种方法在Vitis Ai 3.0上进行量化，然后在ZCU102上部署。量化的结果是满意和合格的，其map也能在在0.3左右，图片检测的结果也比较正常。但是一旦编译完成之后上板测试，检测的结果就有点离谱了，有时定位错误，有时甚至无法探测到目标。例如，下图1sample1来自数据集coco128，部署到板上测试产生的结果如下图sample1_result所示。它的瞄框太离谱了，完全无法使用。

sample1 sample1_result
下面是我尝试的几种方法或者测试例子，但无一例外最终上板测试时结果都跟上面一致。

量化官方的pt模型

我试过使用文件夹嚛yolov5_nano/float中的yolov5n float.pt来进行量化。在Linux终端vitis ai 3.0环境中中执行的命令是：

 python val.py --data ./data/coco128.yaml --weights ./float/yolov5n_float.pt --batch-size 4 --imgsz 640 --conf-thres 0.5 --iou-thres 0.65 --quant_mode calib --nndct_quant
 python val.py --data ./data/coco128.yaml --weights ./float/yolov5n_float.pt --batch-size 1 --imgsz 640 --conf-thres 0.5 --iou-thres 0.65 --quant_mode test --nndct_quant
 python val.py --data ./data/coco128.yaml --weights ./float/yolov5n_float.pt --batch-size 1 --imgsz 640 --conf-thres 0.5 --iou-thres 0.65 --quant_mode test --nndct_quant --dump_xmodel

calib和test的结果从图片上来看是正常的，并且测试的map也能在0.3左右。但是一旦按照下面的命令编译生成xmodel并部署到zcu102板子上面时，结果就像上面的图片一样了，完全不正常。

vai_c_xir -x ./Model_0_int.xmodel -a /opt/vitis_ai/compiler/arch/DPUCZDX8G/ZCU102/arch.json -o ./ -n model

量化由train.py和export.py导出的模型

我还尝试运行train.py来获得best.pt文件，然后在yolov5文件夹中使用export.py来生成xmodel。在终端中运行的命令是：

python train.py --weights ./float/yolov5n_float.pt --data ./data/coco128.yaml --batch-size 4 --cfg ./models/yolov5n_nndct.yaml --epochs 10 --nndct_quant --hyp ./data/hyps/hyp.scratch-med.yaml --device cpu
python export.py --weights ./runs/train/exp7/weights/best.pt --data ./data/coco128.yaml --batch-size 1 --conf-thres 0.5 --iou-thres 0.65 --include nndct

编译的命令和上面一致，但是结果仍然离谱。