jetson设备上部署Yolov5 v3.1 -- Deepstream5.0应用_yolov5-in-deepstream-5.0 传kafka-CSDN博客

//1.创建conda环境, 说明：new_env是自定义的环境名称
  conda create -n new_env python=3.6

//2.激活新建环境
  source activate new_env
  或
  conda activate new_env

//3.进入新建环境后，安装yolov5所需的环境
//终端执行yolov5目录下安装文件requirements.txt
  pip3 install -r requirements.txt
  //或使用临时源地址
  pip3 install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

至此，完成了 ubuntu18.04-x86 yolov5 训练环境搭建。

3.Deepstream部署yolov5模型

本教程重点于yolov5模型在deepstream应用上的部署，所以不讲模型训练.

测试以pre-model yolov5l.pt(github下载地址)为测试模型。

部署流程：

1.在训练环境中进入到conda yolov5环境

2.在训练环境中使用gen_wts.py将yolov5l.pt文件转换为yolov5l.wts文件。

a) 将xxx/Yolov5-in-Deepstream-5.0-tensorrt7/gen_wts.py文件拷贝到yolov5代码根目录下，原因在于此模块依赖于yolov5的utils模块，见文件代码第3行。

b) 修改gen_wts.py文件，将源文件内容更改如下(改成可传参数)：

import torch
import struct
from utils.torch_utils import select_device
import sys

# Initialize
device = select_device('cpu')
# Load model
#model = torch.load('yolov5l.pt', map_location=device)['model'].float()  # load to FP32
pt_file = sys.argv[1]
model = torch.load(pt_file, map_location=device)['model'].float()  # load to FP32
model.to(device).eval()

#f = open('yolov5l.wts', 'w')
with open(pt_file.split('.pt')[0] + '.wts', 'w') as f:
    f.write('{}\n'.format(len(model.state_dict().keys())))
    for k, v in model.state_dict().items():
        vr = v.reshape(-1).cpu().numpy()
        f.write('{} {} '.format(k, len(vr)))
        for vv in vr:
            f.write(' ')
            f.write(struct.pack('>f',float(vv)).hex())
        f.write('\n')

c) 生成.wts文件

模型3.1版本文件请自行去官网下载到yolov5/weights目录中。在conda环境yolov5目录下终端执行命令：

 python3 gen_wts.py ./weights/yolov5l.pt

此时会在weights目录下产生yolov5l.wts文件

3. 在jetson设备上生成tensorrt模型引擎文件yolov5l.engine

a) 设备上修改Yolov5-in-Deepstream-5.0-tensorrt7/yolov5.cpp文件，使代码中的网络类型与2中的网络类型相同(目前只支持s m l x 四种类型)：

b) 将2中生成的.wts文件拷贝到设备中Yolov5-in-Deepstream-5.0-tensorrt7目录中。

c) 在Yolov5-in-Deepstream-5.0-tensorrt7目录终端中执行下列命令生成yolov5l.engine和libmyplugin.so：

mkdir build
cd build
cmake ..
make
sudo ./yolov5 -s             // serialize model to plan file i.e. 'yolov5l.engine'

4. 设备上Yolov5-in-Deepstream-5.0-tensorrt7/Deepstream 5.0/nvdsinfer_custom_impl_Yolo目录make编译生成libnvdsinfer_custom_impl_Yolo.so文件。

5.将3、4中生成的yolov5l.engine、libmyplugin.so、libnvdsinfer_custom_impl_Yolo.so和Yolov5-in-Deepstream-5.0-tensorrt7/Deepstream 5.0/config_infer_primary_yoloV5.txt，Yolov5-in-Deepstream-5.0-tensorrt7/labels.txt 拷贝到deepstream应用程序目录下。并修改deeptream应用的配置文件推理部分：

[primary-gie]
batch-size=1
config-file=config_infer_primary_yoloV5.txt
enable=1
gie-unique-id=1
gpu-id=0
interval=2
labelfile-path=labels.txt
model-engine-file=yolov5l.engine
nvbuf-memory-type=0

修改deepstream应用目录下的config_infer_primary_yoloV5.txt如下，指向当前目录下的engine文件：