配置Jeston板上的yolov5并使用Tensorrt加速

一，下载yolov5工程文件

（1）下载工程文件

GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

此处下载5.0，用于对应tensorrt的版本

（2）创建虚拟环境

conda create -n yolov5 python=3.6

conda activate yolov5

二，安装pytorch和torch_vision

        1.链接： GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

                       https://github.com/pytorch/vision

        选择合适的版本，可以从jtop中进行查看

        2.安装：

                1）将两个文件放在一个文件夹下，并把vision-0.12.0.zip提取到此处重命名为torchvison

                2）打开终端运行：        

# 安装torch
sudo apt-get install python3-pip libopenblas-base libopenmpi-dev libomp-dev
pip3 install Cython
pip3 install numpy torch-1.11.0-cp38-cp38-linux_aarch64.whl
# 安装torchvision
cd torchvision
export BUILD_VERSION=0.12.0  
python3 setup.py install --user
cd ../  
pip install 'pillow<7'

        3.验证;

python
import torch
import torchvision
torch.__version__
torchvision.__version__

三，参考Github流程

cd {tensorrtx}/yolov5/
// update CLASS_NUM in yololayer.h if your model is trained on custom dataset
mkdir build
cd build
cp {ultralytics}/yolov5/yolov5s.wts {tensorrtx}/yolov5/build
cmake ..
make
sudo ./yolov5 -s [.wts] [.engine] [s/m/l/x/s6/m6/l6/x6 or c/c6 gd gw]  // serialize model to plan file
sudo ./yolov5 -d [.engine] [image folder]  // deserialize and run inference, the images in [image folder] will be processed.
// For example yolov5s
sudo ./yolov5 -s yolov5s.wts yolov5s.engine s
sudo ./yolov5 -d yolov5s.engine ../samples
// For example Custom model with depth_multiple=0.17, width_multiple=0.25 in yolov5.yaml
sudo ./yolov5 -s yolov5_custom.wts yolov5.engine c 0.17 0.25
sudo ./yolov5 -d yolov5.engine ../samples

四，实际部署

1. 根据前面的第一点准备好所需要的三个文件，分别是：

① tensorrtx/yolov5（准备tensorrtx文件下的yolov5文件）

② yolov5s.pt

③ yolov5-5.0.zip解压为yolov5-5.0

2. 将yolov5s.pt文件放到yolov5-5.0/weights文件下，如：、

3. 打开之前实现yolov5模型检查的虚拟环境

4. 将tenorrtx/yolov5/gen_wts.py复制到yolov5-5.0文件中，并运行下面的代码，生成yolov5s.wts

5. 然后进入tensorrtx/yolov5进行如下操作：

mkdir build
cd build
cmake ..
make

 6. 将上面第４点生成的yolov5s.wts文件复制到tensorrtx/yolov5/build

7. 执行下面代码生成引擎文件

sudo ./yolov5 -s yolov5s.wts yolov5s.engine s

8. 部署后测试

sudo ./yolov5 -d yolov5s.engine ../samples

参考链接：https://blog.csdn.net/beautifulback/article/details/125880773