实现TensorRT加速Pytorch模型的过程(Yolov5为例)

实现TensorRT加速Pytorch模型的过程

一、环境：

	系统：ubuntu16.04
	显卡：GeForce MX250
	显卡驱动：460.32.03
	CUDA与CUDNN版本：cuda10.2.89, cudnn8.1
	TensorRT版本：7.2.3.4
	Cmake版本：3.20
	Gcc & G++版本：7.6.5

二、安装过程（以Yolov5为例）

1、首先安装TensorRT

参考： TensorRT安装教程.

注意点：如果在安装后import tensorrt出现ImportError: libxxx.so.10.2: cannot open shared object file: No such file or directory，原因是TensorRT的链接库路径丢失，利用ldconfig检查，并且利用sudo ln -s xxxxxxxxxxxxxxxxx.so.10.2 xxxxxxxxxxxxx.so，建立软链接

其余注意点有，cuda版本至少10.0以上，cudnn版本根据tensorrt的版本选择，并且显卡驱动的版本支持当前的cuda等环境的要求。

2、安装转化的源代码(https://github.com/enazoe/yolo-tensorrt)

(1)建立一个文件夹：mkdir yolo_tensorrt_test

(2)进入文件夹后

	git clone https://github.com/ultralytics/yolov5.git
	git clone https://github.com/enazoe/yolo-tensorrt.git

(3)yaml2cfg.py将脚本复制到yolov5根目录，并生成cfg和weigths文件

	cp yolo-tensorrt/scripts/yaml2cfg.py yolov5/
	cd yolov5
	python yaml2cfg.py
	cd ..
	mv yolov5/models/yolov5s.cfg yolo-tensorrt/configs/yolov5-4.0
	mv yolov5/weights/yolov5s.weights yolo-tensorrt/configs/yolov5-4.0

(4)进入yolo-tensorrt文件夹

首先更改Cmakelists.txt文件（很重要！很重要！很重要！）
在#detector lib (cuda)之前，添加代码

	include_directories(/home/qsm16/TensorRT-7.2.3.4/include/)
	link_directories(/home/qsm16/TensorRT-7.2.3.4/lib/)
	link_libraries(nvinfer nvinfer_plugin nvparsers nvonnxparser myelin)

然后编译源码（在build前，应当保证gcc与g++的版本要求）

	mkdir build && cd build
	cmake ..
	make
	./yolo_trt

完成安装！

上述过程亲测有效，另外有其他问题欢迎一起探讨，并且该版本代码为c++，另有python版本的实现，因为有完整的过程我仅将github链接放在这里供大家参考