Tensorrt踩坑日志—YOLOv5使用python的Tensorrt依赖包直接加速

1.用python版的tensrrt实现

1.1安装依赖包

需要注意的是这个方法只在linux环境下可行

pip install -U nvidia-tensorrt --index-url https://pypi.ngc.nvidia.com

验证依赖包

python3
>>> import tensorrt
>>> print(tensorrt.__version__)

1.2转换权重文件

参考工程：https://github.com/ultralytics/yolov5
6.0版本的YOLOV5工程export.py已经写好了pt转onnx转engine的代码

python export.py --weights yolov5s.pt --include engine --device 0

其中onnx格式的权重文件可以在https://netron.app/网站中可视化查看
得到tensorrt库支持的engine后缀权重文件

python detect.py --source data/images --weights yolov5s.engine --device 0

1.3report结果

加速之前的结果：

加速之后的结果：


Tensorrt速度：1.0毫秒预处理，3.6毫秒推断，在形状（1，3，640，640）下每幅图像10.2毫秒NMS
正常速度：0.3毫秒预处理，18.1毫秒推断，在形状（1，3，640，640）下的每个图像0.8毫秒NMS
实验平台：
GPU：NVIDIA Titan V 12G
环境配置：PyTorch1.11.0+opencv 4+CUDA11.6+Python3.9.12

后续任务：

1.C++版tensorrt加速
2.部署至jetson nano
3.尝试不同backbone的网络在python中使用tensorrt加速

Jetson nano目前已经装机并测试，并且配备了USB摄像头和无线收发天线。

参考文章：
https://blog.csdn.net/weixin_43356770/article/details/124310691（Yolov5使用TensorRT加速(python篇)/win10/linux）