源代码下载地址:https://github.com/wang-xinyu/tensorrtx
参考:https://blog.csdn.net/l35633/article/details/146111081
一、项目概述
tensorrtx 是由开发者 wang-xinyu 维护的一个针对 NVIDIA TensorRT 的示例项目集合。它提供了多种常用深度学习模型(主要涵盖 目标检测、图像分割、分类 等)的 TensorRT 推理实现示例。这些示例可以帮助开发者把在 PyTorch、TensorFlow 等深度学习框架下训练好的模型,快速转换并部署到 TensorRT 中,从而获得 低延迟、高吞吐量 的推理性能。
二、使用流程
以YOLOv8中的分割任务为例来简述 tensorrtx 的大体使用流程(大多数模型类似)
1.首先要准备好pt文件
2.其次转换成wts文件:python gen_wts.py -w yolov8n.pt -o yolov8n.wts -t detect
3.在tensorrtx/yolov8/include/config.h中更新类的数量:update “kNumClass = 1”
4.在tensorrtx/yolov8中新建build然后编译:
mkdir build
cd build
cmake ..
make -j8
5.把wts文件剪切到build中,然后执行
./yolov8_seg -s yolov8s-seg.wts yolov8s-seg.engine s