有用的链接
- NVIDIA工程师的仓库
GitHub - zerollzeng/tiny-tensorrt: Deploy your model with TensorRT quickly. 快速使用TensorRT来部署模型
- 参考上述仓库的实现
Python成神之路 - xavier平台上YOLOV5的TensorRT加速
在GPU上尽量部要有内存相关的操作,比如slice, gather, transpose等,这些操作比较费时间。
有用的链接
GitHub - zerollzeng/tiny-tensorrt: Deploy your model with TensorRT quickly. 快速使用TensorRT来部署模型
Python成神之路 - xavier平台上YOLOV5的TensorRT加速
在GPU上尽量部要有内存相关的操作,比如slice, gather, transpose等,这些操作比较费时间。