tensorRT对于生产环境中的实时和低延迟需求非常关键
TensorRT通过层融合、优化内存使用、量化以及自动搜索最优执行计划等多种手段,极大提升了模型在部署阶段的执行效率.
寻找对应cuda版本的tensorRT下载
https://developer.nvidia.com/tensorrt/download
tensorRT与cuda的版本对应表
https://blog.csdn.net/weixin_41540237/article/details/131589929
解压后创建环境变量“D:\xxx\TensorRT-8.6.1.6\lib”
若要使用python:
#对应的文件夹和whl包,不一定和这个一莫一样
cd TensorRT-5.0.2.6/python
pip install tensorrt-5.0.2.6-py2.py3-none-any.whl
验证:
import tensorrt
报错:
FileNotFoundError: Could not find: nvinfer.dll. Is it on your PATH?
Note: Paths searched were:
['C:\\ProgramData\\anaconda3\\Scripts', 'C:\\Prog
解决:
先配置环境变量再创建虚拟环境,或重启pycharm