首先要安装好CUDA和cudnn,可以参考https://blog.csdn.net/qq_40280673/article/details/122901880?spm=1001.2014.3001.5501这篇文章。
先到英伟达官网下载TensorRThttps://developer.nvidia.com/nvidia-tensorrt-8x-download(需要登陆英伟达账号)。
注意选择与CUDA对应的版本,下载到电脑后解压。
把bin、include、lib复制到cuda对应文件夹下。复制好后进入到python目录下。
在VS Code的终端切换到上面的路径安装python tensorrt。
pip3 install tensorrt-8.4.3.1-cp310-none-win_amd64.whl
安装完成后可以用一小段代码来测试。
import tensorrt as trt
if __name__ == "__main__":
print(trt.__version__)
print("hello trt!!")
输出正常,安装成功!
英伟达官方安装参考https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-zip 。如果需要用到TensorFlow或PyTorch,需要安装uff、graphsurgeon和onnx_graphsurgeon包,这些包都在TensorRT的路径中,安装方法与python tensorrt的相同。