如何在Windows下安装cudnn和TensorRT

前置要求

机器先得安装显卡驱动和CUDA以及安装 Zlib，本文以安装CUDA11.8为例，CUDA11.8下载链接

Windows的话直接打开.exe文件就行,Linux的话根据不同发行版安装，在此就不展开了。文章末尾我会加个官方的Ubuntu安装命令。

测试机环境:Windows11 版本号22621.1413,显卡驱动GeForce Game Ready 531.29,CUDA11.8

开始安装

1. TensorRT的安装

TensorRT下载链接（本文以8.5.1.7版本为例）

需要英伟达开发者账号，下载完成后会有类似.zip文件

解压后得

搜索“环境变量”并打开

 

 打开”Path“

选择”新建“添加你下载TensorRT下的lib文件夹并单击“确定”。<安装路径>/lib

如作者下载的位置G:\CUDA\TensorRT-8.5.1.7.Windows10.x86_64.cuda-11.8.cudnn8.6\TensorRT-8.5.1.7\lib

Python wheel的安装

下一步是python wheel文件的安装

打开CMD并输入

cd /你的文件夹地址/python

有些系统需要输入你自己下载TensorRT文件的盘符，例如G:

然后输入以下代码，将tensorrt-*-cp3x替换为你所需的tensorrt版本和python版本

python.exe -m pip install tensorrt-*-cp3x-none-win_amd64.whl

示例代码（以python3.7为例）

python.exe -m pip install tensorrt-8.5.1.7-cp37-none-win_amd64.whl

（代替cp3x使用所需的 Python 版本，例如，cp310对于 Python 3.10）：

提醒：如果在conda环境内安装此包推荐先激活conda环境

conda activate xxx #xxx为你的conda环境名

补充:

（可选）安装 TensorRT lean 和调度运行时轮文件：

python.exe -m pip install tensorrt_lean-*-cp3x-none-win_amd64.whl
python.exe -m pip install tensorrt_dispatch-*-cp3x-none-win_amd64.whl

验证安装（如果前面步骤没报错可以不看）

1. 要验证您的安装是否正常工作，您应该从其中一个示例（例如sampleMNIST ）中打开一个 Visual Studio 解决方案文件，并确认您能够构建和运行该示例。 如果您想在自己的项目中使用 TensorRT，请确保您的 Visual Studio 解决方案项目属性中存在以下内容：
   1. <安装路径>/lib已添加到您的 path变量并存在于VC++ Directories > Executable Directories下。
   2. <安装路径>/包括存在于C/C++ > General > Additional Directories下。
   3. nvinfer.lib和任何其他图书馆您的项目所需的文件位于Linker > Input > Additional Dependencies下。注意：为了构建包含的示例，您应该安装Visual Studio 2017或更高版本。社区版足以构建 TensorRT 示例。

——引用自 https://docs.nvidia.c n /deeplearning/tensorrt/install-guide/index.html#installing-zip

1. cudnn的安装

• 安装 Zlib

Zlib64位下载地址，32位下载地址

添加目录路径zlibwapi.dll到环境变量 PATH

如下图所示

• 安装cudnn

cudnn下载地址(需要开发者账号)

解压后复制文件到你安装的CUDA的文件夹下面（vxx.x是你的版本号，例如CUDA11.8就是v11.8）。

1. 复制bin\cudnn*.dll到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\bin
2. 复制include\cudnn*.h到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\include
3. 复制lib\cudnn*.lib到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\lib

添加cudnn环境变量

在Path中添加你的CUDA\bin环境变量

例如：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin

• 将 cuDNN 添加到您的 Visual Studio 项目中（如果是其他项目可以不看）

1. 打开 Visual Studio 项目，在Solution Explorer中右键单击项目名称 ，然后选择Properties。
2. 单击VC++ 目录并附加C:\Program Files\NVIDIA\CUDNN\v8.x\include到包含目录字段。
3. 单击链接器 > 常规并附加C:\Program Files\NVIDIA\CUDNN\v8.x\lib到附加库目录字段。
4. 单击链接器 > 输入并追加cudnn.lib到Additional Dependencies字段并单击OK。

——引用自 Installation Guide :: NVIDIA cuDNN Documentation

本文结束，谢谢观看

Ubuntu安装CUDA11.8的命令（以下均为本地包安装方式适合网络环境不好时使用）

方法一（博主推荐）

根据官方.run包安装

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.runsudo sh cuda_11.8.0_520.61.05_linux.run

方法二

分步安装

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pinsudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.debsudo dpkg -i cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.debsudo cp /var/cuda-repo-wsl-ubuntu-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cuda