1.介绍及配置说明
只需两步简单配置tensorrt,采用cuda(deb) + trt(deb) 安装方式,无需配置cudnn,会在trt安装过程中自动配置。
- ubuntu20.04
- gtx1650
2.注意
trt官网只更新到了支持ubuntu18.04,但是经博主尝试发现ubuntu18.04的版本是可以在ubuntu20.04上应用的。
默认大家已经安装了cuda驱动哦。
各位可以输入指令nvidia-smi
,如果可以得到输出,说明本机有驱动,否则请自行下载驱动。
注意cudadriver版本需大于等于cudatoolkit版本
比如我们要安装11.0的cudatoolkit则cudadriver版本需要大于等于11.0
3.安装
如果有cudadriver的话可以进行如下步骤
3.1下载安装cudatoolkit
进入cuda11.0下载页面
按照下表进行选择
Linux
-> x86_64
-> Ubuntu
-> 20.04
-> deb(local)
这一步一定要选deb包哦,跟后面的trt安装有关系。
按照官方指令进行cuda 的安装 不同版本可能有所不同,按照官网下面的说明安装即可
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda-repo-ubuntu2004-11-0-local_11.0.2-450.51.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2004-11-0-local_11.0.2-450.51.05-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu2004-11-0-local/7fa2af80.pub
sudo apt-get update
sudo apt-get -y install cuda
3.2 下载安装tensorrt
进入tensorrt下载页面,可能需要登录,大家注册一个号就可以。
依次选择TensorRT 7.2.1
-> TensorRT 7.2.1 for Linux and CUDA 11.0
-> TensorRT 7.2.1 for Ubuntu 18.04 and CUDA 11.0 DEB local repo package
注意这里选择deb包,因为采用这种方式安装会自动的安装cudnn, nvinfer, nvinfer-plugin,等必须配置
。
下载完成后执行如下命令
sudo dpkg -i nv-tensorrt-repo-ubuntu1604-cuda10.0-trt7.0.0.11-ga-20191216_1-1_amd64.deb
sudo apt update
sudo apt install tensorrt
4.验证安装
dpkg -l | grep cuda
dpkg -l | grep nvinfer
至此所有的安装完成。
5.小例子
这里是demo 以lenet为例,检验trt是否正确安装及了解tensorrt运行机制。