TensorRT的安装和使用

TensorRT的安装

验证CUDA和CUDNN正确安装

nvcc -V

 cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

CUDNN8.4安装参见链接

安装TensorRT

TensorRT官网下载链接
选择合适的版本，进入压缩包路径

tar -xzvf TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz

修改环境变量

vim ~/.bashrc
在文件最后面加入export LD_LIBRARY_PATH=$LD_LIBRARY_PATH：../TensorRT-8.4.1.5/lib
source  ~/.bashrc

测试样例是否安装成功

cd ../TensorRT-8.4.1.5/samples/sampleMNIST
make -j16
cd ../../bin/
./sample_mnist

问题一

解决办法：
# 修改配置
sudo gedit /etc/ld.so.conf
# 添加 TensorRT lib 路径
../TensorRT-8.4.1.5/lib
# 更新配置
sudo ldconfig

问题二

sudo ldconfig -v 查看问题

如以下命令所示，对上面文件都创建软连接
sudo ln -sf /usr/local/cuda/targets/x86_64-linux/lib/libcudnn.so.8.4.0 /usr/local/cuda/targets/x86_64-linux/lib/libcudnn.so.8

问题三

找不见libnvinfer_builder_resource.so.8.4.1
sudo cp ../TensorRT-8.4.1.5/lib/libnvinfer_builder_resource.so.8.4.1 /usr/lib

显示如下图所示，即成功安装tensorrt。

参考资料

TensorRT安装教程
TensorRT安装及使用教程
【Ubuntu版】TensorRT安装教程
NVIDIA TensorRT官方文档