前期准备
在安装tensorrt之前,cuda和cudnn 以及显卡驱动都需要提前安装好,可参考如下:
安装驱动:服务器安装系统ubuntu16.04_森林盲点的博客-CSDN博客
cuda和cudnn安装:cuda、cudnnn安装、卸载、查询_森林盲点的博客-CSDN博客
tensorrt下载与安装
TensorRT-7.0.0.11.Ubuntu-16.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz
下载地址:tensorrt下载地址
tar -xzvf TensorRT-XXX.tar.gz
$ vim ~/.bashrc # 打开环境变量文件
# 将下面三个环境变量写入环境变量文件并保存
export LD_LIBRARY_PATH=TensorRT解压路径/lib:$LD_LIBRARY_PATH
# 使刚刚修改的环境变量文件生效
$ source ~/.bashrc
进入tensorRT目录下的Python目录
# 对于python2
$ sudo pip2 install tensorrt-XXX-cp27-cp27mu-linux_x86_64.whl
# 对于python3
$ sudo pip3 install tensorrt-XXX-cp37-cp37m-linux_x86_64.whl
遇到的问题:
1、ImportError: libnvinfer.so.7: cannot open shared object file: No such file or directory
检查bashrc中添加的tensorrt的lib路径是否填写正确;
2、在执行命令:python -m onnxsim retinate_hat_hair_beard.onnx retinate_hat_hair_beard_sim.onnx报错
ModuleNotFoundError: No module named ‘onnx.optimizer‘
在使用 onnx-simplifier 简化onnx模型中一些多余的操作算子时,是因为onnx 的版本太新,onnx.optimizer 已经从onnx 中分离了出来,成了一个单独的项目。
目前的版本如下,可正常运行:
- onnx 1.7.0
onnx-simplifer 0.2.16