Linux centos7 安装TensorRT

注意：
a、主要两个文件：TensorRT、pycuda包文件。
b、tensorRT需要到官网下载后解压到固定的系统文件夹下即可。pycuda则是直接使用pip安装即可。
c、加速流程：pytorch模型转换成onnx，使用自身的onnx模块即可；然后通过onnx转换成tensorrt的模型格式，大概后缀为.engine；最后就可以通过调用这个engine进行相应的加速使用。

安装cuda、cudnn 省略

安装tensorRT

tensorRT安装官网
登录：https://developer.nvidia.com/tensorrt
tensorrt下载：https://developer.nvidia.com/nvidia-tensorrt-download
下载根据自己的系统选择，Linux建议选择第一个方式安装。

开始安装：

tar -xvzf  TensorRT-8.6.0.12.Linux.x86_64-gnu.cuda-11.8.tar.gz
mv  TensorRT-8.6.0.12 /usr/local
cd  /usr/local/TensorRT-8.6.0.12

环境变量配置：

vim  ~/.bashrc 
// 将以下 命令 添加到 文件中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/TensorRT-8.6.0.12/lib
export PATH=$PATH:/usr/local/TensorRT-8.6.0.12/bin
// 运行生效
source ~/.bashrc

tensorrt python环境的安装

sudo pip install -r requirements.txt

sudo pip install python/tensorrt-8.6.0-cp38-none-linux_x86_64.whl
sudo pip install onnx_graphsurgeon/onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
sudo pip install graphsurgeon/graphsurgeon-0.4.6-py2.py3-none-any.whl

安装pycuda

pycuda安装官网
或者pip3 install pycuda
Linux 安装 Pycuda 时可能会遇到这个问题：

第一种问题：

src/cpp/cuda.hpp:14:18: fatal error: cuda.h: No such file or directory
#include <cuda.h>
                  ^
error: command '/usr/bin/gcc' failed with exit code 1

解决方法：

export PATH=/usr/local/cuda-11.7/bin:/usr/local/cuda/bin:$PATH 　　　// 即 cuda 的路径这里在root 模式下再包含一遍即可
pip install pycuda -i https://pypi.tuna.tsinghua.edu.cn/simple

第二种问题：

出现Python.h报错的问题

解决方法：
ubuntu：
Python2x:

apt-get intsall -y python-dev

Python3x:

apt-get intsall -y python3-dev

centos：
Python2x:

yum intsall -y python-devel

Python3x:

yum intsall -y python3-devel

第三种问题：

Installing 'pycuda.cuda' as data is deprecated, please list it in `packages`.
note: This error originates from a subprocess, and is likely not a problem with pip.
 ERROR: Failed building wheel for pycuda
Failed to build pycuda
ERROR: Could not build wheels for pycuda, which is required to install pyproject.toml-based projects

解决方法：
进pycuda的官网下载 https://pypi.org/project/pycuda/#files

方式一：

// 下载
wget https://files.pythonhosted.org/packages/5a/56/4682a5118a234d15aa1c8768a528aac4858c7b04d2674e18d586d3dfda04/pycuda-2021.1.tar.gz
// 解压
tar xvzf pycuda-2021.1.tar.gz
cd pycuda-2021.1
./configure.py --cuda-root=/home/xx/software/cuda-11.7/install/ --boost-compiler=gcc --cxxflags=-std=c++11
// 编译
python setup.py build
// 安装
python setup.py install

方式二：

// 下载pycuda源码
wget https://files.pythonhosted.org/packages/5a/56/4682a5118a234d15aa1c8768a528aac4858c7b04d2674e18d586d3dfda04/pycuda-2021.1.tar.gz
// 解压
tar -xvzf pycuda-2021.1.tar.gz
cd pycuda-2021.1
vim setup.py
// 在下图位置添加conf[“CXXFLAGS”].append(’-std=c++11’)
// 运行
python3 setup.py install

验证

	rpm -qa | grep tensorrt

或者 运行 trtexec命令，测试是否成功安装TensorRT

	trtexec --help

运行 pip list 命令，测试是否成功安装TensorRT