TensorRT安装及使用--通用模型

        TensorRT是Nvidia为了加速基于自家GPU训练模型的推理而设计的，当我们将模型训练好后，TensorRT可以直接对模型进行网络层的一一对应，从而加速比较大模型的推理部署。最近使用TensorRT加速了一些模型，我将用两篇文章对使用过程和其中遇到的坑进行记录说明。本篇文章将对通用模型的TensorRT转换进行一个记录，对transformer类模型的转换我们将在下一篇文章进行记录。本文记录的安装基于TensorRT6.0。

1、 TensorRT的安装

1.1 官网下载安装包

        首先，我们可以到nvidia官网的tensorrt专区进行安装包的下载，网址是https://developer.nvidia.com/nvidia-tensorrt-download，因为我使用的ubuntu版本是18.04，python版本是3.6，cuda版本是10.1，我选择了TensorRT 6.0.1.5 GA for Ubuntu 18.04 and CUDA 10.1 tar package这一版。在官网中有对系统版本和python版本的对照关系进行说明，可自行对照。

1.2 安装TensorRT和pycuda

        在安装TensorRT之前，我们首先使用pip安装pycuda

pip install pycuda

        然后我们进行TensorRT的安装。

## 解压安装包
tar zxvf TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar

## 将TensorRT的库安装到系统库中
sudo cp -r ~/TensorRT-6.0.1.5/lib/* /usr/lib
sudo cp -r ~/TensorRT-6.0.1.5/include/* /usr/include

# 安装TensorRT
pip install ~/TensorRT-6.0.1.5/python/tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl
 
# 安装UFF,这是转换模型的工具
pip install ~/TensorRT-6.0.1.5/uff/uff-0.6.5-py2.py3-none-any.whl
 
# 安装graphsurgeon
pip install  ~/TensorRT-6.0.1.5/graphsurgenon/graphsurgeon-0.4.1-py2.py3-none-any.whl


#最后，我们将TensorRT的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-6.0.1.5/lib

         到此为止我们就安装好了TensorRT，没有遇到任何坑。使用下述语句可以测试我们是否安装成功。

import tensorrt
import uff

2、 TensorRT的使用

        我们使用TensorRT给的例子end_to_end_tensorflow_mnist进行简单的使用说明。

## 首先，我们进入例子代码
cd ~/TensorRT-6.0.1.5/samples/python/end_to_end_tensorflow_mnist

## 然后，我们建一个models的文件夹
mkdir models

## 运行model.py文件，我们可以在models文件夹中获得lenet5.pb
python models.py

## 进行模型转换
convert-to-uff ./models/lenet5.pb

        此时我们会得到模型生成的pb文件，然后我们使用convert-to-uff进行模型转换，但会遇到下面的错误 

bash: convert-to-uff: command not found

        我们使用https://forums.developer.nvidia.com/t/convert-to-uff-command-not-found/116782中给出的解决方法进行处理。

UFF_PATH="$(python -c 'import uff; print(uff.__path__[0])')"
chmod +x ${UFF_PATH}/bin/convert_to_uff.py
ln -sf ${UFF_PATH}/bin/convert_to_uff.py /usr/local/bin/convert-to-uff

        此时重新运行转换语句便可以对模型进行转化，我们会在models文件夹下得到lenet5.uff文件。

## 测试转化的模型
python sample.py

        遇到问题Could not find 8.pgm. Searched in data paths: ['~/Tensorrt-6.0.1.5/data/mnist']，参照https://github.com/NVIDIA/TensorRT/issues/256#issuecomment-568382745进行问题解答。

python /opt/tensorrt/data/mnist/generate_pgms.py -d /opt/tensorrt/data/mnist/train-images-idx3-ubyte -l /opt/tensorrt/data/mnist/train-labels-idx1-ubyte -o /opt/tensorrt/data/mnist

        但我们会发现train-images-idx1-ubyte和train-labels-idx1-ubyte这两个文件夹是不存在的，我们可以去https://github.com/Manuel4131/GoMNIST/tree/master/data这个网址进行下载，然后使用gzip -d命令解压在对应的文件夹中。

        当我们上述步骤都运行完后，我们就可以重新运行python sample.py。此时我们便可以得到运行结果了。

3、 总结

        在本篇文章中，我们对tensorrt的安装和简单使用进行了说明。但笔者主要是从事NLP方向，希望加速的模型是bert类模型。直接使用convert-to-uff只能对简单的网络层进行转换，并不能对transformer进行转换。因此在下一篇文章中，笔者将记录使用TensorRT转换bert类模型的步骤和在其中遇到的坑。