TensorRT 环境搭建记录

TensorRT 环境搭建记录

1.TensorRT介绍

  NVIDIA-TensorRT的核心是一个利用NVIDIA的GPU来促进高效推理的C++库。TensorRT从一个包含网络定义和一系列网络参数的已经训练好的网络中产生一个高度优化的运行引擎，来执行网络的推理，更加高效的使用GPU，主要提供边缘设备的加速计算。

  TensorRT提供了C++和python的接口来通过网络定义接口的方式使用深度学习模型，或者通过解析器来加载一个预训练的模型，能够让TensorRT在NVIDIA GPU上来优化和运行。TensorRT在其他各种优化中选择了图优化，层融合，也利用多种高度优化的内核的结合发现了最快的执行模型的方式。TensorRT也提供了运行环境，你可以使用TensorRT在Kepler一代开始所有的NVIDIA的GPU上执行网络。

2.使用TensorRT总目标

• 使用pytorch训练好的模型转成onnx模型，然后保证onnx模型和pytorch模型的结果一致然后在把onnx模型转成TensorRT支持的模型，或者直接使用TensorRT的parser对onnx模型进行推理运算
• 使用TensorRT的C++ API在TX2上跑分类模型、检测模型以及分割模型

1. 实验环境：Centos-7.4 CUDA-10.1 cudnn-7.6.4 TensorRT-5.1.5.0
2. 移动设备：jetson-tx2 JETPACK-4.2.2 TensorRT-5.1.6.0
3. 模型选择：resnet-18 UltraFace ENet