miivii域控制器(Xavier)实现TensorRT加速后的Ultra-Fast-Lane-Detection项目

TRT_ONNX2是神力模型转换工具链
鸡汤哥知乎金天

一、配置TRT_ONNX2

1、安装依赖

（2020.09.30更新）昨天刷了JetPack4.4，很好用！只需要下载编译thor即可，其他依赖项原生满足。

（1）TensorRT 7

(2020.09.29更新)TensorRT是深度学习推理(Inference)优化器，主要针对NVIDIA GPU，应用于模型部署、实际预测阶段。TensorRT通过分析深度学习模型，将各层进行横向、纵向合并，减少CUDA对输入/输出张量的读写时间，从而使模型更小、更快、更高效，加速推理过程。Tensorflow\Caffe深度学习框架训练出来的模型，可以直接丢进TensorRT框架中去，对模型进行分析优化。PyTorch\Caffe2等框架训练出来的模型，需要先转化为ONNX通用深度学习模型，然后才能丢进TensorRT中优化。详细的TensorRT介绍参考TensorRT(1)-介绍-使用-安装。

nvidia官网TensorRT各版本下载
Installing TensorRT

（2020.09.28更新）域控制器刷机后自带tensorrt5.1.6.1，鸡汤哥说工具链不支持tensorrt5，因为该版本的很多接口过时了，因此参照安装教程，卸载了自带的tensorrt。

我看了安装教程，主要是安装一些python接口和库，而项目中主要用到tensorrt中的c++库，因此下载TensorRT 7.0.0.11 for Ubuntu 18.04 and CUDA 10.0 tar package(这里还有坑，make时报错今天没有解决)，在~/目录下解压，将文件夹重命名为TensorRT，并执行

$ ln -s /home/nvidia/TensorRT /home/nvidia/cola/trt_onnx2

就会在trt_onnx2文件夹下创建一个TensorRT软链接文件，它是软链接到/home/nvidia/TensorRT目录的。

这里有2点要注意：一是安装包解压位置必须是~/，二是必须重命名为TensorRT，这是项目作者在编译规则中制定了的，不这样做make就报错。如图在cmake时，TensorRT的头文件和库文件总是包含在特定路径之下。

（2）gflags

(2020.10.02更新)JetPack4.4不需要再另外配置gflags

（3）thor

安装编译thor
thor是一个C++库，为深度学习提供大量的工具、算法和可视化模块。

build_full.sh安装完整版，在配置glog时，同时执行了源码安装