jetson tx2 上部署TensorRT模型推理

参考：https://arleyzhang.github.io/articles/7f4b25ce/

1. Jetson tx2 是什么？

Jetson tx2简而言之就是AI计算终端，采用 NVIDIA Pascal™ 构架，外形小巧、节能高效，非常适合机器人、无人机、智能摄像机和便携医疗设备等智能边缘终端设备。

2. TensorRT是什么？

TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。
TensorRT 是一个C++库，从 TensorRT 3 开始提供C++ API和Python API，主要用来针对 NVIDIA GPU进行 高性能推理（Inference）加速。


由以上两张图可以很清楚的看出，训练（training）和 推理（inference）的区别：

训练（training）： 包含了前向传播和后向传播两个阶段，针对的是训练集。训练时通过误差反向传播来不断修改网络权值（weights）。
推理（inference）： 只包含前向传播一个阶段，针对的是除了训练集之外的新数据。可以是测试集，但不完全是，更多的是整个数据集之外的数据。其实就是针对新数据进行预测，预测时，速度是一个很重要的因素。

一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。但在部署推理时，为了降低成本，往往