TRT模型加速推理---随笔记

一、jetson环境部署熟悉(NVIDIA Jetson嵌入式平台)

uname -a显示有关内核和操作系统的信息，显示如下：

Linux nx-desktop 4.9.253-tegra #0 SMP PREEMPT Tue Nov 30 15:41:10 CST 2021 aarch64 aarch64 aarch64 GNU/Linux

Jetpack是NVIDIA为Jetson系列开发套件提供的软件套件，包含了操作系统、驱动程序、库和工具等。查看jetpack版本命令：cat /etc/nv_tegra_release。显示如下：

 R32 (release), REVISION: 6.1, GCID: 27863751, BOARD: t186ref, EABI: aarch64, DATE: Mon Jul 26 19:36:31 UTC 2021

二、模型加速技术调研

1. TensorRT是英伟达针对自家平台做的加速包，可以认为tensorRT是一个只有前向传播的深度学习框架，只负责模型的推理（inference）过程，一般不用TensorRT来训练模型的，而是用于部署时加速模型运行速度。
2. TensorRT主要做了这么两件事情，来提升模型的运行速度。

<1>TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用 32 位或 16 位数据。