模型部署-1-bak

一、构建TensorRT引擎

 

构建器创建网络配置：batchsize，最大工作空间，fp16、int8

调用构造器创建引擎：创建引擎后可以对引擎做序列化---》存成一个文件

二、TensorRT的构建过程 

1. 最高级别创建Builder

2. 创建网络定义createNetwork/createNetworkV2

3. createBuilderConfig做配置

4. ICudaEngine表示引擎

 下面详细介绍2、3、4

2. 

 2.2 使用TensorRT Layer和Tensor API构建网络

 SoftMax的第0个输入设置名字为OUTPUT_BLOB_NAME

2.1 从ONNX创建网络

 2.1.2

 

 ‘actual_input_1’：[0, 2, 3]表示特征图此维度的索引是变动的，如输入[10, 3, 224, 224]-->可以变为[-1, 3(不变), -1, -1]。

output1：[0, 1]表示相应的输出0，1维度可变。

2.1.1 nvonnxparser导入模型

=========================================================================3.

 

4. Builder创建引擎

 注意：

eg1：创建引擎----序列化与反序列化

eg2：

 

 

****************************************************************************************************************************************************************************************************************************

三、运行TensorRT引擎

 1. 

 

 2. 

 

 运行时代码：