TensorRT使用基本流程

tensorRT的使用包括两个阶段， build and runtime (deployment)：

build：Import and optimize trained models to generate inference engines

build阶段主要完成模型转换（从caffe或TensorFlow到TensorRT），在模型转换时会完成前述优化过程中的层间融合，精度校准。这一步的输出是一个针对特定GPU平台和网络模型的优化过的TensorRT模型，这个TensorRT模型可以序列化存储到磁盘或内存中。存储到磁盘中的文件称之为 plan file。

build阶段依次实例化以下对象

• ILogger
• IBuilder
• INetworkDefiniton
• IParser
• ICudaEngine
• serialize成IHostMemory

build示例代码

    //brief: Builds an engine from a network definition.
    //创建一个IBuilder对象
    IBuilder *builder = createInferBuilder(gLogger);
    //brief: A network definition for input to the builder.
    // 创建一个network对象
    INetworkDefinition *network = builder->createNetwork();
    //brief: Class used for parsing Caffe models. Allows users to export models trained using Caffe to TRT.
    //创建一个ICaffeParser对象，继承自IParser类，用于解析caffe模型
    ICaffeParser *parser = createCaffeParser();
    //brief: Set the IPluginFactory used to cr