TensorRT教程10：部署推理的基本步骤（重点）

部署推理阶段

此阶段主要完成推理，Kernel Auto-Tuning 和 Dynamic Tensor Memory 应该是在这里完成的。先创建一个runtime对象，再将plan文件反序列化，并创建一个 runtime engine，然后就可以输入数据（比如测试集或数据集之外的图片），然后输出分类向量结果或检测结果。tensorRT的好处就是不需要安装其他深度学习框架，就可以实现部署和推理。

这个阶段需要给tensorRT提供一个标签文件（这个主要是将模型产生的数字标号分类，与真实的名称对应起来）

部署推理的11个基本步骤

step1：创建runtime

step2：反序列化创建engine

step3：创建context

step4：获取输入输出索引

step5：创建buffers

step6：为输入输出开辟GPU显存

step7：创建cuda流

step8：从CPU到GPU----拷贝input数据

step9：异步推理

step10：从GPU到CPU----拷贝output数据

step10：同步cuda流

step11：释放资源