部署推理阶段
此阶段主要完成推理,Kernel Auto-Tuning 和 Dynamic Tensor Memory 应该是在这里完成的。先创建一个runtime对象,再将plan文件反序列化,并创建一个 runtime engine,然后就可以输入数据(比如测试集或数据集之外的图片),然后输出分类向量结果或检测结果。tensorRT的好处就是不需要安装其他深度学习框架,就可以实现部署和推理。
这个阶段需要给tensorRT提供一个标签文件
(这个主要是将模型产生的数字标号分类,与真实的名称对应起来)