z240626191s的博客

engine文件的读取需要用到ifstreamifstream – 从已有的文件读入ofstream – 向文件写内容fstream - 打开文件供读写文件打开模式：ios::in 只读ios::out 只写ios::app 从文件末尾开始写，防止丢失文件中原来就有的内容ios::binary 二进制模式ios::nocreate 打开一个文件时，如果文件不存在，不创建文件ios::noreplace 打开一个文件时，如果文件不存在，创建该文件。

终于更新了，本篇是实现了SSD的tensorrt 推理【python版】。YOLOv4以及YOLOv5C++版的tensorrt推理可以看我之前的文章。SSD代码我这里是在b站up主Bubbliiiing的pytorch版SSD的基础上进行的实现。

学了几天的tensorRT，又经过了几天的努力终于实现了YOLOv4 tensorRT推理，这篇文章将把这些成果开源出来，供大家免费使用。YOLOv4代码我采用的是b站up主，相信大家应该都比较熟悉这位大佬。关于trt的推理部分我是参考了官方YOLOV5 6.2版本。有关YOLOv4剪枝参考我另一篇文章：剪枝以后的模型也可以用tensorrt进行推理【理论是可行的，虽然我还没试】windows10cuda10.2cudnn8.2.1pytorch1.7python 3.7。

上一篇文章中已经详细叙述了如何用tensorRT将onnx转为engine。本篇文章将继续讲解trt的推理部分。与之前一样，在讲解之前需要先介绍一些专业术语，让大家看看这些内置函数都有什么功能。Binding翻译过来就是绑定。engine/context会给所有的输入输出安排位置。总共有个binding。这里借用一张图来说明，下面图中如果模型有两个输入张量x、y，两个输出张量index和entropy，那么engine和context会按照这四个张量的拓扑顺序给一个Binding。

在介绍导出engine过程需要先介绍一下会遇到的相关术语。1.建立logger:日志记录器2.建立Builder:网络元数据用于搭建网络的入口，网络的TRT内部表示以及可执行程序引擎都是由该对象的成员方法生成

​前面的文章中已经写了一个tensorRT简单的demo---lenet推理【tensorRT-lenet】，实现了从torch模型转wts【同时也展示出了wts内网络的详细信息】再转engine后的推理过程，本文章是在之前的基础上去分析C++代码的实现。

前面写了一系列YOLO系列的剪枝以及libtorch推理的文章，如何将模型进行部署这才是一个难点，将学术成果转为实际应用，因此后续将不定期写一些有关tensorRT学习的文章，本文也是参考以下链接的教程，相信使用tensorrt推理yolov5大家都用过了。本文将以lenet为例进行tensorRT的推理。