转ONNX模型 通过TRT 实现C++的简单案例。

虽然实例是python，可以把python代码封装成dll，在c++环境中进行调用。

下面这个链接值得参考：

TensorRT学习与paddle-TRT实践（一）_飞得更高-CSDN博客_paddle tensorrtgithub 源码地址：https://github.com/NVIDIA/TensorRThttps://github.com/NVIDIA/TensorRT官方手册地址：NVIDIA Deep Learning TensorRT Documentationhttps://docs.nvidia.com/deeplearning/tensorrt/index.html一、算子支持截止2021年10月19日，TensorRT 已更新至8.2.0版本，算子支持情况（在源码parsers文件夹.https://blog.csdn.net/feedinglife/article/details/120848119?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-1.queryctrv4&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-1.queryctrv4&utm_relevant_index=2

下面的链接 值得借鉴，虽然下面的第二个结果存在问题没有运行成功：

关于部署过程中paddle、onnx、trt等模型转换（一）_羽客S的博客-CSDN博客前言 检测与识别模型同理使用。文章目录前言1.paddle模型转化为inference模型2.inference模型转onnx3.onnx转tensorrt1.paddle模型转化为inference模型 首先，将使用的后缀为.pdopt/.pdparams/.states的三个训练文件以及训练时的yml文件，放到相应的文件夹下，随后修改tools/program.py文件中的参数，将-c中对应的default设为yml文件的相对路径或绝对路径。 其次，打开yml文件，将文件中https://blog.csdn.net/weixin_44898889/article/details/119566020关于部署过程中paddle、onnx、trt等模型转换（二）_羽客S的博客-CSDN博客_paddle2onnx文章目录前言一、paddle2onnx二、onnx2trt总结前言上文我们讲述了如何将paddle1.0版本的模型转换为onnx以及trt格式，很多人私信问如何将2.0版本的进行转换。因此，这篇文章着重讲述paddle2.0的转换过程。一、paddle2onnx首先，准备好训练模型以及相应的yml配置文件，放到对应目录下。编辑程序第36行，设置onnx输出名，程序如下：# paddle2onnx.pyfrom __future__ import absolute_importfhttps://blog.csdn.net/weixin_44898889/article/details/119648858?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-3.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-3.pc_relevant_default&utm_relevant_index=6

Windows环境使用TensorRT工具trtexec将ONNX转换为engine(trt)文件_P_Leung的技术博客-CSDN博客当前环境软件版本CUDA10.2cudnn7.6.5TensorRT7.0.0.11根据当前环境编译trtexec源码在TensorRT里面，路径TensorRT-7.0.0.11\samples\trtexec1. 使用Visual Studio打开项目打开trtexec.sln文件2. 给项目配置正确的头文件和静态库路径头文件右键解决方案属性=> C/C++ => 常规 => 附加包含目录添加以下路径(根据自身情况https://blog.csdn.net/a2824256/article/details/120532905 转换onnx_模型转换工具X2Paddle操作大全_weixin_39935388的博客-CSDN博客深度学习的应用主要包括两个部分，一是通过深度学习框架训练出模型，二是利用训练出来的模型进行预测。开发者基于不同的深度学习框架能够得到不同的训练模型，如果想要基于一种框架进行预测，就必须要解决不同框架的模型之间的匹配问题。基于这种考虑，也为了帮助用户快速从其他框架迁移，PaddlePaddle开源了模型转换工具X2Paddle。它可以将TensorFlow、Caffe 的模型转换为PaddlePad...https://blog.csdn.net/weixin_39935388/article/details/112570341?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-4.pc_relevant_paycolumn_v3&spm=1001.2101.3001.4242.3&utm_relevant_index=7

 win10 使用TensorRT部署 yolov5-v4.0（C++）_wsp_1138886114的博客-CSDN博客一、环境及文件准备安装 CUDA+cudnn+TensorRT 查看上一篇文章默认安装Anaconda并安装了pytorch开发环境默认安装了 vs2019 + opencv + cmake下载yolov5源码：https://github.com/ultralytics/yolov5/tags下载yolov5权重：https://github.com/ultralytics/yolov5/releases下载dirent.h：https://github.com/tronkko/direnthttps://blog.csdn.net/wsp_1138886114/article/details/121718501