TensorRT Plugin实战

已于 2023-11-10 21:44:50 修改
阅读量2.3k 收藏 15
点赞数 2
分类专栏： TensorRT总结 文章标签： 计算机视觉 神经网络 YOLO 深度学习 cnn
于 2023-02-17 18:03:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_41886501/article/details/129091397
版权
文章详细介绍了如何在Linux环境下编译和使用TensorRTPlugin，包括修改ONNX模型、编译TRT源码、注册自定义插件、生成并使用engine文件。作者通过将YOLOX模型的前处理步骤转化为Plugin，探讨了性能优化的可能性，但实验结果显示使用Plugin并未提升推理速度，反而可能因图像尺寸变化增加处理时间。未来计划采用CUDA内核函数优化。
摘要由CSDN通过智能技术生成

TensorRT-Plugin小试牛刀

注：需要在linux下编译，win10没有编译成功

代码已上传至github，github链接：https://github.com/ljx6666/TensorRT-Plugin

整体流程：

  1. 先安装TRT库；
  2. 修改onnx，加入plugin；
  3. 编译对应TRT版本的源代码(win10上会遇到很多坑，linux会相对顺利一点)；
  4. 修改TRT源代码，加入对应plugin的cpp、h和cu文件，然后还要注册，其他的cpp和h文件需要改一下；
  5. 编译改完的TRT源代码，生成的.so和.a文件放到TRT库的lib目录中，替换掉原来的lib目录；
  6. 使用trtexec工具，将改过的onnx生成engine；
  7. 验证阶段，在调用自定义的plugin时，需要在反序列化engine(deserializeCudaEngine函数)前，加入头文件#include “NvInferPlugin.h”和bool didInitPlugins = initLibNvInferPlugins(&gLogger, “ ”); ，并在Cmakelists.txt中加入1行target_link_libraries(yolox libnvinfer_plugin.so)。

第一步：
·需要安装TensorRT库，选择8.2.0.6版本的，其他版本的也可以尝试下。

第二步：
在onnx中修改网络的激活函数，为了增加TRT中不支持的op类型，使用下面的脚本将LeakyRelu的op_type改为Custom：
在这里插入图片描述
在这里插入图片描述

最后尝试使用trtexec工具将修改后放入onnx模型导出，报错。。。
在这里插入图片描述

第三步：
·下载与安装的TensorRT版本一致的源代码进行编译
最好是安装一样的版本，比如TensorRT库是8.2.0.6的，TensorRT源码也要是8.2.0.6的。不是同一版本的没试过，所以不知道好不好使。
下载命令：

git clone -b release/8.2.0.6 https://github.com/nvidia/TensorRT TensorRT  // 8.2.0.6可以替换成别的版本，如7.1
或：
git clone -b master https://github.com/nvidia/TensorRT TensorRT               // 默认就是8.2.0.6版本的

cd TensorRT
git submodule update --init --recursive                           // 下载trt源码中的第三方库如onnx等，有时候网不好，需要多下几回，才能下全。

如下图所示，输入git submodule update --init --recursive 命令后没有输出了，证明下全了。
在这里插入图片描述

在make之前，需要在Cmakelists.txt里修改1行代码，如下图所示，需要将TRT_LIB_DIR路径指定为TensorRT库的lib目录：
在这里插入图片描述

编译命令：

mkdir build
cd build
cmake .. 
make -j10

  正常情况下是很顺利，不会报错的，编译完之后会在build目录下生成.so和.a文件。做这步的目的是为了验证此TensorRT的源码是否可以编译成功，因为加入新的plugin之后，还得编译一遍TensorRT的源码，在此之前，先把TensorRT源码编译的坑先填平了。。。
  如果编译TRT其他版本源码，如7.1版本，注意7.1版本要求CUDA版本是11.0或10.2，如果要用其他CUDA版本编译，需要在cmake那步更改命令为：

cmake .. -DCUDA_VERSION=11.2    // 这里使用的CUDA版本是11.2，可替换成你自己想要的版本

  除此之外，TRT7.1版本的源码使用的第三方库默认的protobuf版本是3.0.0，如果在编译的过程中下载不下来，可提前利用科学上网下载下来tar.gz，此时需要修改对应的CMakeLists.txt，如下图所示：
在这里插入图片描述

第四步：
  打开TRT源代码，在plugin目录中照着LeakyReluPlugin复制1份，将h文件和cpp文件里面的lRelu统统替换成Custom，把文件名也改了，如下图所示。
图1

图1
 
在这里插入图片描述
图2 lCustomPlugin.cpp(除了图中展示的部分，其他地方还有需要改成Custom的)
 

  为了后续方便注册，自定义插件Custom类需要继承nvinfer1::IPluginV2DynamicExt接口，另外需要增加一些重写方法和属性，如图3、4、5：
在这里插入图片描述

图3 lCustomPlugin.h前部分
 

在这里插入图片描述

图4 lCustomPlugin.h中间部分
 
在这里插入图片描述
图5 lCustomPlugin.h后部分
 

在plugin/common/kernel.h中，加入图6中的那一行。
在这里插入图片描述

图6 kernel.h
 

  在plugin/common/kernels中，需要写一个lCustom.cu文件，仿照lRelu.cu写，在文件里面把lRelu替换成Custom，如图7所示，最终的Custom plugin函数实现在pCustomKernel()里，可以在此处修改成自己想要的plugin函数代码。
在这里插入图片描述

图7 lCustom.cu
 

还得需要注册plugin，在InferPlugin.cpp中加入图8、9两行代码：
在这里插入图片描述

图8 InferPlugin.cpp
 
在这里插入图片描述
图9 InferPlugin.cpp
 

以及在plugin/CMakeLists.txt中添加如图10这一行：
在这里插入图片描述

图10 plugin/CMakeLists.txt
 

最后需要实现onnx结点和TRT插件的映射关系，改动如下：
在这里插入图片描述

图11 builtin_op_importers.cpp
 

第五步：
  编译改完的TRT源码，编译的命令与第三步一致，编译完之后将build目录下的.so和.a文件拷贝到TRT库中的lib目录下，选择“全部替换”。

第六步：
利用trtexec工具，将改完的onnx生成engine，结果如下：
在这里插入图片描述

图12 custom.engine
 

第七步：
如何调用自定义plugin呢？
在这里插入图片描述

图13 yolox_s.onnx修改完节点后模型对比
 

如果在推理代码中什么都不改，即使engine生成成功，在调用带有自定义插件的engine时，也会出错，出错截图如图14。
在这里插入图片描述

图14 推理代码未改动时，编译成功了，但在运行时还是出错了，报错如上
 

  在网上百度了解决方案，见参考链接2，需要在推理代码中在对应位置加入图15、16，其中图16需要在deserializeCudaEngine函数前加上。除此之外，cmakelists.txt也需要加入1行，如图17所示。
在这里插入图片描述

图15 在yolox.cpp中加入NvInferPlugin.h头文件
 

在这里插入图片描述

图16 在deserializeCudaEngine函数前加上初始化plugin函数的调用
 

在这里插入图片描述

图17 CMakeLists.txt中需要链接到libnvinfer_plugin.so
 

最后，就可以愉快的调用自定义plugin模型推理啦！hhh
在这里插入图片描述

图18 用带有自定义plugin的yolox_s.engine推理结果    

  以上是介绍了一个TensorRT-Plugin的小示例，在实战中我将yolox的前处理resize等节点改成Plugin，方法同上。由于resize节点本身就存在于onnx转TensorRT的算子中，并不需要再编写Plugin的C++代码了，只需要在onnx模型中加入Shape、Gather、Concat和Resize节点。
  图19为将yolox的前处理放进模型中的可视化结果，在原来模型的基础上增加了Shape、Gather、Concat和Resize节点，其中Concat节点和Resize节点可视化如图20所示，Concat节点的输出即为Resize节点输出的形状。加入Shape、Gather和Concat节点的目的是为了获取到网络输入的动态形状。至于为什么不在Resize节点的sizes参数里直接指定形状为[1, 3, 640, 640]，是因为直接指定会报错。
在这里插入图片描述

图19 左为yolox_s原模型，右为加入前处理节点后的yolox_s模型
 

在这里插入图片描述

图20 左为Concat节点，右为Resize节点    

  其实将resize的C++代码转成TensorRT-Plugin的目的是为了减少每帧的处理时间，以达到提升性能的目的。不过我测试完时间之后，发现使用resize-plugin反而让每帧的处理时间变长了。。。猜测原因是输入的图像尺寸变大了（因为这时输入的是原图），在resize之前还需要将nhwc转成nchw。输入图像尺寸变大，导致转换维度这一函数耗时也变长。除此之外，使用nsight systems查看resize节点的推理时长也不短。。。于是改变一下优化策略，改成将yolox的前处理和后处理函数全部写成CUDA C内核函数的方式去减少耗时，提升性能。CUDA内核函数的编写在以后的博客中会陆续介绍。
 
 
 

参考链接：
1、https://zhuanlan.zhihu.com/p/492144628
2、https://blog.csdn.net/a2824256/article/details/121262135?spm=1001.2101.3001.6650.11&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-11-121262135-blog-102723545.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-11-121262135-blog-102723545.pc_relevant_default&utm_relevant_index=14

追求源于热爱688
关注
专栏目录
yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）
qq_34717531的博客
01-17 1万+
TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。：TensorRT 优化了模型以在GPU上高效运行，这意味着更低的内存占用和更高的吞吐量。对于资源受限的环境或在多任务并行处理的情况下，这是一个显著优势。：C++ 是一种跨平台语言，配合 TensorRT，可以在多种硬件和操作系统上部署深度学习模型，包括嵌入式设备和服务器。：TensorRT 提供了精确的数学和统计方法来减少浮点运算误差，这对于确保深度学习应用的准确性和稳定性至关重要。
CUDA编程：tensorrt plugin实战 中
a135013563的博客
03-01 808
cuda
9.TensorRT中文版开发教程-----TensorRT中的自定义层(Extending TensorRT With Custom Layers)
专注于人工智能领域的小何尚
05-08 8135
TensorRT中的自定义层 点击此处加入NVIDIA开发者计划 NVIDIA TensorRT 支持多种类型的层，其功能不断扩展；但是，在某些情况下，支持的层不能满足模型的特定需求。 您可以通过实现自定义层（通常称为插件）来扩展 TensorRT。 9.1. Adding Custom Layers Using The C++ API 您可以通过从 TensorRT 的插件基类之一派生来实现自定义层。
tensorrt plugin
xihuanniNI的博客
09-02 776
对于enqueue函数，由于都是不确定的数值，需要输入输出的描述。静态shape的隐式batch意思是，这个batch的数值是enqueue传递进来的，剩下的维度都是确定，batch是动态的。静态shape中，TRT的推理中，batch是拿不到的，getOutputDimensions的inputs参数只会有CHW，是一个明确数值和维度的数组。默认写的.cu是fp32的，TensorRT在fp16运行模式下，运行到不支持fp16的插件op时，会自动切换到fp32模式，等插件op运行完再切换回来。
tensorrt5.1双线性上采样插件
11-17
针对tensorrt5.1实现的双线性上采样插件，插件实测无误。如果用nvidia的gpu，在推理的时候，采用tensorrt进行加速是一个很好的选择，虽然tensorrt没有开源。
TensorRT入门实战,TensorRT Plugin介绍以及TensorRT INT8加速
qq_43398345的博客
05-06 1783
首先，根据上图可知，TensorRT是一个适配NVIDIA GPU的深度学习的推理框架，其能实现高性能深度学习推理，优化器和加速库，能够实现低延迟和高吞吐量，可以部署到超大规模的数据中心，嵌入式（Jetson）或者汽车产品。低精度优化： 比如INT8加速和FP16精度Kernel自动调优： 比如在cublas中对于矩阵乘法有多种实现，如何采取合适的矩阵乘法方式就是kernel自动调优。算子融合：比如原算子如下：融合后的算子如下：4. 多流运行5 显存优化。
TensorRT:自定义插件学习与实践 003: (IPluginV2Ext example) Plugin for Swish activation function in TensorRT 6
ResumeProject的博客
05-06 449
【代码】TensorRT:自定义插件学习与实践 003: (IPluginV2Ext example) Plugin for Swish activation function in TensorRT 6。
tensorRT插件
WX_Chen的博客
12-07 726
tensorRT自定义算子插件 enqueue 实际插件op的执行函数，我们自己实现的cuda操作就放到这里 https://oldpan.me/archives/tensorrt-plugin-one-post-get-it TensorRT插件的存在目的，主要是为了让我们实现TensorRT目前还不支持的算子 https://zhuanlan.zhihu.com/p/297002406 https://github.com/zerollzeng/tiny-tensorrt/blob/mas.
CUDA编程：tensorrt plugin实战上
a135013563的博客
03-01 707
cuda
TensorRT-tensorrt插件Plugin的自动生成工具-Autogen-优质算法部署项目实战.zip
最新发布
10-21
TensorRT_tensorrt插件Plugin的自动生成工具_Autogen_优质算法部署项目实战
基于C++快速使用TensorRT来部署模型项目源码
03-24
TensorRT是一个由NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时，它能够为深度学习模型提供低延迟、高吞吐量的预测服务。本项目源码以C++为基础，教你如何快速利用TensorRT来部署模型，实现高效的计算...
0825-极智开发-解读红黑树及示例代码
02-28
0825_极智开发_解读红黑树及示例代码
＜转载＞ TensorRT 实战教程
机器学习杂货铺1号店
04-28 1046
本文转自 https://murphypei.github.io/blog/2019/09/trt-useage TensorRT(TRT) 作为一种能显著加快深度学习模型 inference 的工具，如果能够较好的利用，可以显著提高我们的 GPU 使用效率和模型运行速度。 TensorRT(TRT) 作为一种快速的 GPU 推理框架，其常规流程就是利用现有的模型文件编译一个 engine，在编译 engine 的过程中，会为每一层的计算操作找寻最优的算子方法，这样编译好的 engine 执行起来就非常高
TensorRT的plugin实现
hello_dear_you的博客
12-31 2600
1. 总体概述(以实现add一个整数为例) 编写custom插件需要写两个类，分别如下： AddPlugin：继承IPluginV2IOExt，插件类，用于编写插件需要实现的功能 AddPluginCreator：继承IPluginCreator，插件Factory类，用于创建插件 class AddPlugin: public nvinfer1::IPluginV2IOExt class AddPluginCreator : public nvinfer1::IPluginCre
tensorRT的插件（自定义算子）实现
Rolandxxx的博客
11-06 1026
算子的基本组成就是一些加减乘除和一些基本运算，封装成算子的话，可以方便后续的重复调用，软工上的思想就是抽象和复用。自定义算子（插件）就是自己把一些常用的计算过程封装成一个算子，这个封装官方并没有实现过。当然你也可以选择不做成算子，按照数学公式实现出来进行部署同样不会报错，但就是导出的onnx非常乱。还有的情况就是forward中包含了自己用cpp写的cuda实现时，这是不能被trace的，即PyTorch 无法 trace （跟踪）数据流动，所以这是也需要把这一坨弄成一个plugin，就能够trace了。
TensorRT的插件实战（1）
deep_love1314的博客
07-22 759
trt 插件实战
TensorRT:自定义插件学习与实践 001
ResumeProject的博客
05-02 1335
本文简单列出了编写Tensorrt插件所需要的关键方法,分为两个部分，一是插件类的具体实现方法，另外是插件工厂的调用方法,插件类最终将编译为.so文件,使用时在c++或python中调用,所以插件类的方法调用在其他部分，在本文中难以直观的体现调用流程,需编写并运行代码，体验各个方法在插件生命周期中的作用。关于插件工厂的构造与调用在本文进行了解释。
caffe Softmax层TensorRT IPlugin代码实现
maidabu的博客
09-16 1523
TensorRT只支持对channel通道的softmax，对其他通道不支持，而SSD中的softmax不是对channel通道的分类，故要想实现对SSD的TensorRT加速，需要手动编写softmax层的IPugin代码。 //Softmax layer . TensorRT softmax only support cross channel class SoftmaxPlugin : ...
TensorRT Plugin中ROIAlign算子实现详解
在TensorRT中，Plugin是用户自定义的算子，它允许开发者在TensorRT框架中引入自己的算法，进行深度定制。实现Plugin需要深入理解TensorRT的插件架构和CUDA编程，以确保自定义算子能够被正确执行和高效运行。 4. ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值