【tensorrt】——插件的写作思路

关键词:tensorrt,插件

首先需要python转onnx正确。其次采用onnx-tensorrt进行onnx模型解析。解析成tensorrt的模型。如果这一步解析有问题,可能这个时候就要写插件了。插件的写法可以参考tensorrt官方的项目

  1. tensorrt官方c_api
    可以看类的继承关系或框架结构

  2. tensorrt7之后,插件和解析的exe onnx2trt是分开的。模块化做的很好。可以参考tensorrt项目进行插件书写。

  • 采用cmake18.x才编译通过,16.x编译有问题。
  • tensorrt7的插件库在tensorrt库的plugin路径下,其和onnx-tensorrt库是分开的。在5.x的时候,tensorrt的插件也是放在onnx-tensorrt库中的。
  • 所以tensorrt7插件可以在tensorrt库中书写,然后再编译解析库,解析库可以用tensorrtonnx-tensorrt二者之一,注意链接libnvinfer_plugin.so的时候,需要用前面编译的插件动态库。
  1. 可以看这篇博客的一些解释实现TensorRT-7.0插件自由!(如果不踩坑使用TensorRT插件功能)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值