关键词:tensorrt,插件
首先需要python转onnx正确。其次采用onnx-tensorrt进行onnx模型解析。解析成tensorrt的模型。如果这一步解析有问题,可能这个时候就要写插件了。插件的写法可以参考tensorrt官方的项目
-
tensorrt官方c_api
可以看类的继承关系或框架结构 -
tensorrt7之后,插件和解析的exe
onnx2trt
是分开的。模块化做的很好。可以参考tensorrt项目进行插件书写。
- 采用cmake18.x才编译通过,16.x编译有问题。
- tensorrt7的插件库在tensorrt库的
plugin
路径下,其和onnx-tensorrt库是分开的。在5.x的时候,tensorrt的插件也是放在onnx-tensorrt库中的。 - 所以tensorrt7插件可以在tensorrt库中书写,然后再编译解析库,解析库可以用tensorrt或onnx-tensorrt二者之一,注意链接
libnvinfer_plugin.so
的时候,需要用前面编译的插件动态库。
- 可以看这篇博客的一些解释实现TensorRT-7.0插件自由!(如果不踩坑使用TensorRT插件功能)