![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorRT
学海无涯子
汪汪~
展开
-
TensorRT的自定义算子Plugin的实现
介绍了如何使用TensorRT实现自定义算子,如何实现IPluginV2IOExt,如何实现IPluginCreator,以及如何实现IPluginFactoryV2。原创 2020-06-03 11:19:10 · 7046 阅读 · 1 评论 -
TensorRT 的 C++ API 使用详解
1. TensorRT 的 C++ API 使用示例进行推理,需要先创建IExecutionContext对象,要创建这个对象,就需要先创建一个ICudaEngine的对象(engine)。两种创建engine的方式:使用模型文件创建engine,并可把创建的engine序列化后存储到硬盘以便后面直接使用;使用之前已经序列化存储的engine,这种方式比较高效些,因为解析模型并生成eng...原创 2019-04-24 20:06:09 · 20012 阅读 · 14 评论