![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorRT
baobei0112
这个作者很懒,什么都没留下…
展开
-
TensorRT层和每个层支持的精度模式
下表列出了TensorRT层和每个层支持的精确模式。它还列出了该层在深度学习加速器(DLA)上运行的能力。有关附加约束的更多信息,请参见 DLA Supported LayersDeveloper Guide :: NVIDIA Deep Learning TensorRT Documentation.有关每个TensorRT层的更多信息,请参见TensorRT层。要查看每个层支持的特定属性列表,请参考TensorRT API文档API Reference :: NVIDIA Deep Learnin.原创 2022-05-04 19:00:26 · 1162 阅读 · 0 评论 -
onnx2tensorrt
bool onnxToTRTModel(const std::string& modelFile, // name of the onnx model unsigned int maxBatchSize, // batch size - NB must be at least as large as the batch we want to run with IHostMemory*& trtModelStream) // output buffer for the...原创 2022-04-29 16:48:19 · 209 阅读 · 0 评论 -
TensorRT-7.0插件实践教程
7版本开头的TensorRT变化还是挺大的,增加了很多新特性,但是TensorRT的核心运作方式还是没有什么变化的,关于TensorRT的介绍可以看之前写的这两篇:利用TensorRT对深度学习进行加速 利用TensorRT实现神经网络提速(读取ONNX模型并运行)本文的内容呢,主要是讲解:TensorRT自定义插件的使用方式 如何添加自己的自定义算子看完本篇可以让你少踩巨多坑,客官记得常来看啊。前言随着tensorRT的不断发展(v5->v6->v7),TensorRT转载 2022-03-08 17:31:57 · 1088 阅读 · 0 评论 -
ubuntu编译TensorRT源码(添加自定义plugin)
1.下载源码1.1 下载TensorRT编译版本官方下载TensorRT编译版本,此处以TensorRT7.0.0.11-cuda10.2-cudnn7.6-ubuntu18.04为例子:根据安装的cuda的版本选择,选择tar包即可选择的版本要和安装的cuda对应。1.2 下载TensorRT源码git clone https://github.com/nvidia/TensorRTcd TensorRTgit submodule update --init --recursi.转载 2022-01-25 10:48:43 · 645 阅读 · 0 评论