TensorRT
baobei0112
这个作者很懒,什么都没留下…
展开
-
TensorRT层和每个层支持的精度模式
下表列出了TensorRT层和每个层支持的精确模式。它还列出了该层在深度学习加速器(DLA)上运行的能力。有关附加约束的更多信息,请参见 DLA Supported LayersDeveloper Guide :: NVIDIA Deep Learning TensorRT Documentation. 有关每个TensorRT层的更多信息,请参见TensorRT层。要查看每个层支持的特定属性列表,请参考TensorRT API文档API Reference :: NVIDIA Deep Learnin.原创 2022-05-04 19:00:26 · 1190 阅读 · 0 评论 -
onnx2tensorrt
bool onnxToTRTModel(const std::string& modelFile, // name of the onnx model unsigned int maxBatchSize, // batch size - NB must be at least as large as the batch we want to run with IHostMemory*& trtModelStream) // output buffer for the...原创 2022-04-29 16:48:19 · 221 阅读 · 0 评论 -
TensorRT-7.0插件实践教程
7版本开头的TensorRT变化还是挺大的,增加了很多新特性,但是TensorRT的核心运作方式还是没有什么变化的,关于TensorRT的介绍可以看之前写的这两篇: 利用TensorRT对深度学习进行加速 利用TensorRT实现神经网络提速(读取ONNX模型并运行) 本文的内容呢,主要是讲解: TensorRT自定义插件的使用方式 如何添加自己的自定义算子 看完本篇可以让你少踩巨多坑,客官记得常来看啊。 前言 随着tensorRT的不断发展(v5->v6->v7),TensorRT转载 2022-03-08 17:31:57 · 1102 阅读 · 0 评论 -
ubuntu编译TensorRT源码(添加自定义plugin)
1.下载源码 1.1 下载TensorRT编译版本 官方下载TensorRT编译版本,此处以TensorRT7.0.0.11-cuda10.2-cudnn7.6-ubuntu18.04为例子: 根据安装的cuda的版本选择,选择tar包即可 选择的版本要和安装的cuda对应。 1.2 下载TensorRT源码 git clone https://github.com/nvidia/TensorRT cd TensorRT git submodule update --init --recursi.转载 2022-01-25 10:48:43 · 661 阅读 · 0 评论