TensorRT
洪流之源
这个作者很懒,什么都没留下…
展开
-
tensorRT 分类模型构建与推理
【代码】tensorRT 分类模型构建与推理。原创 2023-05-24 18:38:36 · 562 阅读 · 0 评论 -
tensorRT trtexec命令常用参数
trtexec参数原创 2023-05-23 16:02:51 · 2914 阅读 · 0 评论 -
TensorRT安装
tensorRT安装原创 2022-11-01 14:56:37 · 1815 阅读 · 0 评论 -
TensorRT 系列 (2)动态shape
TensorRT支持输入动态shape的推理,在编译模型时可以指定shape的动态范围为[L, H],推理时允许L <= shape <= H,输入动态shape可通过createOptimizationProfile优化配置文件,来指定输入的shape可以变换的范围,当然也可以通过ONNX导出模型时进行指定,本次只演示前一种。示例代码:// tensorRT include#include <NvInfer.h>#include <NvInferRuntime原创 2022-05-29 19:13:15 · 1883 阅读 · 0 评论 -
TensorRT 系列 (1)模型推理
推理代码:// tensorRT include#include <NvInfer.h>#include <NvInferRuntime.h>// cuda include#include <cuda_runtime.h>// system include#include <stdio.h>#include <math.h>#include <iostream>#include <fstream&.原创 2022-05-29 18:59:48 · 2967 阅读 · 0 评论 -
TensorRT 系列 (0)C++ API 构建编译网络
TensorRT的核心在于对模型算子的优化(合并算子、利用GPU特性选择特定核函数等多种策略),通过tensorRT,能够在Nvidia系列GPU上获得最好的性能,因此tensorRT的模型需要在目标GPU上实际运行的方式选择最优算法和配置,也因此tensorRT生成的模型只能在特定条件下运行(依赖于编译的trt版本、cuda版本、编译时的GPU型号)。TensorRT提供的C++、Python接口用于直接构建网络结构,本次主要介绍C++接口实现网络的构建与模型的编译,当然TensorRT也可以实现由其它框原创 2022-05-29 11:03:12 · 1500 阅读 · 0 评论