![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorRT
文章平均质量分 78
HW140701
这个作者很懒,什么都没留下…
展开
-
TensorRT - TensorRT was linked against cuBLAS/cuBLAS LT 11.6.1 but loaded cuBLAS/cuBLAS LT 11.5.4错误提
我自己以为只要是下载cuda 11.4的版本就行了,之后的小版本就没在意,所以当时下载的时候我就下载了cuda 11.4.1,但是cuda 11.4.1的cuBLAS的版本只有11.5.4.8,那么如何知道哪一个cuda版本中的cuBLAS版本呢?所以我们应该下载安装的版本是cuda 11.4.2,而不是cuda 11.4.1,所以为了避免出现问题(虽然不知道不适用对应的cuda版本会出现什么问题),还是一个版本一个版本慢慢校对,直到找到合适的cuda版本。原创 2023-03-03 09:17:40 · 743 阅读 · 0 评论 -
TensorRT - 扩展TensorRT C++API的模型输入维度,增加Dims5,Dims6,Dims7,Dims8
1 TensorRT C++ API支持的模型输入维度在TensorRT 7.0及以上版本,我们通常使用以下语句指定输入维度: const std::string input_name = "input"; const std::string output_name = "output"; const int inputIndex = m_TensorRT_Engine->getBindingIndex(input_name.c_str()); const int o原创 2021-10-19 22:35:46 · 1933 阅读 · 5 评论 -
TensorRT - 喜大普奔,TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子
1 TensorRT 8.2 EA版本支持爱因斯坦求和算子EinsumNVIDIA在2021年10月6日发布的TensorRT新版本 8.2 Early Access版本终于开始支持爱因斯坦求和算子Einsum,这个消息真是为模型工业化部署的同学省了不少的时间。TensorRT中具体可支持的Onnx算子可参考:https://github.com/onnx/onnx-tensorrt/blob/master/docs/operators.md,但是目前Einsum也是支持大部分等式,暂不支持省略号和原创 2021-10-12 10:40:37 · 1671 阅读 · 0 评论 -
TensorRT - 使用torch普通算子组合替代torch.einsum爱因斯坦求和约定算子的一般性方法
1 问题:TensorRT暂时未实现einsum算子在ST-GCN中使用了爱因斯坦求和算子torch.einsum,def forward(self, x, A): assert A.size(0) == self.kernel_size x = self.conv(x) n, kc, t, v = x.size() x = x.view(n, self.kernel_size, kc//self.kernel_size, t, v)原创 2021-10-08 16:15:57 · 3253 阅读 · 6 评论 -
TensorRT - 使用trtexec工具转换模型、运行模型、测试网络性能
1 转换模型1.1 Caffe模型转换为TensorRT模型将Caffe模型转换为TensorRT模型,启动所有精度以达到最佳性能trtexec --deploy=mnist.prototex --model=mnist.caffe --saveEngine=mnist.trt --best将Caffe模型转换为TensorRT模型,启动所有精度以达到最佳性能,并跳过推理性能测试trtexec --deploy=mnist.prototex --model=mnist.caffe --s原创 2021-09-21 10:40:37 · 15264 阅读 · 9 评论 -
TensorRT - 解决INVALID_ARGUMENT: getPluginCreator could not find plugin ScatterND version 1
1 问题出现最近在使用TensorRT 7.2.3.4中的自带的trtexec工具转换yolov3-spp的onnx模型为TensorRT模型文件时出现了找不到ScatterND插件的错误,错误大致如下:ModelImporter.cpp:135: No importer registered for op: ScatterND. Attempting to import as plugin.builtin_op_importers.cpp:3771: Searching for plugin: Sc原创 2021-09-19 09:44:17 · 7197 阅读 · 8 评论 -
TensorRT - 自带工具trtexec的参数使用说明
本文以TensorRT-7.2.3.4说明自带工具trtexec工具的使用参数进行说明。1 trtexec的参数使用说明=== Model Options === --uff=<file> UFF model --onnx=<file> ONNX model --model=<file> Caffe model (default = no model, random wei原创 2021-09-18 09:19:16 · 25139 阅读 · 7 评论