TensorRT
关注
分享
扫一扫
文章平均质量分 95
Nonentity_neu
不偏不倚，无过不及
展开
-
pytorch->onnx->trt 踩坑记录
ERROR: ModelImporter.cpp:296 In function importModel: [5] Assertion failed: tensors.count(input_name)问题原因：pytorch版本为1.4.0，pytorch版本过高引起的onnx解析问题.(据悉这个解析问题会发生在trt5.0-6.0,trt7.0不会出现，详见trt6转torch1.2以上...原创 2020-04-30 11:50:46 · 7243 阅读 · 4 评论 -
Onnx EfficientNet网络转onnx格式出现的问题记录
环境: ubuntu 16.04 python 3.5 torch 1.0.0 GTX1080拿到同事训练好的torch模型，想要保存为onnx格式，为以后转TensorRT做准备。代码就几行，torch.onnx定义的方法：import torchfrom torch.autograd import Variablefrom efficientnet import efficientn...原创 2019-07-26 15:49:13 · 4616 阅读 · 1 评论 -
TensorRT5.1.5.0 实践 Pytorch2Onnx ，Onnx2TensorRT(python)
TensorRT5.1.5.x的关于onnx的demo只有两个，一个是c++的introductory_parser_samples,一个是python的introductory_parser_samples。参考了各方资料今天自己基于mnist写了个实例。环境： Ubuntu 16.06，python 3.5.2，torch 0.4.1， onnx 1.4.0 ，TensorRT 5.1.5...原创 2019-07-23 14:07:48 · 4848 阅读 · 4 评论 -
tensorRT5.1.5.0实践 EfficientNet+Pytorch的转换尝试即准确度测试
更新到2019.8.5参考EfficientNet-Pytorch.文章结构1. 翻译总结内容About EfficientNetAbout EfficientNet PyTorchUsage1. 翻译总结模块包含EfficientNet的op-for-op的pytorch实现，也实现了预训练模型和示例。这个代码是简单，而且高度可扩展的（extensible），并且容易集成到自己的项目...原创 2019-08-06 12:01:05 · 3710 阅读 · 7 评论 -
Pytorch1.1.0 入门 自定义op（python）
nn.Parametertorch.nn.Parameterm,在看过很多博客的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),首先可以把这个函数理解为类型转换函数，将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.param...原创 2019-08-08 18:10:16 · 6350 阅读 · 1 评论 -
TensorRT5.1.5.0 实践 onnx-TensorRT的自定义op
以pytorch转TensorRT为例，进行自定义op的pipeline的整理。文章目录pytoch 转 onnx 过程中扩展自定义oponnx 转 tensorRT 过程中扩展自定义op流程细节学习对自定义op：InstanceNormalization的详解InstanceNormalizationPlugin.hppInstanceNormalizationPlugin.cppbuilti...原创 2019-08-13 17:08:07 · 4830 阅读 · 3 评论 -
TensorRT5.1.5.0入门 TensorRT头文件学习
目录结构NvInfer.hNvInferPlugin.h简介使用方法具体细节支持的层读取细节其他NvUtils.h简介使用方法具体细节NvCaffeParser.h最近时间宽裕，准备学习一下tensorRT的头文件。TensorRT-5.1.5.0includeNvInfer.hNvInferPlugin.hNvCaffeParser.hNvOnnxConfig.hNvOnn...原创 2019-08-17 10:43:33 · 5276 阅读 · 6 评论 -
TensorRT5.1.5.0入门 自定义层 IPlugin & IPluginV2的对比(C++)
最近研究 TensorRT的自定义曾，尝试的使用了自定义的FC层FC层和Upsample层Upsample层之后，重新回去看开发者手册，在此记录。 自己的理解，TensorRT的自定义层机制是有两个方法的，一种基于基类IPlugin，另一种是基于基类IPluginV2，从字面意思上来看IPluginV2就是最新版本。 IPlugin类的方法，是通过自己编写IPlugin的派生类IPlugi...原创 2019-07-30 13:31:37 · 4246 阅读 · 0 评论 -
TensorRT5.1.5.0实践 基于IPluginV2类的自定义层的用法
挖坑原创 2019-07-30 13:30:00 · 4404 阅读 · 2 评论 -
TensorRT5.1.5.0 实践 Doinference过程的探究（python）
挖坑原创 2019-07-20 12:25:54 · 6958 阅读 · 19 评论 -
TensorRT5.1入门 sampleSSD
1.PPM格式图像知识来源:PPM文件格式详解(侵删,用作学习积累) PPM(Portable Pixmap Format)是源自PBM(位图bitmap,仅有黑与白,没有灰)和PGM(grayscale map,灰度图),PPM是通过RGB三种颜色显现的图像(pixmaps). 这三种图,无论哪种图像文件都是通过2个字节[magic number]来表明文件格式的类型以及编码方式(AS...原创 2019-06-24 16:25:50 · 2353 阅读 · 1 评论 -
TensorRT5.1实践 自定义的Upsample层的方法
记录修改官方提供的trtexec，加入upsample层，跑检测网络的实践过程。接到一个类似yoloV3的检测网络，主要需要处理的是upsample自定义层。查询了一些资料，在github上下载了一些工程，终于是跑通了一个检测前馈时间的实例（还没有进行准确度测试）。...原创 2019-07-08 16:56:17 · 6181 阅读 · 4 评论 -
TensorRT5.1入门 samplePlugin
FCPlugin类:继承IPluginExt类.第一个构造函数FCPlugin// 用于build,对mKernelWeights和mBiasWeights的check和内存分配(传入的Weight类型的weights存储了这两个值,其中Weight类包含权重的type,value和count)FCPlugin(const Weights weights, int nbWeights, ...原创 2019-06-28 15:05:04 · 2113 阅读 · 6 评论 -
TensorRT5.1入门 trtexec
Introduction在TensorRT的sample在成功make之后,/bin文件下就会出现trtexec这个可执行文件.在Developer Guide中已经表明,trtexec是对网络进行benchmark的工具,同时可以输出该model优化后生成的串行化(serialized)engine.Related Work工作任务是测试各种网络的前馈时间,而trtexec恰好是工具.但是...原创 2019-06-28 16:15:47 · 7869 阅读 · 3 评论 -
TensorRT5.1实践 自定义的FC层的方法
enqueueFC的enqueue在头文件中是这么定义的virtual int enqueue(int batchSize, const void* const* inputs, void** outputs, void* workspace, cudaStream_t stream) override;batchSize: int类型的batchSizeinputs/outputs:...原创 2019-07-04 09:27:34 · 1843 阅读 · 0 评论 -
TensorRT5.1入门 introductory_parser_samples
稍后更新原创 2019-07-18 11:12:50 · 637 阅读 · 0 评论 -
TensorRT5.1入门 Object Detection With The ONNX TensorRT Backend In Python（python）
很快填坑原创 2019-07-18 14:03:53 · 1174 阅读 · 0 评论 -
TensorRT 5.1.5.0入门 Pytorch & ONNX
目录demo介绍流程问题demo介绍这个demo是在线训练了mnist的网络，然后直接用torch的nn.Module.state_dict()方法把weights取出来，填充给builder创建的trt格式的network，然后利用这个被填充完weights的network创建engine，进行推断。这个demo没有涉及到pytorch从文件中读取weights的问题。流程 # ...原创 2019-07-17 17:49:01 · 2776 阅读 · 0 评论 -
TensorRT安装 & 环境配置
TensorRT安装&环境配置环境:ubuntu14.04, Tesla P4, Python3.4, Cuda8.0, Cudnn7.1.3 概述：从装有Ubuntu14.04和Python3.4的服务器上实现环境的配置。本文记录了在配置各个必要组件的环节中遇到的问题。1. 配置Nvidia驱动服务器显卡是Tesla的P4显卡，在2019.6.13这一天Nivida官网适用L...原创 2019-06-13 19:30:30 · 2513 阅读 · 0 评论