![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorRT
文章平均质量分 73
蓝羽飞鸟
GO
展开
-
jetson nx tensorRT: 使用engine文件进行网络推理(语意分割,内存零copy,同步异步inference)
写3种方法,1.含CPU与GPU间的内存copy,异步inference,2. 内存零copy, 异步inference, 3. 内存零copy, 同步inference含CPU与GPU间的内存copy,异步inference大多代码都用的是这种方式先声明一个input和output数组,static float data[BATCH_SIZE * 3 * INPUT_H * INPUT_W]; //inputstatic float prob[BATCH_SIZE * OUTPUT_SIZE原创 2021-12-15 16:23:46 · 3253 阅读 · 3 评论 -
FCN8s 转 tensorrt(通过wts文件)
先用pytorch训练FCN,然后把权重的pth文件,先转为wts文件,然后在NX板上转为tensorrt的engine文件只写具体思路和遇到的问题,完整版参考github这里写的是paper里的由vgg16而来的FCN,首先实现vgg16的tensorrt先来看下vgg16的结构'vgg16': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 'M', 512, 512, 512, 'M', 512, 512, 512, 'M']其中每一层的数字表示输出原创 2021-12-14 15:20:10 · 3968 阅读 · 0 评论 -
详细步骤:pytorch pth转wts转tensorrt(自定义模型,不用parser)
分两步转是考虑了如下应用场景:需要把模型部署到内存有限的嵌入式板自己的电脑上安装的有anaconda, pytorch等,但是在电脑上转的不能直接在板子上用板子的内存有限,不能安装anaconda, pytorch这些,但是需要部署模型上去。这时就可以现在电脑上把pth转成wts,再把wts传到板子上,在板子上转成tensorrt(1) pth转wts参考如下代码import torchfrom torch import nn#load你的模型import osimport str原创 2021-11-25 23:23:25 · 4247 阅读 · 9 评论