蓝羽飞鸟的博客

写3种方法，1.含CPU与GPU间的内存copy，异步inference，2. 内存零copy, 异步inference, 3. 内存零copy, 同步inference含CPU与GPU间的内存copy，异步inference大多代码都用的是这种方式先声明一个input和output数组，static float data[BATCH_SIZE * 3 * INPUT_H * INPUT_W]; //inputstatic float prob[BATCH_SIZE * OUTPUT_SIZE

先用pytorch训练FCN，然后把权重的pth文件，先转为wts文件，然后在NX板上转为tensorrt的engine文件只写具体思路和遇到的问题，完整版参考github这里写的是paper里的由vgg16而来的FCN，首先实现vgg16的tensorrt先来看下vgg16的结构'vgg16': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 'M', 512, 512, 512, 'M', 512, 512, 512, 'M']其中每一层的数字表示输出

分两步转是考虑了如下应用场景：需要把模型部署到内存有限的嵌入式板自己的电脑上安装的有anaconda, pytorch等，但是在电脑上转的不能直接在板子上用板子的内存有限，不能安装anaconda, pytorch这些，但是需要部署模型上去。这时就可以现在电脑上把pth转成wts，再把wts传到板子上，在板子上转成tensorrt(1) pth转wts参考如下代码import torchfrom torch import nn#load你的模型import osimport str