快速部署使用tensorRT加速推理(trt,onnx)

TensorRT

nvidia推理框架，原理自行百度
跑推理的时候用的

两种方式

第一种nvidia自家的转换

这里拿pytorch做举例，其他的框架差不多
torch2trt

这里太简单了 我就把官方例子给一下

import torch
from torch2trt import torch2trt
from torchvision.models.alexnet import alexnet

# create some regular pytorch model...
model = alexnet(pretrained=True).eval().cuda()

# create example data
x = torch.ones((1, 3