快速部署使用tensorRT加速推理(trt,onnx)

最新推荐文章于 2024-11-14 15:17:41 发布

活塞君

最新推荐文章于 2024-11-14 15:17:41 发布

阅读量2.8k

点赞数 2

分类专栏：深度学习 pytorch 文章标签： pytorch 深度学习神经网络

本文链接：https://blog.csdn.net/weixin_48174100/article/details/120346010

版权

本文介绍了如何利用TensorRT进行模型推理加速，包括NVIDIA自家的模型转换方法和通过ONNX读取的方式。对于PyTorch模型，可以使用torch2trt进行转换，而ONNX则提供了一种跨框架的解决方案。注意，如果PyTorch模型中包含ONNX不支持的操作，需要查阅官方文档解决。优化后的TensorRT模型速度提升显著，推荐尝试。

摘要由CSDN通过智能技术生成

TensorRT

nvidia推理框架，原理自行百度
跑推理的时候用的

两种方式

第一种nvidia自家的转换

这里拿pytorch做举例，其他的框架差不多
torch2trt

这里太简单了我就把官方例子给一下

import torch
from torch2trt import torch2trt
from torchvision.models.alexnet import alexnet

# create some regular pytorch model...
model = alexnet(pretrained=True).eval().cuda()

# create example data
x = torch.ones((1, 3