PyTorch模型在TensorRT部署小结

已于 2024-02-17 00:07:42 修改
阅读量256 收藏
点赞数
分类专栏： # LLM/部署 文章标签： pytorch 人工智能 python
于 2023-08-01 22:04:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132051725
版权
本文总结了PyTorch模型在TensorRT上的部署策略，包括通过ONNX和Torch-TensorRT的原始部署，以及量化、剪枝、蒸馏等压缩方法。量化分为PTQ和QAT，剪枝和蒸馏也是优化模型的有效手段，量化+剪枝能进一步提升性能。
摘要由CSDN通过智能技术生成

为了模型推理的加速，我们需要将模型在TensorRT上进行部署，这里我们讨论模型来自PyTorch的情况。部署有多种不同的方式，下面分别进行说明：

1. PyTorch“原型”部署

这里的原型指的是原始模型部署，即模型不经过压缩和优化。这种情况的部署方式主要有两种：

1.1 通过ONNX部署

图1 PyTorch--ONNX部署整体流程图

详细可以参考文档《如何将模型从 PyTorch 转换为 TensorRT 并加速推理》。

1.2 使用Torch-TensorRT部署

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）
最新发布
tecsai的博客
02-28 1423
使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解。 另一种相对简便的方式就是通过ONNX中间转换的形式。本文主要针对该途径进行简单的脉络阐述。
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
TensorRT_使用TensorRT部署Pytorch版YOLOv4_通过Pytorch2onnx导出onnx模型转TRT部署_算法部署_算法优化_优质项目实战
TensorRT（C++）部署 Pytorch模型
女神sha手的博客
11-28 4500
众所周知，python训练pytorch模型得到.pt模型。但在实际项目应用中，特别是嵌入式端部署时，受限于语言、硬件算力等因素，往往需要优化部署，而tensorRT是最常用的一种方式。本文以yolov5的部署为例，说明模型部署在x86架构上的电脑端的流程。（部署在Arm架构的嵌入式端的流程类似）。
模型部署 | TensorRT加速PyTorch实战教程
CV_Autobot的博客
02-18 2341
作者|伯恩legacy 编辑| 计算机视觉工坊原文链接：https://zhuanlan.zhihu.com/p/88318324点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！一.简介TensorRT是Nvidia公司出的能加速模型推理的框架，其实就是...
使用TensorRT部署Pytorch模型
qq_37546267的博客
06-15 6755
TensorRT是Nvidia公司出的能加速模型推理的框架，本文记录使用TensorRT部署Pytorch模型的过程。 1.Pytorch模型转ONNX模型 pytorch模型转化为TensorRT有两种路径，一种是先把pytorch的pt模型转化为onnx，然后再转化为TensorRT；另一种是直接把pytorch的pt模型转成TensorRT。本文先将Pytorch模型转ONNX模型。 import torch from torch.autograd import Variable import onn
【详细完整部署流程】在Jetson NX上使用PyTorch转TensorRT搭建并部署自己的模型
NekoTom的博客
06-06 5238
本文内容包括：在主机上使用PyTorch搭建网络，使用torch.onnx导出ONNX模型，上传到Jetson NX开发板上后使用trtexec将ONNX模型转为TensorRT模型，再通过C++ TensorRT实现模型推理。本文推理代码参考YOLOX的，模型参考某单目测距模型（UDepth）。这部分的代码是参考YOLOX的推理框架，做了一些修改，总的来说是一个非常简单朴素的推理流程，如果有一些后处理的需要，读者可以自己看情况添加。示例代码输入RGB图像，输出单通道深度图。
【8k字】小结DL deploy：conda、virtualenv、cuda、nvcc，etc
猛码Memmat
09-19 392
cuda toolkit
miivii域控制器(Xavier)实现TensorRT加速后的Ultra-Fast-Lane-Detection项目
cxhmike的博客
09-28 2178
是神力模型转换工具链， 一、安装依赖 1、TensorRT 7 nvidia官网TensorRT各版本下载 2、gflags 3、thor 4、opencv 二、编译
volksdep:volksdep是一个开源工具箱，可通过TensorRT部署和加速PyTorch，ONNX和TensorFlow模型
03-19
介绍 volksdep是一个开源工具箱，用于通过TensorRT部署和加速PyTorch，ONNX和TensorFlow模型。 特征 自动转换和加速volksdep可以使用TensorRT并仅需少量代码即可加速PyTorch，ONNX和TensorFlow模型。 吞吐量，延迟和指标的基准使用给定的模型，volksdep可以生成吞吐量，延迟和度量的基准。 执照 该项目是在下。 安装 要求 Linux Python 3.6或更高版本 TensorRT 7.1.0.16或更高版本 PyTorch 1.4.0或更高版本 CUDA 10.2或更高版本 我们已经测试了以下版本的操作系统和软件： 作业系统：Ubuntu 16.04.6 LTS 的Python 3.6.9 TensorRT 7.1.3.4 PyTorch 1.4.0 CUDA：10.2 安装volksdep 如果您的平台是x86或
Caffe/Pytorch转为TensorRT 4.0的示例代码
10-25
这个代码是安装TensorRT 4.0后自带的，功能也有限，所以自己在目录中搜索一下就能看到。所以先自己找找，找不到再下载。有些人可能不知道有这样的范例，工作碰上很麻烦。所以这里就打包上传。
Pytorch模型转TensorRT模型部署（一.环境的搭建）
qq_42911863的博客
01-16 926
AI模型部署的常见方案参考:在这里我们使用的是GPU的模型部署：pytorch->onnx->onnx2trt->tensorRT。
使用TensorRT加速Pytorch模型(简单实用)
热门推荐
木盏
01-21 1万+
TensorRT是Nvidia官方给的推理加速工具，如同OpenVINO之于Intel。支持诸多的AI框架，如Pytorch，caffe，MXnet，tensorflow等。此外还对某些热门框架有特别的照顾，比如针对PyTorch有直接转换的工具torch2trt（咱们一会儿说）。
Pytorch转TensorRT范例代码
柳鲲鹏
10-25 1万+
　　TensorRT官方文档说，/usr/src/tensorrt/samples/python/network_api_pytorch_mnist下有示例代码。实际上根本就没有。这里提供一个示例代码，供参考。 　　这个范例的具体位置是：/usr/local/lib/python3.5/site-packages/tensorrt/examples/pytorch_to_trt #!/usr...
Pytorch 模型tensorrt部署v1
debug_moner的专栏
05-18 1万+
1. 目录 文章目录1. 目录2. 主要内容2.1 准备阶段2.2 主要代码 2. 主要内容 为了提高神经网络模型的推理速度,Nvidia 推出了 Tensorrt 网络前向加速器. 简单的来说,训练好一个神经网络模型,只需要将模型通过tensorrt部署就会获得更快的推理速度. Tensorrt中支持FP32,FP16,INT8数据类型,其中FP32与FP16在精度上的损失很小,INT8量化后的...
TensorRT 安装与使用及Pytorch的TensorRT部署
dongfang1984的博客
03-23 1万+
Tensorrt安装
深度学习模型PyTorch训练并转ONNX与TensorRT部署
linghu8812的博客
10-06 2232
深度学习模型PyTorch训练与TensorRT部署
pytorch深度学习模型部署tensorrtx安装并编译AI工程
qq_36401976的博客
05-12 272
一、安装依赖 安装依赖环境：Ubuntu18.04/cuda10.0/cudnn7.6.5/tensorrt7.0.0/opencv3.3 1、安装cuda 下载地址cuda-10.0-download. 下载.deb安装包 安装命令如下： sudo dpkg -i cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb sudo apt-key add /var/cuda-repo-<ver...
yolov5 PyTorch模型转TensorRT精度提升
05-20
将 PyTorch 模型转换为 TensorRT 模型可以提高推理速度和减少内存占用，但是在转换过程中可能会出现精度损失的问题。为了解决这个问题，可以尝试以下几个方法： 1. 使用更高的精度：在转换过程中，可以使用更高的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值