PyTorch 模型转 onnx，Tensorrt 安装得到trt模型

最新推荐文章于 2024-06-21 21:09:27 发布
最新推荐文章于 2024-06-21 21:09:27 发布
阅读量615 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wx4ff44/article/details/119519252
版权
本文详细记录了使用PyTorch的预训练模型MobilenetV3转为ONNX格式，并在CUDA环境下进行模型优化，通过TensorRT构建推理引擎的过程，包括环境配置、模型转换、动态库问题解决以及最终的上线测试。
摘要由CSDN通过智能技术生成

实习-mobilenetv3的低质模型分类工作上线简记

pytorch 预训练模型转 onnx ( .pth 转 .onnx )

参考 https://blog.csdn.net/qq_38593182/article/details/119179022
安装执行环境 pytorch 1.2   安装onnx  pip install onnx

import sys
import os 
sys.path.append(os.path.abspath(os.path.join(os.getcwd(), ".")))
import onnx 
import torch
from resnet50Pretrain import model_bn

model = model_bn(1024, 1226).cuda()

state_dict = torch.load("/search/gpu4/train_data/torch2onnx/res50_0.77.pth")['state_dict']
model.load_state_dict(state_dict) #预训练模型加载
model.cuda()

export_onnx_file = "resnet50_0728_77.onnx"
x=torch.onnx.export(model,  # 待转换的网络模型和参数
                torch.randn(1, 3, 300, 300, device='cuda'), # 虚拟的输入，用于确定输入尺寸和推理计算图每个节点的尺寸
                export_onnx_file,  # 输出文件的名称
                verbose=False,      # 是否以字符串的形式显示计算图
                input_names=["input"], #输入节点的名称，
                output_names=["output"], # 输出节点的名称
                opset_version=10,   # onnx 支持采用的operator set
                do_constant_folding=True, # 是否压缩常量
                dynamic_axes={"input":{0: "batch_size"}, "output":{0: "batch_size"},} #设置动态维度，此处指明input节点的第0维度可变，命名为batch_size，若设置固定的batch_size，则不需要设置dynamic_axes参数。
                )

net = onnx.load("resnet50_0728_77.onnx")  # 加载onnx 计算图
onnx.checker.check_model(net)  # 检查文件模型是否正确

import onnxruntime
import numpy as np

session = onnxruntime.InferenceSession("./resnet50_0728_77.onnx") # 创建一个运行session，类似于tensorflow
out_r = session.run(None, {"input": np.random.rand(1, 3, 300, 300).astype('float32')})  # 模型运行，注意这里的输入必须是numpy类型
print(len(out_r))
print(out_r[0].shape)

具体---1 安装torch1.2

【】conda create -n pytoych12 python=3.6

激活环境变量 source activate pytoych12 
在conda虚拟环境中安装CUDA//cudnn 
https://developer.nvidia.com/rdp/cudnn-archive
【】conda install cudatoolkit=10.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/ 
【】conda install cudnn=7.6.5 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/

Package plan for installation in environment /search/odin/likun/anaconda/envs/pytoych12:
Package plan for installation in environment /search/odin/likun/anaconda/envs/pytoych12:
 
在conda虚拟环境中安装CUDA
https://www.cnblogs.com/elitphil/p/11833815.html
https://pytorch.org/get-started/previous-versions/
【】conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorch
这样就是直接在虚拟环境中解决CUDA版本问题 不用像下面这样配置环境变量 方便点

常用操作
conda list | grep cuda ---- 查看验证CUDA有效 
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
export PATH="/usr/local/cuda/bin:$PATH"
export CUDA_HOME="/usr/local/cuda:$CUDA_HOME"

具体---2 torch1.2上无法加载torch1.7训练的模型的问题
https://blog.csdn.net/flying_ant2018/article/details/115403774

得到onnx文件，pytorch1.2即可退出

安装tensorRT，得到trt模型

下载 注意版本 https://developer.nvidia.com/nvidia-tensorrt-7x-download

本地cmd执行: 
上传服务器 scp D:\Chrome_download\TensorRT-7.2.2.3.CentOS-7.8.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz likun@10.141.176.61:/search/odin/xxx
 

解压 tar -TensorRT-7.2.2.3.CentOS-7.8.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz

 TensorRT6.0.1安装指南 
安装 https://zhuanlan.zhihu.com/p/139767249 
        https://blog.csdn.net/zt1091574181/article/details/100972562

编译执行语句

cd TensorRT-7.2.2.3/samples/trtexec
make
cd TensorRT-7.2.2.3/bin
./trtexec  --onnx=/search/odin/likun/zyresnet/A_onnx/model_large_2.onnx --saveEngine=/search/odin/likun/zyresnet/A_onnx/model_large_2_.trt --minShapes=input:1x3x300x300 --optShapes=input:16x3x300x300 --maxShapes=input:32x3x300x300 --shapes=input:1x3x300x300 --int8 --workspace=1 --verbose

报错：CUDA库不对/找不到

【核心---动态库的添加】
 --- /usr/local/cuda/lib64/ 路径系统安装的是CUDA10.2    跟 TensorRT-7.2.2.3的CUDA11.0不配 
  
--- 自己没有意识到自建的CUDA11.0的pytorch虚拟环境库的位置 

https://blog.csdn.net/faihung/article/details/56038870?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-0.readhide&spm=1001.2101.3001.4242

暂时加
export LD_LIBRARY_PATH="/search/odin/likun/anaconda/pkgs/cudatoolkit-11.0.221-h6bb024c_0/lib:/search/odin/likun/TensorRT-7.2.2.3/lib:/usr/lib:/usr/lib64:/usr/local/lib:/usr/local/lib64"  

显示
echo $LD_LIBRARY_PATH
echo $PATH

之后就可以成功编译执行将onnx转化为trt文件，准备上线测试。

￥重新 TensorRT-7.0.0.11    

￥下载 https://developer.nvidia.com/nvidia-tensorrt-7x-download

￥上传 本地cmd执行:  scp D:\Chrome_download\TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz likun@10.141.176.61:/search/odin/likun

￥解压 tar -xvf TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz
 
￥安装 cd TensorRT-7.0.0.11/python pip install tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl
￥安装 cd TensorRT-7.0.0.11/graphsurgeon pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
 
￥【自主添加环境变量】
新建vim env-7-0.sh
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/search/odin/likun/TensorRT-7.0.0.11/lib
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.2/lib64/
    其实主要是能找到动态库就行 ---- TensorRT-7.0.0.11所需要的CUDA10.2的库

上线测试--记录1

/search/odin/xxx/Documents/PlantClassifyTemp
make---生成.bin文件

/search/odin/xxx/Deploys/PlantClassifyInstall/opt/sogou
更改.cfg  .sh文件
然后运行sh start_qo.sh

本地flower.py
用这个在本地测 --- 改端口

  

bajie-
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.0.cudnn7.6.txt
04-10
百度网盘下载链接 TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz
yolov5的pt权重转tensorrt的trt权重
qq_43807997的博客
05-18 2378
这里写自定义目录标题yolov5的pt权重转tensorrt的trt权重pt转onnxonnx转trt yolov5的pt权重转tensorrt的trt权重 相信如何利用tensorrt进行加速会是大家提高网络速度的关键一环，实际步骤其实也只需 pt/pth 转到 onnx ，再onnx转trt即可。虽然只有两步，但确实会挺折磨人，在这我就浅浅分享一个大致的步骤，以yolov5为例，希望能给大家一点点启发。 pt转onnx 这一环，yolov5中自带的export.py可以很出色的帮助我们完成转换，只需要执
【极速上手pytorch转onnx及推理】
最新发布
weixin_47869094的博客
06-21 482
可以在 https://netron.app/ 中拖入 resnet18.onnx 文件查看模型结构。我们先导入torchvision中的resnet18模型，演示它的推理效果。本文介绍将pytorch模型转换成onnx模型并进行推理的方法。下面的代码包括了设置输入输出尺寸，以及动态可以变batch等等。以便和onnx的结果进行对比。
pytorch模型转换为torch2trt模型
White Jiang的博客
04-04 2061
安装TensorRT 安装torch2trt 转换模型 torch转torch2trt 减少显存占用，建议在模型转换完成后，将模型保存，使用时直接加载转换后的模型。模型不使用.eval()，可能会报[TRT] [E] Could not implicitly convert NumPy data type: i64 to TensorRT.错误 model = torchvision.models.mobilenet_v2(pretrained=True).eval().cuda() x = torch.o
Pytorch模型转TensorRT步骤
charles_zhang_的博客
03-14 1851
pytorch模型使用tensorRT加速
Pytorch模型通过TensorRT部署推理---HRNet
weixin_39326879的博客
04-01 2876
一、Pytorch模型转换成onnx格式 使用Pytorch自带的torch.onnx.export函数即可将Pytorch模型转换成onnx格式。 images = Variable(images).float().cuda() os.environ['CUDA_VISIBLE_DEVICES'] = '0' config = yaml.load(open('brick_hrnet.yaml')) net = HighResolutionNet(config) net.float().cuda() n
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
将PyTorch模型转换为ONNX，再由ONNX转为TensorRT引擎，是优化模型部署的一种有效策略。 **算法优化**在TensorRT中体现为模型的裁剪、量化和融合等步骤。这些操作可以减少模型的大小，提高推理效率。例如，量化可以...
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
### PyTorch 通过保存为 ONNX 模型转换到 TensorRT5 的实现 #### 一、背景介绍 在深度学习领域，模型的部署与优化是至关重要的环节。PyTorch 作为一款流行的深度学习框架，提供了灵活且强大的 API 来进行模型训练...
朝圣者项目：torch2trt，将pytorch模型快速转换为TensorRT引擎。-C/C++开发
05-27
该项目由torch2trt和torch2trt_dynamic分叉，此项目的目的是提供一种将pytorch模型直接转换为TensorRT引擎的朝圣者项目。 TensorRT引擎。 如果您的模型是基于pytorch构建的，则可以加快您的项目的工作速度；我们已经...
【CV学习笔记】pytorch2onnx2trt
Rex大居
05-25 1235
1、前言 之前在工作中遇到pytorch模型转tensorrt模型的时候，面对不同的代码仓库，有不同的转化方法，后来在学习过程中见到了比较统一的onnx模型，可以将pytorch模型转化为onnx模型，然后再由onnx-tensorrt将onnx转化为engine，本次学习内容将对pytorch2onnx2trt的方法进行系统性的学习，并记录下来。 代码地址:https://github.com/Rex-LK/deeplearning_rex 2、pytorch2onnx 下载好项目后，打开项目，以代码中的
yolov5笔记（3）——移动端部署自己的模型（随5.0更新）
热门推荐
weixin_45569617的博客
08-21 3万+
1. 标注数据 标注文件参考我之前的文章2020年tensorflow定制训练模型笔记（2）——制作标签中的第二步“2.labelimg” 注意 有一点不一样！ 之前我们的数据保存的是xml格式，而yolo支持的是txt格式。 所以我们在保存的时候要点击下图红色选框，这样就能保存为txt格式。 2. 配置文件 配置文件路径 配置数据的yaml文件 配置模型的yaml文件 3. 开始训练 ...
mmdetection使用pytorch2onnx.py时报没有onnx的错，如何处理？
qq_36846729的博客
11-01 650
mmdetection使用踩坑笔记
YOLOv5导出onnx、TrensorRT部署（LINUX）
qq_40198848的博客
07-24 6115
yolov5转TensorRT部署
神经网络量化----TensorRT深刻解读
weixin_41910772的博客
03-30 1728
神经网络量化----TensorRT深刻解读 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 本文将聚焦于英伟达TensorRT训练后量化的算法。 论文地址为：https://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf 代码地址为：官方好像没有公布代码，可以参考的有https://g.
模型参数加载中遇到的一些问题（BN层）
Tikyon的博客
08-03 833
加载模型参数中BN层遇到的一些问题。
pytorch模型(.pth)转tensorrt模型(.engine)几种方式
小菜的博客
05-05 1万+
序言 这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下： 导出网络定义以及相关权重； 解析网络定义以及相关权重； 根据显卡算子构造出最优执行计划； 将执行计划序列化存储； 反序列化执行计划； 进行推理 值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。 一、trtexec trtexec是在tensorrt包
使用TensorRT在PyTorch项目中加速深度学习推理
weixin_41544125的博客
02-24 1639
首先，在PyTorch中训练你的深度学习模型。：训练完成后，将模型从PyTorch导出为ONNX（Open Neural Network Exchange）格式。ONNX是一种用于表示深度学习模型的开放格式，它使得模型可以在不同的深度学习框架之间互操作。：使用TensorRT优化ONNX模型。TensorRT会对模型进行一系列优化，包括层融合、精度校准、内核自动调优等，以提高推理性能。：将优化后的模型部署到目标硬件上，通常是NVIDIA GPU。：使用TensorRT API在目标硬件上执行推理。
TensorRT（C++）部署 Pytorch模型
女神sha手的博客
11-28 4391
众所周知，python训练pytorch模型得到.pt模型。但在实际项目应用中，特别是嵌入式端部署时，受限于语言、硬件算力等因素，往往需要优化部署，而tensorRT是最常用的一种方式。本文以yolov5的部署为例，说明模型部署在x86架构上的电脑端的流程。（部署在Arm架构的嵌入式端的流程类似）。
Pytorch 模型导出为 ONNX 或 TensorRT 格式
05-27
将 Pytorch 模型导出为 ONNX 或 TensorRT 格式的具体步骤如下： ### 导出为 ONNX 格式 1. 安装 onnx 包：`pip install onnx` 2. 加载 Pytorch 模型并将其转换为 ONNX 模型： ```python import torch import torchvision import onnx # 加载 Pytorch 模型 model = torchvision.models.resnet18(pretrained=True) # 转换为 ONNX 模型 dummy_input = torch.randn(1, 3, 224, 224) input_names = ["input"] output_names = ["output"] onnx_path = "resnet18.onnx" torch.onnx.export(model, dummy_input, onnx_path, verbose=True, input_names=input_names, output_names=output_names) ``` 3. 导入 ONNX 模型： ```python import onnx # 加载 ONNX 模型 onnx_path = "resnet18.onnx" model = onnx.load(onnx_path) ``` ### 导出为 TensorRT 格式 1. 安装 TensorRT 并设置环境变量： ```python # 安装 TensorRT !pip install nvidia-pyindex !pip install nvidia-tensorrt # 设置 TensorRT 环境变量 import os os.environ["LD_LIBRARY_PATH"] += ":/usr/local/cuda/lib64:/usr/lib/x86_64-linux-gnu" ``` 2. 加载 Pytorch 模型并将其转换为 TensorRT 模型： ```python import tensorrt as trt import pycuda.driver as cuda import torch import torchvision # 加载 Pytorch 模型 model = torchvision.models.resnet18(pretrained=True) # 转换为 TensorRT 模型 TRT_LOGGER = trt.Logger(trt.Logger.WARNING) trt_runtime = trt.Runtime(TRT_LOGGER) with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, TRT_LOGGER) as parser: builder.max_workspace_size = 1 << 30 builder.max_batch_size = 1 # 加载 ONNX 模型 onnx_path = "resnet18.onnx" with open(onnx_path, "rb") as f: parser.parse(f.read()) # 构建 TensorRT 引擎 engine = builder.build_cuda_engine(network) # 保存 TensorRT 引擎 with open("resnet18.trt", "wb") as f: f.write(engine.serialize()) ``` 3. 导入 TensorRT 模型： ```python import tensorrt as trt # 加载 TensorRT 模型 trt_path = "resnet18.trt" with open(trt_path, "rb") as f, trt.Runtime(trt.Logger(trt.Logger.WARNING)) as runtime: engine = runtime.deserialize_cuda_engine(f.read()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值