TensorRT 安装与使用及Pytorch的TensorRT部署

最新推荐文章于 2024-03-15 17:29:53 发布
VIP文章 最新推荐文章于 2024-03-15 17:29:53 发布
阅读量1.1w 收藏 48
点赞数 7
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongfang1984/article/details/105055546
版权

1. Tensorrt安装

最近考虑对已经训练好的Pytorch模型进行Float16优化，以达到部署时inference减小耗时，显存开销。可是很多博客写的乱七八糟，我这里整理一份自己安装的过程。供大家参考。

首先我们需要查看自己服务器或者GPU是什么版本的驱动，然后才可以安装对应版本的Tensorrt

1.1 查看cuda版本

[~]$ nvcc -V

nvcc: NVIDIA ® Cuda compiler driver
Copyright © 2005-2017 NVIDIA Corporation
Built on Fri_Sep__1_21:08:03_CDT_2017
Cuda compilation tools, release 9.0, V9.0.176

下载 Tensorrt6.x
注：下载时，需要注册Nvidia的developer的账号，填写对应的开发者调查问卷信息。不一定非要下载6.x版本，目前已更新到7.x,不过考虑环境兼容问题，所以先选择6.x版本。

1.2 安装

pip install 'pycuda>=2017.1.1'
最低0.47元/天 解锁文章
_小马奔腾
关注
  • 7
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Yolo V5 转tensorrt
01-25 6378
一、 在转tensorrt之前，请先确认你下载的yolo v5的版本及对应权重： 在官方地址： https://github.com/ultralytics/yolov5 中有个master下有个Tags，选择v6.0版本 2. 点击v6.0后下面给出这个版本的代码以及权重，去下面找它的权重 点击里面yolo v5s 或者yolo v5l 后进入新的页面，在下面有个assets中选择对应的版本，下载即可。这是它是按照对应版本进行下载的。就是v6.0版本的yolo v5代码对应...
ubuntu16.04一步到位安装CUDA10.02、PyTorch、PaddlePaddle、TensorRT
DeepHao'Blog
12-31 1718
ubuntu16.04一步到位安装CUDA10.02、PyTorch、PaddlePaddle、TensorRT
Tensorrt的安装、模型转换、推理demo编写
最新发布
qq_40105923的博客
03-15 424
Tensorrt的安装；如果单纯考虑是调用该库的话，python下的话，直接用pip install tensorrt便可；若是为了使用trtexec将onnx转为trt或者engine的话，需要手动来安装了。首先要依据你的cuda版本来确定Tensorrt的版本来安装；找到Tensorrt页面选择相应的版本，本文是选择的Tensorrt8.5.1.7进行安装的。至此，可以将onnx模型转换为Tensorrt模型了;该版本推理需要安装Tensorrt与pycuda两个库；一、Tensorrt的安装。
pytorch转tensorRT步骤
小菜的博客
12-18 1万+
序言 最近在摸索pytorch转tensorRT部署，看了很多示例代码，把步骤总结了一下。各种模型转换都大同小异，有所收获，记录一下。 一、转换流程 pytorch转tensorRT步骤： 使用pytorch训练得到pt文件； 将pt文件转换为onnx中间件； 使用onnxsim.simplify对转换后的onnx进行简化； 解析onnx文件构建trt推理引擎； 加载引擎执行推理，为引擎输入、输出、模型分配空间； 将待推理的数据（预处理后的img数据）赋值给inputs（引擎输入）; 执行推理，拿到out
TensorFlow？PyTorch？Paddle？AI工具库生态之争：ONNX一统天下 ⛵
ShowMeAI研究中心
08-31 1万+
AI诸多工具库工具库之间的切换，是一件耗时耗力的麻烦事。ONNX 即应运而生，使不同人工智能框架（如PyTorch、TensorRT、MXNet）可以采用相同格式存储模型数据并交互，极大方便了算法及模型在不同的框架之间的迁移，带来了AI生态的自由流通。...
复杂模型的Pytorch到Tensorrt转换以及Plugin编写
工长山的专栏
12-20 8394
文章目录背景准备工作简单案例Pytorch->ONNXONNX->TensorRT复杂案例编译自定义算子并运行demo转换为onnx准备步骤转换代码异常解析自定义算子转换为Tensorrt转换脚本异常解析之topK修改pytorch源码修改tensorrt源码重新转换异常解析之NonZero自定义算子NMS加入自定义torch层修改torch调用修改TensorRT源码自定义算子RoiAlign（略）运行tensorrt模型运行脚本异常解析总结 背景 在实际工作当中，训练的模型到实际使用还需要有
pytorch模型(.pth)转tensorrt模型(.engine)几种方式
小菜的博客
05-05 1万+
序言 这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下： 导出网络定义以及相关权重； 解析网络定义以及相关权重； 根据显卡算子构造出最优执行计划； 将执行计划序列化存储； 反序列化执行计划； 进行推理 值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。 一、trtexec trtexec是在tensorrt包
老潘的AI部署以及工业落地学习之路
老潘的博客
08-08 1562
Hello我是老潘，好久不见各位。 最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。 虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的： 模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构 模型的加速仍然不够，还没有压榨完GPU的全部潜力 深感还有很多很多需要学习的地方啊。 既然要学习，那么学习路线就显得比
TensorRT（C++）部署 Pytorch模型
女神sha手的博客
11-28 4137
众所周知，python训练pytorch模型得到.pt模型。但在实际项目应用中，特别是嵌入式端部署时，受限于语言、硬件算力等因素，往往需要优化部署，而tensorRT是最常用的一种方式。本文以yolov5的部署为例，说明模型部署在x86架构上的电脑端的流程。（部署在Arm架构的嵌入式端的流程类似）。
使用TensorRT加速Pytorch模型推理
qq_43673118的博客
03-17 8811
TensorRT是NVIDIA官方推出的模型推理性能优化工具，适用于NVIDIA的GPU设备，可以实现对深度神经网络的推理加速、减少内存资源占用。TensorRT兼容TensorFlow、Pytorch等主流深度学习框架。在工业实践中能够提高基于深度学习产品的性能。本文记录使用TensorRT加速Pytorch模型推理的方法流程，包括TensorRT的安装、将Pytorch模型转换成TensorRT模型、使用TensorRT推理等内容。 首先列出主要参考链接： （1）官方 TensorRT主页：NVIDI
还在为模型加速推理发愁吗？不如看看这篇吧。手把手教你把pytorch模型转化为TensorRT，加速推理
AI浩
02-19 4897
文章目录摘要环境配置ONNX模型转化第一种推理写法第二种推理写法TensorRT模型转化动态推理静态推理 摘要 最近，学习了一些模型转化和加速推理的知识，本文是对学习成果的总结。 对模型的转化，本文实现了pytorch模型转onnx模型和onnx转TensorRT，在转为TensorRT模型的过程中，实现了模型单精度的压缩。 对于加速推理，本文实现GPU环境下的onnxruntime推理、TensorRT动态推理和TensorRT静态推理。 希望本文能帮助大家。 环境配置 CUDA版本：11.3.1 cuD
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
TensorRT_使用TensorRT部署Pytorch版YOLOv4_通过Pytorch2onnx导出onnx模型转TRT部署_算法部署_算法优化_优质项目实战
博文：【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（二）：C++接口实现 的代码备份。
05-16
博文：【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（二）：C++接口实现 的代码备份。
算法部署-使用TensorRT+ONNX+Pytorch部署DeepLabV3路面分割算法-优质算法部署项目实战.zip
03-06
算法部署_使用TensorRT+ONNX+Pytorch部署DeepLabV3路面分割算法_优质算法部署项目实战
TensorRT部署DETR项目工程
07-04
本项目提供了 tensorrt 部署 DETR 完整工程源码、依赖及模型，并且整理好了一键执行脚本。部署链路为 pytorch -> onnx -> trt(trtexec) 脚本执行顺序为： ● (1) run_convert_todetr_r50.sh ==> 模型转换 ● (2) run...
图像分类实战：mobilenetv2从训练到TensorRT部署（pytorch）
02-18
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用pytorch版本的mobilenetv2图像分类模型实现分类任务。将训练的模型转为onnx，实现onnx的推理，然后再将onnx转为TensorRT，并实现...
TensorRT5介绍及Pytorch转TensorRT5代码示例
连正的博客
04-12 1万+
1 TensorRT简介 TensorRT的核心是一个c++库，它促进了对NVIDIA图形处理单元(gpu)的高性能计算。它与TensorFlow，Pytorch等框架相辅相成。他可以快速高效的运行一个已经训练好的神经网络，并生成结果。它包括用于从Caffe、ONNX或TensorFlow导入现有模型的解析器，以及用于以编程方式构建模型的c++和Python api。TensorRT在所有支持的平...
Pytorch通过保存为ONNX模型转TensorRT5
热门推荐
连正的博客
04-15 1万+
1 Pytorch以ONNX方式保存模型 def saveONNX(model, filepath): ''' 保存ONNX模型 :param model: 神经网络模型 :param filepath: 文件保存路径 ''' # 神经网络输入数据类型 dumm...
libtorch与tensorRT安装指南
boyhoodme的博客
01-05 1435
libtorch tensorRT
tensorrt pytorch docker 部署
09-06
您好！对于使用TensorRT和PyTorch进行Docker部署的问题，我可以给您一些指导。 首先，您需要安装Docker并准备一个基础的Docker镜像。可以从Docker Hub上获取一个包含PyTorch和TensorRT的镜像，也可以使用一个基本的Python镜像，并在其中安装所需的软件包。 然后，您可以将PyTorch模型转换为TensorRT引擎，以提高推理性能。TensorRT提供了一些工具和API来执行此转换过程。您可以使用PyTorch的torch2trt库来将PyTorch模型转换为TensorRT引擎，具体步骤如下： 1. 安装torch2trt库：`pip install torch2trt` 2. 导入所需的库： ```python import torch from torch2trt import torch2trt ``` 3. 加载PyTorch模型并创建一个示例输入： ```python model = ... # 加载PyTorch模型 dummy_input = ... # 创建示例输入 ``` 4. 将PyTorch模型转换为TensorRT引擎： ```python model_trt = torch2trt(model, [dummy_input]) ``` 5. 保存TensorRT引擎： ```python torch.save(model_trt.state_dict(), 'model_trt.pth') ``` 接下来，您可以将这个TensorRT引擎用于推理。在Docker中运行推理代码时，您需要将模型加载到内存中并进行推理。具体的推理代码取决于您的应用程序和需求。 最后，您可以使用Docker的构建和运行命令来构建和运行您的Docker容器。确保在Dockerfile中包含所需的依赖项，并将模型文件和推理代码复制到容器中。然后，使用`docker build`命令构建镜像，并使用`docker run`命令运行容器。 希望这些指导对您有所帮助！如果您有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值