使用tensorRT推理加速

最新推荐文章于 2024-07-04 15:58:32 发布
最新推荐文章于 2024-07-04 15:58:32 发布
阅读量256 收藏
点赞数 6
分类专栏： yolov5 文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A1983Z/article/details/134294725
版权

在这里插入图片描述
前言:由于使用基本模型进行预测时，运行较慢这里将介绍tensorRT，并使用它进行推理加速。

准备工作

在已经安装好CUDA和pytorch的前提下，进入https://developer.nvidia.com/nvidia-tensorrt-download网站下载合适版本的tensorrt，下载之后是一个压缩包，进行解压，解压完成以后进入其子目录的python文件夹在这里插入图片描述
并根据你的python版本进行安装，如3.10则选择cp310，如下图所示
在这里插入图片描述
安装方法为使用cmd首先进入到你想要安装到的虚拟环境中，然后在进入到该文件所在路径，pip install ‘上图中文件名’
随后将解压后的tensorrt文件夹中lib文件夹的所有文件复制粘贴到cuda文件夹中的lib文件夹中，这里给出我的路径，以供参考方便查找C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib
以上准备工作就完成了

安装onnx库

打开在pycharm中打卡yolov5文件夹，找到export.py，并在其终端上输入pip install onnx，如下图我的是早就安装好了的在这里插入图片描述
同时你也可以在export.py中查看各个模型对应的型号在这里插入图片描述

进行导出

在export.py终端输入

python export.py --weights yolov5s.pt --include eng
ine --device 0

稍作等待，便可导出成功在这里插入图片描述

进行推理

让我们做一下比较，分别使用原生yolov5s.pt和刚刚导出的yolov5s.engine运行观察导出结果的速度
首先是yolov5s.pt，用了39.5ms
在这里插入图片描述
再看加速后的效果，仅用了5.7ms在这里插入图片描述

ok 以上便是简单的tensorrt部署

在这里插入图片描述

如果能为勤奋颁奖
关注
  • 6
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
TensorRT推理加速
05-07
TensorRT Python API的使用，8bits量化，语义分割方面的应用。
使用TensorRT在PyTorch项目中加速深度学习推理
weixin_41544125的博客
02-24 1596
首先，在PyTorch中训练你的深度学习模型。：训练完成后，将模型从PyTorch导出为ONNX（Open Neural Network Exchange）格式。ONNX是一种用于表示深度学习模型的开放格式，它使得模型可以在不同的深度学习框架之间互操作。：使用TensorRT优化ONNX模型。TensorRT会对模型进行一系列优化，包括层融合、精度校准、内核自动调优等，以提高推理性能。：将优化后的模型部署到目标硬件上，通常是NVIDIA GPU。：使用TensorRT API在目标硬件上执行推理。
使用TensorRT进行加速推理（示例＋代码）
最新发布
weixin_47151388的博客
07-04 703
TensorRT 是 NVIDIA 开发的一款高性能深度学习推理引擎，旨在优化神经网络模型并加速其在 NVIDIA GPU 上的推理性能。它支持多种深度学习框架，并提供一系列优化技术，以实现更高的吞吐量和更低的延迟。TensorRT（NVIDIA Tensor Runtime）是由 NVIDIA 开发的一款高性能深度学习推理库，用于在 NVIDIA GPU 上进行高效的深度学习推理。它可以优化深度学习模型并将其部署在生产环境中，以实现低延迟和高吞吐量的推理任务。1.1TensorRT 的主要特点模型优化。
TensorRT 实现深度网络模型推理加速
01-14
通过本文档将会了解到深度学习的应用场景，常规的部署方法及带来的挑战，基于这些挑战 NVIDIA 给出的高效解决方案 TensorRT 的介绍，性能及案例分享。
部署 TensorRT 推理加速
qq_51623862的博客
02-25 118
TensorRT 推理加速
使用 TensorRT 加速深度学习推理
张伟的专栏
05-23 1287
https://developer.nvidia.com/zh-cn/blog/speeding-up-deep-learning-inference-using-tensorrt/ 这是的更新版本如何用 TensorRT 加速深度学习推理. 此版本从 PyTorch 模型开始，而不是 ONNX 模型，将示例应用程序升级为使用 TensorRT 7 ，并将 ResNet-50 分类模型替换为 UNet ，这是一个分段模型。 图 1 。 TensorRT 徽标 NVIDIA TensorRT 是..
【目标检测】YOLOv5推理加速实验：TensorRT加速
兴趣使然的创作者
04-10 5177
siu
使用TensorRT加速Pytorch模型推理
qq_43673118的博客
03-17 9598
TensorRT是NVIDIA官方推出的模型推理性能优化工具，适用于NVIDIA的GPU设备，可以实现对深度神经网络的推理加速、减少内存资源占用。TensorRT兼容TensorFlow、Pytorch等主流深度学习框架。在工业实践中能够提高基于深度学习产品的性能。本文记录使用TensorRT加速Pytorch模型推理的方法流程，包括TensorRT的安装、将Pytorch模型转换成TensorRT模型、使用TensorRT推理等内容。 首先列出主要参考链接： （1）官方 TensorRT主页：NVIDI
python实现tensorrt推理
ywfwyht的博客
09-23 2151
python实现tensoort的推理
tensorrt python版推理代码流程（1）
qq_43585355的博客
11-01 534
tensorrt python版推理代码流程（1）
TenserRT（七）： TensorRT Python实战
fanre的专栏
08-01 346
2、生成trt engine。3、engine推理。
【TRT】使用TensorRT进行分类模型推理
qq_30340349的博客
05-26 1642
使用TensorRT进行分类模型推理。
NVIDIA相关资料（二）——TensorRT加速深度学习推理计算
小刺猬的宝藏笔记本
04-21 2706
NVIDIA教你用TensorRT加速深度学习推理计算
使用TensorRT加速深度学习推理
ayiya_Oese的博客
12-31 2750
使用TensorRT加速深度学习推理官方链接知乎前言简单的TensorRT示例将预先训练的图像分割PyTorch模型转换为ONNX 官方链接 入门博客 开发者指南 代码示例 github 预训练模型 知乎 高性能深度学习支持引擎实战——TensorRT TensorRT部署深度学习模型 深度学习算法优化系列十七 | TensorRT介绍，安装及如何使用？ 前言 NVIDIA TensorRT是用于深度学习推理的SDK。TensorRT提供API和解析器以从所有主要的深度学习框架中导入经过训练的模型。然后
通过 TensorRT 实现网络模型的推理加速
易大飞
08-14 3543
当前最火的莫过于深度学习，各大公司为抢占深度学习战略的制高点，纷纷出台了各种深度学习框架，比如谷歌的 TensorFlow，BVLC 的 Caffe，Fchollet 公司推出的 Keras，微软推出的 CNTK，DMLC 公司推出的 MXNet，Facebook 推出的 Torch7 等等。 目前深度学习的网络是越来越深，越来越复杂。训练时的时间长短对用户来说是不关心的，用户只关心运行时的速度...
使用tensorrt为模型推理加速
xzpdxz的博客
05-12 1063
文档详情 安装依赖 pip install nvidia-pyindex pip install nvidia-tensorrt 封装过程 构建阶段 import tensorrt as trt logger = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(logger) 创建网络 network = builder.create_network(1 << int(trt.NetworkDefinitionCreation
tensorRT（一）| tensorRT如何进行推理加速？
aibigtruth的博客
11-11 2679
本文来自公众号“AI大道理”。 ​ 深度学习模型在训练阶段，为了保证前后向传播，每次梯度的更新是很微小的，这时候需要相对较高的进度，一般来说需要float型，如FP32。 模型在推断（Inference）的时候只有前向计算，无需回传，因此可以使用低精度技术，如FP16、INT8、甚至是Bit（0和1），其推理结果没有特别大的精度损失。使用低精度数据使得模型需要空间减少，计算速度加快。 优化推理引擎TensorRT只能用来做Inference(推理)，不能用来进行train。 使用TensorRT.
基于TensorRT的神经网络推理与加速
热门推荐
爱破破爱科研
08-15 1万+
一. 引言 NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用于图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络(通常使用32位或16位数据)，并针对...
使用TensorRT加速TensorFlow推理指南
1.1 引言：本文档旨在帮助开发者理解如何在TensorFlow环境中利用TensorRT进行推理加速，从而提高应用的响应速度和效率。 1.2 整合TensorFlow与TensorRT的优势：整合这两者可以降低推理延迟，增加吞吐量，特别是在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值