tensorrt部署加速 2080ti

最新推荐文章于 2024-04-12 22:08:01 发布
最新推荐文章于 2024-04-12 22:08:01 发布
阅读量559 收藏
点赞数
文章标签： 深度学习 自动驾驶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44523062/article/details/120369752
版权
本文详细介绍YOLOv5模型的部署流程，包括使用pip安装YOLOv5及相关依赖、从GitHub克隆YOLOv5仓库、导出ONNX模型并进一步转换为TensorRT模型以加速推理过程。同时涉及模型预处理、后处理及推理速度优化等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 pip3 install yolov5

2 pip3 install --upgrade protobuf

3 git clone git://github.com/ultralytics/yolov5

4 python export.py --include=onnx

5 netron yolov5s.onnx

6 更改yolov5.py model中的forward中的x[i].shape为map(int，x[i].shape)

在这里插入图片描述
在这里插入图片描述

还有一些batchsize改为-1，其他的维度相乘

7这时候的模型很干净为后续部署减少困难，继续改reshape

8得到onnx模型再导出为trtmodel，加载后进行推理

9这里预处理和后处理NMS都是python源脚本写的，推理提速1.6倍

10接着做

AIchiNiurou
关注
『深度应用』YoloV5 RTX2080Ti TX2 Nano AGX TensorRT与PyTorch速度对比
简明AI工作室
08-11 5304
1.概述 此次实验是为了探究YoloV5在RTX2080Ti平台上使用TensorRT对于模型推理的加速效果，同时也比对一下RTX2080Ti平台上GPU对于i7-8700CPU的加速。 照例先提出来实验硬件环境： 系统：Ubuntu 18.04.3LTS CPU：Intel® Core™ i7-8700 CPU @ 3.20GHz × 12 GPU：GeForce RTX 2080Ti Cuda：10.1 Pytorch：1.5.0 TensorRT：7.1.0 2....
深度学习项目六：TensorRT来加速YOLO v5推理与检测
m0_60890175的博客
09-03 567
TensorRT来加速YOLO v5推理与检测
RTX2080ti配置tensorflow gpu版
weixin_38613817的博客
12-25 3875
tensorflow-gpu配置 昨晚搞到1点，终于把tensorflow-gpu给配置成功了，之前是交给以为朋友搞的，我也懒得弄，结果还是没搞定，秉着万事靠自己的态度，终于，一边下军旗，一边配置成功了。 首先，讲讲我个人的电脑配置，E3-1240l v5（支持AVX2指令集，这个后面用到），GPU RTX 2080TI 11G，因为显卡是今年8月上市的，之前CUDA确实有一点支持不太友好，知道c...
RTX2080ti显卡+win10+安装Tensorflow-gpu
macunshi的专栏
10-25 1万+
补充：2018年12月，我又看了一下下面tensorflow的链接，已经有支持CUDA10版本的了，大家直接安装CUDA10就可以了。安装CUDA9.2可能会带来一些问题，就不要安装CUDA9.2了！ 原文： 刚买了一台显卡是RTX 2080ti的机器，用来吃鸡。我已经在不同系统上多次搞过tensorflow的安装卸载版本更换等，遇见并解决了了好多问题，所以给这台机器配置TensorFlow我...
Ubuntu18.04+RTX2080Ti+cuda10+tensorflow1.12（解决了tensorflow.python.framework.errors问题）
qq_27066391的博客
11-25 5134
基本是按照这篇：Ubuntu18.04+RTX2080+cuda10+tensorflow安装的 链接：https://blog.csdn.net/weixin_40859436/article/details/83152249 但是出现了一些问题， （1）在今天2018年11月25日安装的时候，这个地方选项有三项，多了一项415的驱动，选择了410. 图片来自上文博客 （2）安装t...
TensorRT使用说明
driving111的博客
04-12 421
ONNX 是 Open Neural Network Exchange 的简称，也叫开放神经网络交换，是一个用于表示深度学习模型的标准，可使模型在不同框架直接转换。在深度学习模型落地的过程中，会面临将模型部署到边端设备的问题，模型训练使用不同的框架，则推理的时候也需要使用相同的框架，但不同类型的平台，调优和实现起来非常困难，因为每个平台都有不同的功能和特性。使用ONNX可以通过将不同框架训练的模型转换成通用的 ONNX 模型，再进而转换成各个平台支持的格式，就可以实现简化部署。
Windows上TensorRT部署记录入门
xianzhetime的博客
03-14 1294
有人下载安装软件后运行不起来，就是没有添加环境变量，有人可能会不理解，简单解释一下，软件运行其实就是代码运行，而代码是高级语言编写的，它需要经历预编译阶段展开头文件声明，去掉注释代码，替换宏定义，内联函数替换等操作，然后经历汇编代码，再经历机器代码即二进制代码，最后好几个二进制代码文件加上。我们要配置自己的项目属性文件，将需要的CUDA和cudnn信息加进去，生成.vcxproj文件，下次项目我们也可以添加这个属性文件，一劳永逸。如图，日期左侧是下载，右侧是官方安装教程，找到自己合适的版本下载安装即可。
在Jetson TX2开发套件上使用TensorRT7.1.0加速YOLOv4
hlld__的博客
07-24 5451
目录前言 前言
Jetson nano上部署自己的Yolov5模型（TensorRT加速）
热门推荐
ailaier的专栏
04-30 3万+
背景 在主机上训练自己的Yolov5模型，转为TensorRT模型并部署到Jetson Nano上，用DeepStream运行。 硬件环境： RTX 2080TI主机 Jetson Nano 4G B01 软件环境： Jetson Nano: Ubuntu 18.04 Jetpack 4.5.1 DeepStream 5.1 主机： Ubuntu 18.04 CUDA 10.2 yolov5 5.0 训练模型（主机上） yolov5项目链接https://github.com/
tensorrt 分割_车道线检测算法TensorRT加速
weixin_39913628的博客
12-21 940
本文转载自【微信公众号：卡本特，ID：gh_4ccc02ed8885】上个星期，拿到xavier之后，直接用python部署了pytorch模型小试了一把。出来的检测效果还凑合，但是速度贼慢，下面链接是上次发的视频。Xavier车道线检测算法小试牛刀上次的模型经过tensorRT加速之后，速度提升非常明显，然后再将python实现的功能转为C++实现，又进一步提升帧率。后台有同学问我实现细节，所以...
想提速但TensorRT的FP16不得劲？怎么办？在线支招！
老潘的博客
04-11 3914
问题的开始 前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。 这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后老潘会说)，而且有助于模型的优化。 然后导出来之后使用onnxruntime简单测试一下导出模型是否正确，是
关于使用TensorRT进行深度模型加速的一些问题
Major_S的博客
03-31 1700
关于使用TensorRT进行深度模型加速的一些问题关于使用TensorRT进行深度模型加速的一些问题关于使用TensorRT进行深度模型加速的一些问题 TensorRT只负责模型的推理（inference）过程，一般不用TensorRT来训练模型 根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10倍以上的加速。 TensorRT为什么能提升模型的运行速度？ 第一个就是进行了量化，TensorRT支持INT8和FP16的计算。 在平时我们进行模型参数训练的时候，用的都是float甚至是d
YOLOv5(PyTorch)目标检测实战：TensorRT加速部署
03-24
PyTorch版的YOLOv5是高性能的实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv5进行加速和部署。   本课程的YOLOv5使用ultralytics/yolov5，分别在Ubuntu和windows10系统上做TensorRT加速和部署演示。课程内容包括：原理篇（YOLOv5网络架构与组件、TensorRT基础、TensorRT INT8量化、tensorrtx介绍、CUDA编程方法）、实践篇（Ubuntu和Windows10系统上的TensorRT部署演示）、代码解析篇（YOLOv5的TensorRT加速的代码解析） 。本课程提供注释后的YOLOv5的TensorRT加速代码。 除本课程《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》外，本人推出了有关YOLOv5目标检测的系列课程。请关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统：https://edu.csdn.net/course/detail/30793Windows系统：https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31140
tensorRT 模型部署
cindywry的博客
06-20 2088
一般来说，推理过程中，权重值的数量远小于激活值，仅仅对权重执行量化的方法能带来的压缩力度和加速效果都一般。浮点数=量化缩放scale 因子 *量化定点数， 量化的过程就是得到一个最优的scale（实数和整数的对应关系）和zero point (表示实数中的0经过量化后的对应整数)去取代浮点数， 这个任务就落到了怎么去选最优的量化阈，量化阈就是上面说的阈值 当S取大时，可以扩大量化域，但同时，单个INT8数值可表示的FP32范围也变广了，因此INT8数值与FP32数值的误差（量化误差）会增大；
Ubuntu在docker中安装TensorRT7
wq_0708的博客
08-09 1757
本文以TensorRT7.2.3.4为例讲解Ubuntu在Docker中安装TensorRT
TensorRT：设备的算力，以及支持的精度
微风❤水墨
08-20 1677
1：核对GPU的计算能力 地址：https://developer.nvidia.com/cuda-gpus For example, GTX1060 is 6.1, RTX 2070is 7.5. 2：核对硬件支持的精度 地址：https://docs.nvidia.com/deeplearning/tensorrt/support-matrix/index.html#hardware-precision-matrix 6.1 supports FP32 and INT8. 7.5..
Tensorflow与keras学习 (9)——TensorFlow的RTX 2080 Ti深度学习训练基准
AI知识搬运工
04-27 1188
TensorFlow的RTX 2080 Ti深度学习基准-2020年 在本文中，Lambda讨论了RTX 2080 Ti与其他GPU相比的深度学习性能。我们使用RTX 2080 Ti来训练ResNet-50，ResNet-152，Inception v3，Inception v4，VGG-16，AlexNet和SSD300。我们在训练每个网络时测量每秒处理的图像数。 一些注意事项： 我们使用TensorFlow 1.12 / CUDA 10.0.130 / cuDNN 7.4.1 单GP...
【无标题】
weixin_44122708的博客
07-20 455
yolov5 onnx 模型修改
浅谈python中的map()函数
Reject_的博客
02-19 530
map(function, iterable, ...) 参数function传的是一个函数名，可以是python内置的，也可以是自定义的。 参数iterable传的是一个可以迭代的对象，例如列表，元组，字符串这样的。 map将function应用于iterable的每一个元素，结果以列表的形式返回。iterable后面还有省略号，意思可以传很多个iterable，如果有额外的iterable参数，并行的从这些参数中取元素，并调用function。 例一： a,b,c=map(int(), input()
tensorrt服务器部署yolo11
最新发布
02-15
### 使用TensorRT部署YOLOv11模型 #### 准备工作环境 为了成功在服务器上使用TensorRT部署YOLOv11模型，需先确认已安装必要的软件包和库。这包括但不限于TensorRT版本8.0以上、OpenCV 3.4.0以上的版本以及其他可能依赖项[^4]。 #### 转换模型至ONNX格式 大多数情况下，YOLO系列模型训练完成后是以PyTorch或其他框架保存的形式存在。要利用TensorRT加速推理过程，则需要将此模型转换成ONNX格式。可以借助`torch.onnx.export()`函数完成这一操作： ```python import torch from yolov11 import YOLOv11 # 假设这是定义好的YOLOv11类 model = YOLOv11() dummy_input = torch.randn(1, 3, 640, 640) # 导出为onnx文件 torch.onnx.export(model, dummy_input, "yolov11.onnx", opset_version=11) ``` #### 构建并加载TensorRT引擎 一旦拥有了`.onnx`文件之后，就可以创建对应的TensorRT引擎了。下面是一个简单的Python脚本来展示这个过程的一部分逻辑： ```cpp #include <NvInfer.h> // ...省略其他头文件... int main() { // 创建Builder对象和其他必要组件... // 加载ONNX模型并构建ICudaEngine nvinfer1::IBuilder* builder = createInferBuilder(gLogger); nvonnxparser::IParser* parser = nvonnxparser::createParser(networkDefinition, gLogger); std::ifstream modelStream("yolov11.onnx"); assert(modelStream.good()); char buffer[constBufferSize]; modelStream.read(buffer, constBufferSize); parser->parse(&buffer[0], constBufferSize); // 完善网络设置...此处简化 // 序列化引擎以便后续快速加载 serializeAndSaveEngine(builder->buildCudaEngine(*network), "yolov11.trt"); return 0; } ``` 上述代码片段展示了如何读取ONNX文件并通过解析器将其转化为适合TensorRT使用的内部表示形式，最终得到序列化的CUDA引擎用于实际推断任务中[^1]。 #### 输入数据预处理与输出结果后处理 对于任何计算机视觉应用而言，在执行神经网络预测之前都需要对原始图像做一些标准化变换；同样地，当接收到网络给出的结果时也需要进一步解释这些数值才能获得有意义的信息。具体来说就是调整图片尺寸使其匹配预期输入大小（通常是正方形），以及归一化像素值范围等。而后者则涉及边界框解码、置信度阈值筛选等内容。 #### 实际运行性能考量 根据先前的经验分享可知，在配备有高性能GPU设备的情况下（例如GeForce RTX 2080 Ti），采用优化后的TensorRT方案可以在几毫秒内完成整个端到端的任务链路——从前处理到最后的决策输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值