TensorRT加速应用

最新推荐文章于 2024-04-25 18:18:51 发布
最新推荐文章于 2024-04-25 18:18:51 发布
阅读量2.2k 收藏 1
点赞数 1
分类专栏： 玩转yolov5 文章标签： 深度学习 pytorch tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linxinloningg/article/details/122525742
版权
本文介绍了如何利用TensorRT加速深度学习应用，特别是Yolov5模型。首先，介绍了TensorRT、TensorRTX和它们在深度学习部署中的作用。然后，详细说明了安装TensorRT及相关依赖（CUDA、cuDNN、TensorRT7.0.0.11）的过程。接着，通过下载yolov5s.pt模型文件，并使用TensorRTX将其转换为.wts文件。最后，编译运行代码生成.engine文件，用于实际的加速应用。
摘要由CSDN通过智能技术生成

TensorRT加速应用⭐

tensorrtx下载

TensorRT是一个C++版本的深度学习架构，和tensorflow、pytorch是平行关系。我们想用TensorRT部署yolov5到开发板，那就分为两步，1.安装TensorRT，2.用TensorRT的语法重写各训练框架训练的网络。但是用TensorRT自己写一遍网络真的太麻烦了，我们也不会。那我们就可以用tensorrtx，这位大神用TensorRT的语法复现了各种经典网络：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D45QQ1Jc-1642325226242)(TensorRT加速应用.assets/image-20220115200209423.png)]

网络之多，一张截图放不下，基本主流的网络都已经能够转化

相当于把第2步帮我们做好了，这一个至关重要，它能将各框架训练的模型文件转变成tensorrtx支持的文件。

但是他对我们的环境提出了要求：

  • 要求一：tensorrtx要求cuda10.0 / cudnn7.6.5 / TensorRT7.0.0

  • 要求二：CUDA10.0要求显卡驱动高于410.48

  • 显卡对驱动的要求：

    使用ubuntu-drivers devices来查看支持的显卡驱动，
如果发现支持的驱动全都没超过410.48，那这条路就走不通了。
如果支持>= 410.48的驱动，但你现在使用不是它，
那么可以用sudo apt
最低0.47元/天 解锁文章
linxinloningg
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
arduino单片机经典程序
linxinloningg的博客
12-10 5667
单片机经典程序，小白式教学
TensorRTx-YOLOv5工程解读（一）
ChunjieShan的博客
09-26 2998
TensorRTx工程解读——YoloV5（一） 权重生成：gen_wts.py 作者先是使用了gen_wts.py这个脚本去生成wts文件。顾名思义，这个.wts文件里面存放的就是.pt文件的权重。脚本内容如下： import sys import argparse import os import struct import torch from utils.torch_utils import select_device def parse_args(): parser = argpars
如何部署Tensorrtx
最新发布
m0_74137224的博客
04-25 469
可以从步骤3得知，tensorrt实际是和硬件关系密切的，所以在部署过程中，如果硬件（显卡）和软件（驱动、cudatoolkit、cudnn）发生了改变，那么从这一步开始就要重新走一遍了。
使用tensorrt在jetson nx中部署yolov5等目标检测模型（超详细）
qq_69194611的博客
05-18 4592
在nvidia的jetson nx上使用tensorrtx来转换和部署yolo等模型的.pt文件，并使用cmake进行部署。
一个tensorrt的很好的教程-tensorrtx
xiakj的专栏
04-01 1314
https://github.com/wang-xinyu/tensorrtx/
TensorRT（C++）部署 Pytorch模型
女神sha手的博客
11-28 4308
众所周知，python训练pytorch模型得到.pt模型。但在实际项目应用中，特别是嵌入式端部署时，受限于语言、硬件算力等因素，往往需要优化部署，而tensorRT是最常用的一种方式。本文以yolov5的部署为例，说明模型部署在x86架构上的电脑端的流程。（部署在Arm架构的嵌入式端的流程类似）。
TensorRT-使用TensorRT加速部署YOLOv8算法-优质算法部署项目实战.zip
03-04
本项目以“TensorRT-使用TensorRT加速部署YOLOv8算法-优质算法部署项目实战”为主题，旨在通过实践帮助开发者掌握如何利用TensorRT优化YOLOv8目标检测模型，提升应用的运行速度。 YOLO（You Only Look Once）系列是...
TensorRT 加速深度学习模型详解
09-15
**TensorRT：加速深度学习模型详解** 在当前的AI领域，深度学习模型已经成为了核心驱动力，推动着图像识别、语音识别、自然语言处理等众多应用的发展。然而，这些复杂的模型往往需要大量的计算资源，特别是在实时...
YOLO的tensorrt加速
04-24
对于YOLOv5这样的实时检测模型，TensorRT的加速效果尤为显著，能极大地提高检测速度，满足实时应用的需求。 接下来，我们将讨论YOLOv5模型转换为TensorRT可执行模型的过程。这个过程通常包括以下步骤： 1. **模型...
跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署-超优质项目-附完整流程教程
01-18
标题中的“跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署”指的是一个实际的计算机视觉项目，其目的是利用特定的硬件平台和软件技术来提升目标检测和追踪的效率。这个项目的核心是将两个...
TensorRT是什么，有什么作用，如何使用
githubcurry
03-08 7262
TensorRT 是由 NVIDIA 提供的一个高性能深度学习推理（inference）引擎。它专为生产环境中的部署而设计，用于提高在 NVIDIA GPU 上运行的深度学习模型的推理速度和效率。以下是关于 TensorRT 的详细介绍：TensorRT 是 NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到 NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。TensorRT 主要用于加速实时推理任务，如物体检测、图像分类、自然语言处理等。
【TensorRT】1、TensorRT、ONNX、PyTorch 互相转换
呆呆的猫的博客
03-21 8806
在深度学习模型落地的过程中，会面临将模型部署到边端设备的问题，模型训练使用不同的框架，则推理的时候也需要使用相同的框架，但不同类型的平台，调优和实现起来非常困难，因为每个平台都有不同的功能和特性。如果需要在该平台上运行多种框架，则会增加复杂性，所以 ONNX 便派上了用场。可以通过将不同框架训练的模型转换成通用的 ONNX 模型，再进而转换成各个平台支持的格式，就可以实现简化部署。 一、什么是 ONNX ONNX 是 Open Neural Network Exchange 的简称，也叫开放神经网络交换，.
TensorRT 简介
铤铤的Blog
09-03 2901
文章目录1、简介2、生态系统3、开发流程4、使用步骤5、build阶段5.1、算子融合详解GoogLeNet为例Conv+BN+Relu融合5.2、INT8量化定义基本知识阈值选择交叉熵具体步骤阈值计算校准算法6、总结7、参考资料 1、简介 TensorRT是用于优化训练后的深度学习模型以实现高性能推理的SDK。 TensorRT包含用于训练后的深度学习模型的深度学习推理优化器，以及用于执行的runtime。 TensorRT能够以更高的吞吐量和更低的延迟运行深度学习模型。 TensorRT is a
1.了解tensorrt加速
qq_42178122的博客
12-03 2234
https://discuss.pytorch.org/t/onnx-export-failed-couldnt-export-operator-aten-adaptive-avg-pool1d/30204
TensorRT详细入门指南
pytorch内部机制解读
08-02 1万+
TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT支持的平台如下。...
TensorRT学习笔记--基本概念和推理流程
牵一只蜗牛去散步
01-11 3842
② 在模型推理中，一般会将 Onnx 等格式的模型通过编译（build）生成推理引擎（engine），engine 可以通过序列化（serialize）的方式进行永久存储，永久存储的 engine 则可以通过反序列化（deserialize）的方式进行加载；① 基于 Tensor RT 进行模型的推理，从宏观上可分为三个阶段，即输入数据的前处理（preprocess）、模型推理（inference）和推理结果的后处理（postprocess）；① Logger：日志记录器，可用于记录模型编译的过程；
TensorRT(1)-介绍-使用-安装
浩瀚之水的专栏
03-07 1481
1 简介 TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。 TensorRT 是一个C++库，从 TensorRT 3 开始提供C++ AP.
17.TensorRT中文版开发教程-----TensorRT的命令行程序trtexec
热门推荐
专注于人工智能领域的小何尚
05-11 1万+
TensorRT的命令行程序 点击此处加入NVIDIA开发者计划 A.3.1. trtexec 示例目录中包含一个名为trtexec的命令行包装工具。 trtexec是一种无需开发自己的应用程序即可快速使用 TensorRT 的工具。 trtexec工具有三个主要用途： 它对于在随机或用户提供的输入数据上对网络进行基准测试很有用。 它对于从模型生成序列化引擎很有用。 它对于从构建器生成序列化时序缓存很有用。 A.3.1.1. Benchmarking Network 如果您将模型保存为 ONNX 文件
使用TensorRT加速TensorFlow推理指南
1.1 引言：本文档旨在帮助开发者理解如何在TensorFlow环境中利用TensorRT进行推理加速，从而提高应用的响应速度和效率。 1.2 整合TensorFlow与TensorRT的优势：整合这两者可以降低推理延迟，增加吞吐量，特别是在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

linxinloningg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值