使用NVIDIA 免费工具TENSORRT 加速推理实践--YOLOV3目标检测

最新推荐文章于 2024-08-18 10:36:20 发布

行路南

最新推荐文章于 2024-08-18 10:36:20 发布

阅读量1.9k

点赞数 5

文章标签：深度学习神经网络

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u010414589/article/details/105560905

版权

本文介绍了如何使用NVIDIA的TensorRT工具优化YOLOV3目标检测模型的推理速度。在Tx1硬件上，未使用TensorRT时帧率为1FPS，而使用后提升至4.6FPS。TensorRT通过低精度数据类型、动态张量内存管理和网络层融合等手段优化性能。文章还详细阐述了TensorRT的工作流程，并提供了相关代码资源和DeepStream的使用情况。

摘要由CSDN通过智能技术生成

使用NVIDIA 免费工具TENSORRT 加速推理实践–YOLOV3目标检测
在这里插入图片描述
tensorRT5.0之前主要支持计算机视觉类的模型，现在已经升级到TensorRT7.0 ，对语音、语义、自然语言处理等方向的模型也能提供很好的支持。

Nvidia TensorRT 是一种**高性能深度学习推理优化器和运行时加速库 ** ，可为深度学习推理应用程序提供低延迟和高吞吐量。应用场景主要是由于在嵌入式或移动端的GPU性能比较紧张，比如Nano，又希望能够保证快速的推理计算能力。
在这里插入图片描述
介绍YoloV3 在没有使用TensorRT和使用TensorRT的对比效果，这里使用的硬件是Tx1，设置batchsize=1，如果没有使用TensorRT 的情况下基本帧率是1FPS，在使用TensorRT的情况下是4.6FPS，提升效果在4倍以上。当batchsize设置的更大的话，tensorRT加速效果更好，作者尝试最多加速到14FPS。

在这里插入图片描述

使用传统框架和使

最低0.47元/天解锁文章

关注

5
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

行路南 CSDN认证博客专家 CSDN认证企业博客

码龄11年

129: 原创

3万+: 周排名

87万+: 总排名

113万+: 访问

: 等级

5742: 积分

426: 粉丝

614: 获赞

255: 评论

3028: 收藏

私信

关注

热门文章

分类专栏

OpenCV 3篇
C++
语义分割 6篇
图像分类 5篇
数据集 3篇
NVIDIA DeepStream 9篇
LeetCode 8篇
目标检测 4篇
数据增强 1篇
PyTorch 2篇
deep learning 4篇
目标追踪 2篇
自然语言处理 2篇
知识图谱 6篇
matplotlib 1篇
Git 1篇
机器学习 19篇
数据挖掘 22篇
算法 7篇
学习随笔 15篇
Hadoop 8篇
Linux 4篇
软件部署 17篇

最新评论

【PyTorch】torch.mean(), dim=0, dim=1 详解
lanlalala: a tensor([[[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 9., 10., 11.]], [[12., 13., 14., 15.], [16., 17., 18., 19.], [20., 21., 22., 23.]]], dtype=torch.float64) a.shape torch.Size([2, 3, 4]) mean0 tensor([[[ 6., 7., 8., 9.], [10., 11., 12., 13.], [14., 15., 16., 17.]]], dtype=torch.float64) mean0.shape torch.Size([1, 3, 4]) mean1 tensor([[[ 4., 5., 6., 7.]], [[16., 17., 18., 19.]]], dtype=torch.float64) mean1.shape torch.Size([2, 1, 4]) mean2 tensor([[[ 1.5000], [ 5.5000], [ 9.5000]], [[13.5000], [17.5000], [21.5000]]], dtype=torch.float64) mean2.shape torch.Size([2, 3, 1])
【PyTorch】torch.mean(), dim=0, dim=1 详解
lanlalala: 按照楼主的，可供参考 a = torch.arange(24, dtype=float).reshape((2,3,4)) print('a',a) print('a.shape', a.shape) print(" ") mean0 = torch.mean(a, dim=0, keepdims=True) print('mean0', mean0) print('mean0.shape', mean0.shape) print(" ") mean1 = torch.mean(a, dim=1, keepdims=True) print('mean1', mean1) print('mean1.shape', mean1.shape) print(" ") mean2 = torch.mean(a, dim=2, keepdims=True) print('mean2', mean2) print('mean2.shape', mean2.shape)
7G的森林火情数据集，文末附数据集和源代码
qq_56413072: 博主，求一份数据集有没有百度网盘链接
7G的森林火情数据集，文末附数据集和源代码
weixin_43880420: 博主，这个数据集有标注文件嘛？
二叉树的后序遍历
小白 ~forever: 你这页面设计有点离谱，锚点链接不用，用新页面

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。