使用TensorRT加速ScaledYOLOv4

最新推荐文章于 2023-05-19 09:59:16 发布
最新推荐文章于 2023-05-19 09:59:16 发布
阅读量640 收藏 2
点赞数 1
分类专栏： 深度学习视觉相关 文章标签： 深度学习 python 神经网络 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blanokvaffy/article/details/115312643
版权
本文介绍如何使用TensorRT加速ScaledYOLOv4，包括生成ONNX模型、编译、转换到TRT模型及性能测试。还提到了在TensorRT中使用Mish插件层的步骤，但警告在某些硬件上使用可能较慢。
摘要由CSDN通过智能技术生成

使用TensorRT加速ScaledYOLOv4

很多人都写过TensorRT版本的yolo了，我也来写一个。具体代码可参见我的github

测试环境

ubuntu 18.04
pytorch 1.7.1 
jetpack 4.4
CUDA 11.0
TensorRT7.1

快速开始

1、生成onnx模型

git clone --branch yolov4-csp https://github.com/WongKinYiu/ScaledYOLOv4
git clone https://github.com/talebolano/TensorRT-Scaled-YOLOv4
cp TensorRT-Scaled-YOLOv4/script/ScaledYOLOv4-csp/* ScaledYOLOv4/
下载yolov4-csp.weights到ScaledYOLOv4/
cd ScaledYOLOv4
python3 export.py
了解本专栏 订阅专栏 解锁全文 超级会员免费看
blanokvaffy
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
实战 | YOLOv8使用TensorRT加速推理教程（步骤 + 代码）
Color Space的博客
07-09 2581
这一步主要是安装根据自己的硬件安装GPU驱动，下载CUDNN等，以往的文章已经介绍过多次，可以点击下面的图片跳转到对应文章查看(点击图片跳转)。DeepSparse：专为稀疏模型设计的CPU推理运行时，可以有效加速基于WSL2的Windows环境下的推理。OpenVINO：Intel的推理工具套件，用于CPU上的模型优化和加速，支持量化和多种硬件加速。可以使用官网下载的模型也可以使用自己训练好的模型。保持框架最新：确保使用的深度学习框架版本是最新的，以获得最新的优化和bug修复。
tensorrt加速推理yolov4-tiny
weixin_45113820的博客
03-31 3996
tensorrt加速推理yolov4-tiny
Tensort 加速Yolov4推理
weixin_44683176的博客
07-01 1060
unbuntu 16.04 tensort 5.0 cuda9.0 下载 nv-tensorrt-repo-ubuntu1604-cuda9.0-trt5.0.2.6-ga-20181009_1-1_amd64.deb 添加链接描述 工程地址：git clone https://github.com/CaoWGG/TensorRT-YOLOv4.git 安装TENSORT sudo dpkg -i nv-tensorrt-repo-ubuntu1604-cuda9.0-trt5.0.2.6-ga-20181
yolov4模型经tensorrt加速
weixin_44533869的博客
08-11 1289
1.下载必要的脚本 git clone https://github.com/wang-xinyu/tensorrtx.git git clone -b archive https://github.com/ultralytics/yolov3.git 将以上两个脚本放置同一目录下； 或者采用笔者上传整理好的脚本文件 链接地址： 2.配置环境 下载pytorch离线安装包，放置pkg目录下。 torch-1.6.0-cp36-cp36m-linux_aarch64.whl 下载torchvision源码库
jetson nano 部署使用tensorRT加速YOLOv4tiny
qq_31719103的博客
05-19 549
我在nano上测试了darknet的tolov4和yolov4 tiny两种权重，前者帧数只有一点几帧，后者能在10帧上下，英伟达平台支持tensorRT来优化权重实现加速，优化后有20多帧，但是也会降低识别准确度，这个看个人需求吧。
项目环境部署（备注：Jetson NX 使用Tensorrt加速自训练yolov4-tiny模型）
我是硝酸钾的博客
04-23 882
项目环境部署（备注：Jetson NX 使用Tensorrt加速自训练yolov4-tiny模型）
TensorRT-使用TensorRT加速部署YOLOv8算法-优质算法部署项目实战.zip
最新发布
03-04
本项目以“TensorRT-使用TensorRT加速部署YOLOv8算法-优质算法部署项目实战”为主题，旨在通过实践帮助开发者掌握如何利用TensorRT优化YOLOv8目标检测模型，提升应用的运行速度。 YOLO（You Only Look Once）系列是...
TensorRT加速项目-使用TensorRT部署YOLOv4项目-darknet+pytorch-项目实战-附完整流程教程
01-18
本项目将详细介绍如何使用TensorRT来加速YOLOv4模型的部署，结合darknet和pytorch框架，提供完整的实战教程。 **YOLOv4** YOLO（You Only Look Once）是一种实时目标检测系统，以其快速和准确的特性在目标检测领域...
对使用TensorRT加速AI深度学习推断效率的探索.pdf
08-19
对使用TensorRT加速AI深度学习推断效率的探索 本文探讨了使用TensorRT加速AI深度学习推断效率的方法。深度学习是当前人工智能浪潮中的一种关键技术，广泛应用于语音识别、语言翻译、图像识别等领域。然而，深度学习...
YOLOv4-Deepstream:使用Deepstream通过TensorRT和多流输入加速YOLOv4
04-16
Deepstream 5.1 YOLOv4应用 该Deepstream应用程序展示了以高FPS吞吐量运行的YOLOv4！ PS-单击gif观看整个视频！ 指数 深度流设置 这篇文章假设您拥有功能齐全的Jetson设备。 如果没有，您可以在参考文档。 1.安装系统依赖项 sudo apt install \ libssl1.0.0 \ libgstreamer1.0-0 \ gstreamer1.0-tools \ gstreamer1.0-plugins-good \ gstreamer1.0-plugins-bad \ gstreamer1.0-plugins-ugly \ gstreamer1.0-libav \ libgstrtspserver-1.0-0 \ libjansson4=2.11-1 2.安装Deepstream 从此处将DeepStream 5.1 Jetson
pytorch_YOLO_OpenVINO_demo
05-06
pytorch_YOLO_OpenVINO_demo 集成Pytorch YOLO模型（YOLO-V3 / YOLO-V4 / Scaled-YOLO-V4 / YOLO-V5）以进行OpenVINO推理。 Windows 10和Ubuntu 18.04已通过验证。 （Scaled-YOLO-V4仅在Ubuntu上可用） 将权重转换为ONNX文件 需要以下组件。 OpenVINO 2021.2 Python> = 3.6 ONNX> = 1.8.0 火炬> = 1.7.0 Netron 4.4.3 有关其他必需组件，请参见“ requirements.txt” 下载火炬重量 关于YOLOV3 本文档使用Darknet YOLOV3模型，因为作者尚未找到公共的pytorch版本。 关于YOLOV4 摘自YOLOV4的其中一位作者KinYiu Wong发布的存储库。 从存储
yolov5训练以及模型onnx转换
10-13
目标检测工程备份
tensorrt_demos：yolov3、yolov4转ONNX转TensorRT
chenyuming的博客
03-26 1138
系统支持 实测在ubuntu18.0.4和Jetson 4.5.1 TX2可以运行。 yolov3、yolov4环境支持 TensorRT-7.1.3.4（实测用6.x.x.x也是可以的） onnx==1.4.1 # 实测版本大于1.4.1时会报错 opencv4.1.1 #大于3.4的版本基本都可以 cuda10.2 (可能还要cudnn 8.x.x) 环境准备 Clone this repository. $ cd ${HOME}/project $ git clone https://gi
使用TensorRT加速WongKinYiu/Pytorch_YOLOv4-tiny
DGHAHSFIA的博客
11-20 602
使用TensorRT加速WongKinYiu/Pytorch_YOLOv4-tiny
使用TensorRT提高GPU上的YOLOv4对象检测速度
源代码杀手的博客
05-24 1657
YOLOv4较旧版本YOLOv4的改进，并且我们已经知道现在它比以前更好。也许使用YOLOv3的每个人都将迁移到YOLOv4，因为它是我们可以用于实时应用程序的最快的对象检测模型之一。但是在本教程中，我想向您展示，如何使用TensorRT将对象检测的速度提高三倍！在本教程中，我将不介绍如何安装TensorRT。 TensorFlow是当今最受欢迎的深度学习框架之一，在全球拥有成千上万的用户。TensorRT是一个深度学习平台，可通过简单的方式优化神经网络模型并加快GPU推理的性能。TensorFlow团队与
基于TensorRT C++ API 加速 TF 模型
J。
11-27 1321
在推理过程中，基于 TensorRT 的应用程序的执行速度可比 CPU 平台的速度快 40 倍。借助 TensorRT，您可以优化在所有主要框架中训练的神经网络模型，精确校正低精度，并最终将模型部署到超大规模数据中心、嵌入式或汽车产品平台中。 TensorRT 以 NVIDIA 的并行编程模型 CUDA 为基础构建而成，可帮助您利用 CUDA-X 中的库、开发工具和技术，针对人工智能、自主机器、高性能计算和图形优化所有深度学习框架中的推理。 TensorRT 针对多种深度学习推理应用的生产部署提供 IN
在Jetson TX2开发套件上使用TensorRT7.1.0加速YOLOv4
hlld__的博客
07-24 5376
目录前言 前言
Jetson AGX Xavier 实现TensorRT加速YOLOv4
围白的尾巴
06-07 3121
一、 四、TensorRT加速 1、克隆tensorrt_demos工程 git clone https://github.com/jkjung-avt/tensorrt_demos 2、环境搭建 ①参考我为yolov5配置环境及TensorRT加速的文章，配置的python环境，得到名为yolov5env的环境。 ②安装pycuda与onnx conda activate yolov5env pip install pycuda pip install onnx==1.4.1 .
使用TensorRT加速TensorFlow推理指南
"NVIDIA TensorRT 是一款用于优化和加速深度学习推理（Inference）的高性能库，特别设计用于在NVIDIA GPU上运行。TensorRT与TensorFlow集成后，形成了TF-TRT，能够显著提高模型的推理速度，同时保持精度。这份用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值