TensorRT部署YOLOv5
文章平均质量分 84
本系列对在Jeston Nano平台进行深度学习模型部署进行一个全面的介绍,主要围绕TensorRT加速推理与YOLOv5后处理进行介绍
Wei.Studio
专注于嵌入式和视觉AI领域
展开
-
TensorRT部署YOLOv5(05)—图像推理
在上一篇文章中,对构建TensorRT引擎进行了介绍,本文将详细介绍如何使用Python API通过TensorRT引擎加速,实现单幅图像的推断原创 2023-05-07 20:28:58 · 614 阅读 · 1 评论 -
TensorRT部署YOLOv5(04)—构建TensorRT引擎
在上一篇文章中,已经对什么是TensorRT,使用TensorRT进行深度学习模型部署推理的完整流程进行了初步的介绍。本文将详细介绍TensorRT引擎的构建,包括tf2onnx的使用、trtexec命令行的使用和重要参数介绍、如何使用Python API进行TensorRT引擎构建等。原创 2023-03-23 23:02:52 · 442 阅读 · 0 评论 -
TensorRT部署YOLOv5(03)-TensorRT介绍
TensorRT是本专栏中最重要的内容,绝大多数内容将围绕TensorRT来展开,本文对TensorRT进行一个基本的介绍,让不熟悉TensorRT的读者能够对TensorRT是什么,如何使用它有一个较为全面的认识Nvidia TensorRT是一个用于Nvidia GPU上高性能机器学习推理的SDK,对开发者屏蔽了模型在GPU上推理运行的CUDA计算细节,用户只需要通过一套简介易用的Python/C++ API接口,即可方便的将模型在GPU上进行加速推理。原创 2023-01-09 18:18:04 · 804 阅读 · 0 评论 -
TensorRT部署YOLOv5(02)-环境介绍
本文对TensorRT部署YOLOv5模型的整体环境配置及软件包进行介绍。实验环境主要从主机和JestonNano两方面进行介绍,在主机端完成模型训练并转换为onnx中间模型表示,在JestonNano进行onnx模型转换为TensorRT引擎、图片/视频加载、编解码处理、模型推理、后处理等工作主机是一台Windows11的台式机,使用Tensorflow的GPU版进行模型训练,生成模型文件,由于在windows操作系统上安装onnx存在一些问题,比较麻烦,不想折腾,因此我选择在Ubuntu虚拟机上进行Te原创 2022-12-29 10:16:57 · 371 阅读 · 0 评论 -
TensorRT部署YOLOv5(01)-Overview
本系列对在Nvidia边缘计算平台进行深度学习模型部署进行一个全面的介绍,主要围绕TensorRT深度学习加速推理框架,以YOLOv5目标检测任务为例,以Jeston Nano为目标计算平台,对环境搭建、模型量化、加速推理、性能评估、后处理加速等细节进行详细说明,并给出C++和Python分别进行模型部署推理的代码实例阅读本系列,您可以了解到Jeston Nano计算平台以及相关软件资源介绍什么是TensorRT?什么是TensorRT引擎?原创 2022-12-15 20:06:46 · 262 阅读 · 0 评论