tensorrt
文章平均质量分 84
tensorrt
hello_dear_you
图像算法处理
展开
-
TensorRT开发环境搭建
TensorRT的C++开发环境搭建原创 2022-08-22 11:09:14 · 1107 阅读 · 0 评论 -
研扬Jetson NX镜像备份和恢复
Jetson NX镜像备份和恢复原创 2022-07-27 10:40:39 · 1884 阅读 · 3 评论 -
Jetson硬件平台状态查看工具jtop安装
0. 背景介绍刚把Jetson TX2刷机了,重新安装资源状态查看器jtop1. 依赖环境sudo apt-get install git cmakesudo apt-get install python3-devsudo apt-get install libhdf5-serial-dev hdf5-toolssudo apt-get install libatlas-base-dev gfortran2. pip3安装sudo apt-get updatesudo apt原创 2022-05-09 16:16:03 · 7398 阅读 · 0 评论 -
【使用TensorRT自带的plugin】
0. 背景在之前的文章TensorRT的plugin实现中介绍了,如何从零实现一个TensorRT的plugin,这篇文章来介绍如何使用TensorRT自带的plugin,将其添加到Network Definition中加速我们的模型。自TensorRT8.0之后,官方提供了大量的plugin,可用于常用目标分类,目标检测等算法的部署。本文章以batchedNMSPlugin举例,介绍如何向Network Definition中添加该plugin,并验证其性能。1. batchedNM.原创 2022-02-08 23:01:03 · 5456 阅读 · 3 评论 -
【tensorrt之dynamic shapes】
1. 背景Dynamic shapes指的是我们可以在runtime(推理)阶段来指定some或者all输入数据的维度,同时,提供C++和Python两种接口。一般需要指定为dynamic的是batch_size这一个维度,使得我们可以根据自己实际情况动态设置batch,而不需要每次都重新生成engine文件。2. 总体流程如何生成及使用支持dynamic shapes的engine的大致步骤如下:1. 使用最新的接口创建NetworkDefinition对象 截止到t...原创 2021-09-13 14:26:09 · 4725 阅读 · 11 评论 -
TensorRT的plugin实现
1. 总体概述(以实现add一个整数为例)编写custom插件需要写两个类,分别如下: AddPlugin:继承IPluginV2IOExt,插件类,用于编写插件需要实现的功能 AddPluginCreator:继承IPluginCreator,插件Factory类,用于创建插件 class AddPlugin: public nvinfer1::IPluginV2IOExtclass AddPluginCreator : public nvinfer1::IPluginCre原创 2021-12-31 18:22:10 · 2571 阅读 · 7 评论 -
基于tensorrt部署TLT-Yolov3+darknet53
0. 背景本文主要介绍,如何在tensorrt上部署经过transfer learning toolkit导出的engine文件。包括的主要内容:1. 安装tensorrt oss2. 网络图像前处理3. 确定输出编写Yolov3的后处理4. Yolov3的engine加载类构建1. 安装TensorRT OSS对于Jetson平台的JetPack 4.4环境,需要编译安装TensorRT OSS文件,构建TensorRT开源软件(OSS)。这是必需的,因为这些模型所需要的几个.原创 2020-12-21 16:27:15 · 930 阅读 · 3 评论 -
tensorrt-int8量化介绍
0. 背景-为什么要做量化尽管近几年来,模型的size在不断的压缩,但是计算量(通常几百MFLOPs左右)对于移动端还是很大。由于每个层的权重参数范围基本确定(BatchNorm),且波动不大,适合量化压缩。量化能减少访存和计算量。1. 量化的原理1.1 量化本质1.2 量化原理-最大值映射1.3饱和截断映射2.TensorRT的INT8量化2.1 模型选择2.2 工作流程3. 基于TensorRT的Python API实例3.1 需要注...原创 2020-12-06 14:02:08 · 4105 阅读 · 13 评论 -
U-Net基于TensorRT部署
1. 网络训练本项目采用的代码为pytorch-Unet,链接为:https://github.com/milesial/Pytorch-UNet。 该项目是基于原始图像的比例作为最终的输入,这个对于数据集中图像原始图片大小不一致的情况可能会出现训练问题(显存不够用)。...原创 2020-11-17 16:02:57 · 7290 阅读 · 56 评论 -
基于TLT训练Yolov3+darknet53
0. 背景原创 2020-12-21 16:21:38 · 2175 阅读 · 2 评论