TensorRT加速ENet

最新推荐文章于 2024-07-04 15:58:32 发布
最新推荐文章于 2024-07-04 15:58:32 发布
阅读量703 收藏 2
点赞数 1
分类专栏： TensorRT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42464187/article/details/103616595
版权
本文介绍了如何使用TensorRT加速ENet模型，包括训练ENet模型、生成部署模型、创建engine文件、进行推理以及效率分析。经过加速，TensorRT的Latency从ncnn的1018ms降至18ms。
摘要由CSDN通过智能技术生成

TensorRT加速ENet

文章目录

1. 训练ENet

  1. ENet模型caffe版本的git地址：https://github.com/TimoSaemann/ENet
  2. 修改训练ENet的prototxt，把原版的上采样中type为Upsample改为Deconvolution，否则转ncnn会出问题，估计转TRT也会有问题吧，反正影响不大就换了。
  3. 修改prototxt把PReLU改为ReLU，因为我用的TensorRT v5.1.5.0不支持PReLU
  4. train和deploy的height，width，classNum
  5. 训练数据的路径，指定一个txt文件，每行用空格分开，一个图（数据）对应一个图（标，单通道，每个类别对应一个数）

2. 生成部署ENet的模型

  1. 计算bn的参数为静态的(参考git上的Tutorial)
  2. 把bn和卷积合并使前向运算加速

3. 生成用于TensorRT调用的engine文件

  1. 先编译出来用于模型转换的可执行文件，我命名为buildEngine，在编译的过程中会打印出输入和输出的节点名
  2. 执行命令 ./buildEngine --deploy=enet.prototxt --model=enet.caffemodel --saveEngine=enet.engine --output=“deconv6_0_0”
最低0.47元/天 解锁文章
烂桃先生之前的账号
关注
专栏目录
语义分割神经网络ENet
08-06
语义分割神经网络ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation
tensorrt加速enet
free_luojing的博客
12-21 450
PRelu改为Relu self.upsampling = nn.MaxUnpool2d(2) 改为self.upsampling = nn.Upsample(scale_factor=2) 使用pytorch框架训练ENet网络，按照 pytorch—>ONNX–>tensorrt的技术路线 在Jetson nano上的速度大约为10fps ENet网络结构的完整代码如下： import torch import torch.nn as nn class ENet(nn.Module):
使用TensorRT进行加速推理（示例＋代码）
最新发布
weixin_47151388的博客
07-04 1478
TensorRT 是 NVIDIA 开发的一款高性能深度学习推理引擎，旨在优化神经网络模型并加速其在 NVIDIA GPU 上的推理性能。它支持多种深度学习框架，并提供一系列优化技术，以实现更高的吞吐量和更低的延迟。TensorRT（NVIDIA Tensor Runtime）是由 NVIDIA 开发的一款高性能深度学习推理库，用于在 NVIDIA GPU 上进行高效的深度学习推理。它可以优化深度学习模型并将其部署在生产环境中，以实现低延迟和高吞吐量的推理任务。1.1TensorRT 的主要特点模型优化。
enet分割_关于人体分割的训练Enet
weixin_29515317的博客
02-06 784
我正在努力训练一个语义分割网络(E-Net)，特别是高质量的人体分割。为此，我收集了“Supervisely Person”数据集，并使用提供的API提取了注释掩码。此数据集包含高质量的掩码，因此我认为它将提供比例如COCO数据集更好的结果。在监督-示例如下：原始图像-背景真相。首先，我想介绍一下模型的一些细节。网络本身(Enet_arch)返回来自最后一个卷积层的logit和通过tf.nn.si...
细分：Enet的TensorFlow实现，在Cityscapes数据集上进行了训练
02-06
分割 ENet的TensorFlow实施（ ）基于官方的Torch实施（ ）和PavlosMelissinos的Keras实施（ ），在Cityscapes数据集（ ）上进行了培训。 YouTube视频结果（ ）： 视频中的结果显然可以得到改善，但是由于计算资源有限（个人资助的Azure VM），我没有执行任何进一步的超参数调整。 您可能会收到错误“没有为操作'MaxPoolWithArgmax_1'定义梯度（操作类型：MaxPoolWithArgmax）”。 要解决此问题，我必须将以下代码添加到文件/usr/local/lib/python2.7/dist-packages/
【学习笔记】使用Tensorflow版ENet训练自己的数据集&labelme生成灰度标签图片问题
野生C++程序员
04-29 3524
使用的代码：kwotsin所写的Tensorflow版，180星 记录一下训练的过程，方便以后翻阅。 首先是数据集的准备，数据集的文件夹结构为： ├── test ├── testannot ├── train ├── trainannot ├── val └── valannot 由上到下分别是测试集、测试集标签、训练集、训练集标签、验证集、验证集标签。 我的数据集为640*480的图...
TensorRT系列 --加速原理
Mrrunsen的博客
02-10 2364
1. 加速的必要性 如上图所示，训练（training）是双向运算，而推理（inference）为单向运算。为了提高训练速度，会使用多GPU分布式训练；而部署推理时，为了降低成本，往往使用单个GPU机器或嵌入式平台（比如 NVIDIA Jetson）进行部署；在实际项目中，一个项目可能会使用多个模型，而模型使用的框架也不能确保统一化。 使用TensorRT加速最直接的效果如下： 加快推理速度，降低延迟。 推理框架统一化，方便部署。 2. 优化原理 TensorRT优化方
如何快速完成TensorRT模型生成和加速
lovely_yoshino的博客
06-12 1万+
之前作者在《》介绍了一些比较传统的方法，主要侧重介绍了如何将pth和pytorch传统形式文件转化为onnx的文件，这个部分的内容，也可以主要看一下《》这个文章的内容，我们发现在实际使用中，真正的TensorRT模型不是和我们之前介绍的这么简单。因为现在包含了很多第三方的依赖库，为此，我们需要使用更有效的方法来完成转化。这里主要参照。
P2P & ENet
12-14
P2P & ENet..............................................................................................................................................................................
eNetTest 网管内网单机测速.zip
09-02
《eNetTest网管内网单机测速工具详解及应用》 在信息化时代，网络管理成为企业运营中不可或缺的一部分。高效、准确地监控网络性能是保障业务顺畅进行的关键。针对这一需求，eNetTest网管内网单机测速工具应运而生。...
TensorRT的Prelu层
10-17
主要是加入到TebsorRT的Prelu层，用于模型加速，适用于含有Prelu的网络结构;
PyTorch-ENet:ENet的PyTorch实施
05-05
PyTorch-ENet ENet的PyTorch（v1.1.0）实现，从作者创建的lua-torch实现移植而来。 此实现已在CamVid和Cityscapes数据集上进行了测试。 当前，可获得在CamVid和Cityscapes中训练的模型的预训练版本。 数据集 1班 ...
fs_enet-main.rar_ENet
09-20
这两个系列的处理器都内置了硬件加速的以太网MAC，支持全双工、自动协商和速率检测功能。它们能够处理10/100Mbps的以太网速度，并且具有节能特性，适应于各种低功耗应用。ENet驱动充分利用这些特性，确保高效、稳定...
TensorRT系列教程-ONNX基础
二爷的博客
12-13 3279
TensorRT 的核心在于对模型算子的优化（合并算子、利用当前 GPU 特性选择特定的核函数等多种策略），通过 TensorRT，能够在 Nvidia 系列 GPU 上获得最好的性能。TensorRT 模型需要在目标 GPU 上以实际运行的方式选择最优的算法和配置（不同的 GPU 的许多特性的不一样，在特定 GPU 上跑一跑，再知道怎样最快）。也因此 TensorRT 得到的模型只能在特定的环境下运行（编译时的 TensorRT 版本、CUDA 版本、GPU 型号等）。
1.了解tensorrt加速
qq_42178122的博客
12-03 2308
https://discuss.pytorch.org/t/onnx-export-failed-couldnt-export-operator-aten-adaptive-avg-pool1d/30204
tensorrt加速原理
weixin_50161877的博客
03-29 967
具体来说，TensorRT 可以根据 GPU 的计算能力和内存带宽来动态调整模型的输入和输出形状，以最大化计算效率和性能。通过以上方式，CUDA 可以利用 GPU 的并行计算能力来加速卷积算子的计算速度，从而提高卷积神经网络的计算效率和性能。在实际应用中，可以根据具体的计算任务和硬件环境来选择合适的优化方式，以进一步提高计算效率和性能。具体来说，TensorRT 可以将卷积核中的小于某个阈值的元素设置为零，从而减少计算量和内存访问次数。CUDA是一种并行计算框架，可以在GPU上进行高效的并行计算。
TensorRT加速方法介绍（python pytorch模型）
热门推荐
jiugeshao的专栏
03-12 1万+
TensorRT的安装可见我的上一篇博客 Ubuntu配置TensorRT及验证_jiugeshao的专栏-CSDN博客博主的一些基本环境配置可见之前博客非虚拟机环境下Ubuntu配置_jiugeshao的专栏-CSDN博客第一步: 准备安装AnacondaAnaconda3-5.2.0-Linux-x86_64.shhttps://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.shhttps://blog.csdn.net/jiugesha
yolov5 6.1 关于 tensorrt 加速的使用以及问题说明
专注于 IOT 物联网的嵌入式研发
06-13 5438
所以在使用加速模型文件 best.engine 时，需要在 detect.py 文件中把默认的 coco128.yaml 数据集配置文件更换成自己的配置文件，或者在调用 detect.py 时使用 --data 参数指定数据集配置文件。
文稿软件使用手册：Enet5 功能与操作指南
"Enet5 文稿使用手册是索贝数码科技股份有限公司开发的一款专业文稿管理系统的手册，适用于1.0版本。该手册详细介绍了软件的各项功能和使用方法，旨在帮助用户从登陆系统到各种文稿、选题、串联单的管理和操作。手册...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值