TensorRT-engin可视化、量化等

已于 2024-01-27 10:42:36 修改
阅读量2.3k 收藏 9
点赞数 1
分类专栏： 量化_Onnx_TensorRT 文章标签： 人工智能 pytorch 深度学习
于 2023-11-02 22:48:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35435798/article/details/134192897
版权

TensorRT-engin可视化

​ 我们知道onnx模型可以通过netron工具进行可视化，但是onnx转到TensorRT模型后的engin似乎暂时没有好用的类似于netron的可视化工具。但是为了进行性能分析，TensorRT官方提供了可是工具trt-engin-explorer。位于TensorRT开源代码下的tools/experimental/trt-engine-explorer目录下。

一 TensorRT的编译

具体可以参考本人其他博客的记录

Tensorrt的相关杂记_github tensorrt-CSDN博客
同时参考：利用TREx导出TensorRT引擎 （如有侵权联系我删除）
这里有关闭和开启某个节点的量化的操作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于TensorRT的C++高性能推理库源码+使用说明(支持RT-DETR，Yolov5v7v8等).zip
01-09
基于TensorRT的C++高性能推理库源码+使用说明(支持RT-DETR，Yolov5、v7、v8、yoloX、OSTrack、LightTrack等) Highlights - 支持全景驾驶感知 YOLOPv2，目标检测 RT-DETR，Yolo 5/X/7/8 ，多目标跟踪 Bytetrack，单...
Node.js-Skale-engin高性能分布式数据处理引擎
08-10
1. **并行执行引擎**：Skale-engine设计了一套优化的执行引擎，能够高效地分解和调度任务到多个CPU核心或分布式集群的节点上，从而实现计算任务的并行化。这种并行处理能力极大地提高了数据处理的速度和效率。 2. *...
TensorRT量化模型分析（耗时分布可视化等）
最新发布
qq_35435798的博客
09-05 961
又难以解决掉点问题，则我们往往会分析模型的不同模块，找到哪个模块量化后导致掉点严重，然后这些模块将不再被插入量化算子，保持其原始的模型结构。无论哪种方式，都不可避免要进行模型耗时分析，比如，了解模型某个模块甚至某个节点的耗时情况，才能更加精确的指导模型缩减耗时的方向。文件（笔者这里仅写结论，具体内容可以由读者进入该脚本文件中阅读代码），该文件具体执行的动作，可以分解为以下所述内容。会看到如下图示，点击左上角的选项，能选择各类对比分析，比如不同精度计算量的占比，即可，根据问题，补充依赖包，完成安装。
tensorflow 模型可视化_TensorRT-Tensorflow深度学习模型优化视频课程-全套资料分享...
weixin_39916681的博客
11-24 281
该课程详细讲解如何使用TensorRT来优化Tensorflow训练的深度学习模型。我们选择了LeNet模型和YOLOv3模型作为例子，与原始模型相比，优化后的模型速度分别提高了3.7倍和1.5倍。有关详细信息以及如何运行代码，请参阅具体课程视频。 文末附课程全套视频下载地址。课程目录 1、将Tensorflow模型优化为TensorRT 2、在TensorRT优化之前和之后可视化 3、优化Ke...
2、TensorRT学习笔记之PT转ONNX、可视化ONNX
NOZhengYuan的博客
04-23 2168
主要讲解Pt权重转ONNX过程代码，以及如何可视化ONNX查看模型信息。
基于pointpillars的点云目标检测、测试评估、TensorRT后量化及ROS可视化
xiaohu的博客
02-09 2268
参考：https://github.com/traveller59/kitti-object-eval-python，把相应的的依赖函数提取出来了，不需要单独安装second-1.5.1，spconv-1.0。也可以混合精度测试，通过修改config里的yaml参数，测试评估时要保证路径一一对应。可以看出int8精度损失比较严重，需要进一步做感知训练量化，接下来会利用英伟达提供的。编译代码，会得到两个可执行文件，一个用于获取数据的推理结果，一个用于可视化。进一步做感知训练量化。
深度学习 | Tensorflow模型可视化
RichardsZ_的博客
04-28 486
Netron软件 https://github.com/lutzroeder/Netron 使用方法 直接安装exe，导入模型文件（如.h5），自动生成模型网络
Jetson学习笔记(二):TensorRT 查看模型的输入输出
源的博客
04-02 2546
通过下面代码运行即可 import tensorrt as trt def get_engine(engine_path): # If a serialized engine exists, use it instead of building an engine. print("Reading engine from file {}".format(engine_path)) with open(engine_path, "rb") as f, trt.Runtime(TRT_
【TensorRT（5）】tensorrt官方int8量化方法汇总
Hali_Botebie的博客
05-27 1398
int8量化对小目标检测影响较大；int8量化相比fp16量化推理时间并不会节省一半，需实测；当fp16推理时间满足要求时，请采用fp16量化；
使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践
weixin_42907150的博客
01-24 550
CodeFuse（) 是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse 提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现利用 MFTCoder [1,2] 微调后的模型显著优于原始基座模型。
message-engin:齿轮消息！
06-25
$ npm install message-engin --save ＃＃设计 client1 server1 client2 -> messageQueue -> server2 ->LVS ---> websocket client client3 server3 我们可以定义自己的消息协议。 ##基本用法： ...
利用python版tensorRT导出engine【以yolov5为例】
热门推荐
z240626191s的博客
10-13 1万+
在介绍导出engine过程需要先介绍一下会遇到的相关术语。 1.建立logger:日志记录器 2.建立Builder:网络元数据 用于搭建网络的入口，网络的TRT内部表示以及可执行程序引擎都是由该对象的成员方法生成
TensorRT_1_使用Bin模型
牧羊
08-26 1215
1 TensorRT简介 基于C++、CUDA的推理加速器，由于兼容caffe、Tensoflow、pytorch各种框架的模型文件，也是部署的绝佳选择 官方下载网址 & 相关说明，包含安装、示例、API介绍的索引 API说明 2 安装 本机使用windows安装，直接下载zip，解压（放置于专用三方库或者是cuda的同级目录），设置工程的include和lib（分别对应include和lib文件夹） Tips: python的模型转换等配套库的whl分别在graphsurgeon和uff文件中，
TensorRT engine的相关信息
qq_29007291的博客
05-06 488
原文 The Engine interface allows the application to execute inference. It supports synchronous and asynchronous execution, profiling, and enumeration and querying of the bindings for the engine inputs and outputs. A single-engine can have multiple execution
TensorRT5输出engine网络层
mengdeyuanterry的博客
12-06 2833
        由于TensorRT5的API相对于TensorRT4有了不少改变，特别是删除了config类，无法打印转换后生成的trt_engine网络层。通过依次读取network每个layer并判断layer类别，输出layer的设置属性，可以达到更好的查看效果。         代码如下： const std::string kShowLayerType[24] = { "...
深度学习模型部署TensorRT加速（五）：TensorRT部署流程及基本使用
chenhaogu的博客
09-06 4849
目录篇章五：TensorRT的应用场景及部署模块应用一、TensorRT 部署流程：二、构建ResNet 模型部署及推理PS:纯粹为学习分享经验，不参与商用价值运作，若有侵权请及时联系！！！下一篇内容预告：深度学习模型部署TensorRT加速（六）：TensorRT部署自定义CNN模型深度学习模型部署TensorRT加速（七）：TensorRT部署一个图像分类模型深度学习模型部署TensorRT加速（八）：TensorRT部署目标检测YOLO模型回顾：深度学习模型部署TensorRT加速（三）： Tenso
轻松入门模型转换和可视化
3D视觉工坊
08-03 844
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达本文给大家介绍一个模型转换格式ONNX和可视化工具Netron。ONNX是微软设计的一种多平台的通用文件格式，帮助算法人员进行模型部署...
QWebEngine集成Netron可视化模型
亦梦云烟的博客
12-06 1148
将开源的Netron集成到自己的Python QT软件中
使用trtexec工具多batch推理tensorrt模型(trt模型)
Thomas_Cai的记忆殿堂
07-06 2729
/XXX/TensorRT-8.2.5.1/bin 注意： 得到：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值