TensorRT从入门到了解-学习笔记

已于 2024-04-15 15:29:08 修改
阅读量1.2k 收藏 26
点赞数 8
分类专栏： Cuda TensorRT 读书笔记 文章标签： 学习 笔记
于 2024-04-11 17:28:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixi234/article/details/137636833
版权
本文是TensorRT官方教程的学习笔记，涵盖了TensorRT的基本概念、工作流程、模型搭建方法，包括使用API、ONNX解析器以及框架内的接口。还详细介绍了开发辅助工具如trtexec和性能分析工具，并探讨了高级用法，如多优化配置、插件书写和性能优化策略。
摘要由CSDN通过智能技术生成

b站TensorRT官方教程学习笔记

目录

0.简述

参考连接：1.TensorRT教程-基于8.6.1版本

1. Part1 TensorRT 简介

1.1 TensorRT 简介

  • 用于高效实现已训练好的深度学习模型的推理过程的SDK
  • 内含推理优化器和运行时环境
  • 使DL模型能以更高吞吐量和更低的延时运行
  • 有C++ Python的API，完全等价可以混用
    在这里插入图片描述

1.1.1 TensorRT基本特性和用法

在这里插入图片描述TensorRT表现：

  • 不同模型加速效果不同
  • 选用高效算子提升运算效率
  • 算子融合减少访存数据、提高访问效率
  • 使用低精度数据类型，节约时间空间

1.1.2 TensorRT基本流程

在这里插入图片描述
构建期：

-前期准备：日志记录器、计算图构建器、构建器的配置器、动态输入下配置器

运行期：

  • 建立计算图的可执行程序Engine ，以及运行此程序的上下文Context，类比CPU进程的概念

1.1.3 TensorRT上搭建模型方法

训练好的网络如何在TensorRT上搭建
在这里插入图片描述

1.1.3.1 Workflow:使用TensorRT API搭建

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

1.1.3.1.1 Logger日志记录器

在这里插入图片描述

1.1.3.1.2 Builder引擎构建器

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述就是权重迁移和逐层加载
在这里插入图片描述在这里插入图片描述
FP16模式
在这里插入图片描述
Int8模式
在这里插入图片描述
怎么让一个Network跑起来
TensorRT运行期技术
在这里插入图片描述
Engine计算引擎

最低0.47元/天 解锁文章
TensorRT4.0指南
04-06
Tensorrt 4.0 release user guide techniques developer use
TensorRT入门：trtexec开发辅助工具的使用
yitiaoxiaolu的博客
03-02 5880
trtexec 工具是 TensorRT 的命令行工具，位于 TensorRT 的安装目录中，随 TensorRT 的安装就可以直接使用。trtexec，不仅打包了几乎所有 TensorRT 脚本可以完成的工作，并且扩展丰富的推理性能测试的功能。通常我们使用 trtexec 完成下面三个方面的工作，一是由 Onnx 模型文件生成 TensorRT 推理引擎，并且可以序列化为 .plan 文件。二是可以查看 Onnx 或者 .plan 文件的网络的逐层信息。第三是可以进行模型性能测试。
TensorRT 之入门篇
如果想成为中心，那么就到中心去吧。
11-04 1107
文章目录Why TensorRTTensorRT部署流程TensorRT之大胃王TensorRT模型导入流程caffeTensorFlow其他框架TensorRT优化细节Layer & Tensor FusionFP16 & INT8 精度校准Kernel Auto-TuningDynamic Tensor Memory优化结果TensorRT 部署方法 Why TensorRT 训练对于深度学习来说是为了获得一个性能优异的模型，其主要的关注点在于模型的准确度等指标。推理则不一样，其没有了训
TensorRT | 入门篇
W1995S的博客
08-19 1893
文章目录Why TensorRTTensorRT部署流程TensorRT之大胃王TensorRT 模型导入流程TensorRT 优化细节TensorRT 部署方法 Why TensorRT 训练对于深度学习来说是为了获得一个性能优异的模型，其主要的关注点在于模型的准确度等指标。推理则不一样，其没有了训练中的反向迭代过程，是针对新的数据进行预测，而我们日常生活中使用的AI服务都是推理服务。相较于训练，推理的关注点不一样，从而也给现在有技术带来了新的挑战： 根据上图可知，推理更关注的是高吞吐率、低响应时间、低
【TensorRT】官方快速入门指南（中文）
最新发布
baidu_32631625的博客
11-01 1039
本文是的中文翻译。
TensorRT部署模型入门（python&C++）
保持分享欲
08-25 2685
在安装好tensorrt环境后，可以尝试使用预训练权重进行转化封装部署，运行以下代码！TensorRT安装指南。
TensorRT详细入门指南
AI人工智能的海洋
08-02 1万+
TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT支持的平台如下。...
TensorRT-LLM保姆级教程-快速入门
2401_86435672的博客
09-28 1387
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大语言模型 (LLM) 并构建 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时组件。此外，它还包括一个用于与 NVIDIA Triton 推理服务集成的后端；同时， 使用 TensorRT-LLM 构建的模型可以使用使用张量并行和流水线并行在单 GPU 或者多机多 GPU 上执行。
TensorRT从了入门到了解(官方文档)-学习笔记
周陽讀書
04-17 1224
TensorRT阅读研究
TensorRT加速推理入门-1：Pytorch转ONNX
用于记录
01-04 1667
PyTorch模型转ONNX模型
计算机视觉、目标检测、视频分析的过去和未来：目标检测从入门到精通 ------ YOLOv8 到 多模态大模型处理视觉基础任务
shiter编写程序的艺术
07-03 600
自注意力机制和注意力机制的区别就在于，注意力机制的查询和键是不同来源的，例如，在Encoder-Decoder模型中，键是Encoder中的元素，而查询是Decoder中的元素。在中译英模型中，查询是中文单词特征，而键则是英文单词特征。而自注意力机制的查询和键则都是来自于同一组的元素，例如，在Encoder-Decoder模型中，查询和键都是Encoder中的元素，即查询和键都是中文特征，相互之间做注意力汇聚。从剩余的预测框中选择一个与基准框的重叠面积最大的框，如果其重叠面积大于一定的阈值，则将其删除。
tensorRT：入门
weixin_36049506的博客
11-15 722
TensorRT简介 tensorRT的核心是c++运行库，这个运行库能大大提高网络在gpu上的推理(inference)速度。tensorflow、caffe、pytorch等训练框架更关注网络设计的灵活性，tensorRT能弥补其运行速度的缺陷。tensorRT专门关注对训练好的网络如何优化，以更快的生成结果。 一些训练框架，比如tensorflow，已经集成了tensorRT。另外，tens...
TensorRT入门
weixin_38256108的博客
08-05 645
初学TensorRT 简介 TensorRT是NVIDIA官方推出的高性能DNN推理软件库，旨在将Caffe、TensorFlow、PyTorch等主流框架上训练的模型在GPU上完成部署优化。 深度学习框架推理的缺陷 原生框架一般对fp16/int8支持不佳； 由于有时延要求，数据batch较小，难以让GPU满载。 TensorRT加速原理 支持fp16/int8，对数值进行精读转换和...
一、TensorRT简介与入门
qq_36936443的博客
04-27 6657
1.TensorRT基本特性和用法 基本特性： 用于高效实现已训练好的深度学习模型的推理过程的SDK 内含推理优化器和运行时环境 使DL模型能以更高吞吐量和更低的延迟运行 有C++和python的API，完全等价可以混用 2. 三种使用TensorRT的方式 2.1 Workflow：使用TensorRT API搭建 一些术语： Builder（网络原数据）：模型搭建的入...
TensorRT教程
荪荪的博客
05-14 3162
本教程不适用于CUDA新手 TensorRT简单介绍 现在TRT出了dynamic shape，重新应用与语音领域，成功一半。（目前在腾讯） 闭源部分就是官方提供的库，是TRT的核心部分； 开源部分在github上，包含Parser（caffe， onnx）、sample和一些plugin。 一、 如何选择TensorRT版本 建议使用TensorRT6.0或者TensorRT7.1：(1)GA版本；（2）支持的cuda版本广泛 TensorRT6.0支持的cuda版本广泛，cuda9.0,cuda10
TensorRT系列教程-ONNX基础
二爷的博客
12-13 3528
TensorRT 的核心在于对模型算子的优化（合并算子、利用当前 GPU 特性选择特定的核函数等多种策略），通过 TensorRT，能够在 Nvidia 系列 GPU 上获得最好的性能。TensorRT 模型需要在目标 GPU 上以实际运行的方式选择最优的算法和配置（不同的 GPU 的许多特性的不一样，在特定 GPU 上跑一跑，再知道怎样最快）。也因此 TensorRT 得到的模型只能在特定的环境下运行（编译时的 TensorRT 版本、CUDA 版本、GPU 型号等）。
TensorRT学习笔记~TensorRT基础讲解（转载）
zlibo丶的博客
03-08 2748
TensorRT作为GPU加速解决方案，在深度学习领域有着广泛的应用，其针对许多当下流行的深度学习模型都有简单的API供调用，对应没有集成到内部的自定义深度学习模型，也提供了自定义API，构建TensorRT加速引擎，方便快捷，简单有效。 结合开发者手册以及博客中对TensroRT的简单讲解，可以有效理解TensorRT的构建方法和原理： https://arleyzhang.github.i...
pytorch模型(.pth)转tensorrt模型(.engine)几种方式
热门推荐
小菜的博客
05-05 1万+
序言 这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下： 导出网络定义以及相关权重； 解析网络定义以及相关权重； 根据显卡算子构造出最优执行计划； 将执行计划序列化存储； 反序列化执行计划； 进行推理 值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。 一、trtexec trtexec是在tensorrt包
用tensorRT入门介绍
zhuguiqin1的专栏
03-31 2739
1. 基本的 TensorRT 工作流程 2. 转换和部署选项 2.1 转换 使用TF-TRT，为了转换 TensorFlow 模型，TensorFlow 集成 (TF-TRT) 提供了模型转换和高级运行时 API，并具有回退到TensorRT 不支持特定运算符的 TensorFlow 实现。 自动模型转换和部署的一个更高效的选项是转换 从 .onnx 文件自动转换 ONNX。使用 ONNX。 ONNX 是一个与框架无关的选项，可以用于将TensorFlow ，PyTorch 等格式的模型转化为ONNX
Python学习资源分享：从入门到精通全栈教程笔记
资源摘要信息: "本资源是一份自学Python的笔记，涵盖了从入门到精通的全栈开发教程。笔记内容基于名为‘花了2万多块买的python教程全套，现在分享给大家，入门到精通（python全栈开发教程）’的视频课程。学习资料...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周陽讀書

周陽也想繼往聖之絕學呀~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值