TensorRT从入门到了解-学习笔记

已于 2024-04-15 15:29:08 修改
阅读量1k 收藏 25
点赞数 7
分类专栏： Cuda TensorRT 读书笔记 文章标签： 学习 笔记
于 2024-04-11 17:28:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixi234/article/details/137636833
版权
用于高效实现已训练好的深度学习模型的推理过程的SDK内含推理优化器和运行时环境使DL模型能以更高吞吐量和更低的延时运行有C++ Python的API，完全等价可以混用===待续。
摘要由CSDN通过智能技术生成

b站TensorRT官方教程学习笔记

目录

0.简述

参考连接：1.TensorRT教程-基于8.6.1版本

1. Part1 TensorRT 简介

1.1 TensorRT 简介

  • 用于高效实现已训练好的深度学习模型的推理过程的SDK
  • 内含推理优化器和运行时环境
  • 使DL模型能以更高吞吐量和更低的延时运行
  • 有C++ Python的API，完全等价可以混用
    在这里插入图片描述

1.1.1 TensorRT基本特性和用法

在这里插入图片描述TensorRT表现：

  • 不同模型加速效果不同
  • 选用高效算子提升运算效率
  • 算子融合减少访存数据、提高访问效率
  • 使用低精度数据类型，节约时间空间

1.1.2 TensorRT基本流程

在这里插入图片描述
构建期：

-前期准备：日志记录器、计算图构建器、构建器的配置器、动态输入下配置器

运行期：

  • 建立计算图的可执行程序Engine ，以及运行此程序的上下文Context，类比CPU进程的概念

1.1.3 TensorRT上搭建模型方法

训练好的网络如何在TensorRT上搭建
在这里插入图片描述

1.1.3.1 Workflow:使用TensorRT API搭建

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

1.1.3.1.1 Logger日志记录器

在这里插入图片描述

1.1.3.1.2 Builder引擎构建器

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述就是权重迁移和逐层加载
在这里插入图片描述在这里插入图片描述
FP16模式
在这里插入图片描述
Int8模式
在这里插入图片描述
怎么让一个Network跑起来
TensorRT运行期技术
在这里插入图片描述
Engine计算引擎

最低0.47元/天 解锁文章
周陽讀書
关注
  • 7
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
mybatis框架-学习笔记Day01.rar
03-26
本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记...
PHP从入门到精通完整笔记301页.pdf
05-12
【PHP从入门到精通完整笔记】是一份涵盖了HTML、CSS以及PHP基础知识的全面教程，旨在帮助初学者系统地学习这三门技术。这份笔记共有301页，内容包括了HTML+CSS的前22讲以及PHP的第23至149讲。 **HTML基础知识** 1. ...
TensorRT学习系列一：使用自定义网络构建和运行TensorRT模型
m0_51661400的博客
12-16 1457
本文介绍了如何使用自定义网络构建和运行TensorRT模型，以及常见问题与解决方案。通过对新旧API的对比说明，帮助读者理解并熟练运用TensorRT优化深度学习模型的推理过程。
TensorRT详细入门指南
pytorch内部机制解读
08-02 1万+
TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT支持的平台如下。...
pytorch模型(.pth)转tensorrt模型(.engine)几种方式
热门推荐
小菜的博客
05-05 1万+
序言 这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下： 导出网络定义以及相关权重； 解析网络定义以及相关权重； 根据显卡算子构造出最优执行计划； 将执行计划序列化存储； 反序列化执行计划； 进行推理 值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。 一、trtexec trtexec是在tensorrt包
TensorRT教程
荪荪的博客
05-14 2932
本教程不适用于CUDA新手 TensorRT简单介绍 现在TRT出了dynamic shape，重新应用与语音领域，成功一半。（目前在腾讯） 闭源部分就是官方提供的库，是TRT的核心部分； 开源部分在github上，包含Parser（caffe， onnx）、sample和一些plugin。 一、 如何选择TensorRT版本 建议使用TensorRT6.0或者TensorRT7.1：(1)GA版本；（2）支持的cuda版本广泛 TensorRT6.0支持的cuda版本广泛，cuda9.0,cuda10
TensorRT系列教程-ONNX基础
二爷的博客
12-13 2907
TensorRT 的核心在于对模型算子的优化（合并算子、利用当前 GPU 特性选择特定的核函数等多种策略），通过 TensorRT，能够在 Nvidia 系列 GPU 上获得最好的性能。TensorRT 模型需要在目标 GPU 上以实际运行的方式选择最优的算法和配置（不同的 GPU 的许多特性的不一样，在特定 GPU 上跑一跑，再知道怎样最快）。也因此 TensorRT 得到的模型只能在特定的环境下运行（编译时的 TensorRT 版本、CUDA 版本、GPU 型号等）。
6.TensorRT中文版开发教程-----从头搭建TensorRT深度学习推理引擎
专注于人工智能领域的小何尚
04-29 1万+
6.TensorRT 进阶用法 点击此处加入NVIDIA开发者计划 6.1. The Timing Cache 为了减少构建器时间，TensorRT 创建了一个层时序缓存，以在构建器阶段保存层分析信息。它包含的信息特定于目标构建器设备、CUDA 和 TensorRT 版本，以及可以更改层实现的 BuilderConfig 参数，例如BuilderFlag::kTF32或BuilderFlag::kREFIT 。 如果有其他层具有相同的输入/输出张量配置和层参数，则 TensorRT 构建器会跳过分析并重用
oracle数据库从入门到精通-学习详细笔记
最新发布
05-27
oracle数据库从入门到精通-学习详细笔记
Python基础入门课程-学习笔记.docx
06-06
Python基础入门课程-学习笔记.docxPython基础入门课程-学习笔记.docxPython基础入门课程-学习笔记.docxPython基础入门课程-学习笔记.docxPython基础入门课程-学习笔记.docxPython基础入门课程-学习笔记.docxPython...
Python基础入门课程-学习笔记
06-10
Python基础入门课程-学习笔记
一、TensorRT简介与入门
qq_36936443的博客
04-27 6243
1.TensorRT基本特性和用法 基本特性： 用于高效实现已训练好的深度学习模型的推理过程的SDK 内含推理优化器和运行时环境 使DL模型能以更高吞吐量和更低的延迟运行 有C++和python的API，完全等价可以混用 2. 三种使用TensorRT的方式 2.1 Workflow：使用TensorRT API搭建 一些术语： Builder（网络原数据）：模型搭建的入...
TensorRT教程-先导尝鲜：案例介绍(C++版)
dyt155611156的博客
09-28 1339
简单介绍tensorRT怎么使用onnx文件进行推理，附pytorch和c++代码
TensorRT | 入门篇
W1995S的博客
08-19 1674
文章目录Why TensorRTTensorRT部署流程TensorRT之大胃王TensorRT 模型导入流程TensorRT 优化细节TensorRT 部署方法 Why TensorRT 训练对于深度学习来说是为了获得一个性能优异的模型，其主要的关注点在于模型的准确度等指标。推理则不一样，其没有了训练中的反向迭代过程，是针对新的数据进行预测，而我们日常生活中使用的AI服务都是推理服务。相较于训练，推理的关注点不一样，从而也给现在有技术带来了新的挑战： 根据上图可知，推理更关注的是高吞吐率、低响应时间、低
【模型加速】TensorRT详解
Roaddd的博客
12-24 4593
■ TensorRT概述        NVIDIA®TensorRT™的核心是一个C++库，可以促进在NVIDIA图形处理单元（GPU）上的高性能推断。它旨在与Tensorflow、Caffe、Pytorch、MXNet等深度学习训练框架以互补的方式工作。它专注于在GPU上快速有地运行已经训练过的网络，以便生成结果（在各个地方称为评分、检测、回归或推理的过程）。       &
TensorFlow教程（一）：算法流程（重点）
观月执白
03-25 1883
从TendorFlow的发布的最开始关注到现在已经到2.0了，见证了TF的飞速发展，真心佩服Google的大神们。加油吧！ TensoFlow的一般算法流程： 1、导入和生成样本数据集合：所有的机器学习算法都依赖样本数据集合。 2、转化和归一化数据：一般来说，输入样本数据集合并不符合TensorFlow期望的形状，所以需要转化数据格式以满足TensoFlow的要求。 data = tf...
用tensorRT入门介绍
zhuguiqin1的专栏
03-31 2661
1. 基本的 TensorRT 工作流程 2. 转换和部署选项 2.1 转换 使用TF-TRT，为了转换 TensorFlow 模型，TensorFlow 集成 (TF-TRT) 提供了模型转换和高级运行时 API，并具有回退到TensorRT 不支持特定运算符的 TensorFlow 实现。 自动模型转换和部署的一个更高效的选项是转换 从 .onnx 文件自动转换 ONNX。使用 ONNX。 ONNX 是一个与框架无关的选项，可以用于将TensorFlow ，PyTorch 等格式的模型转化为ONNX
1.TensorRT中文版开发教程-----指南简介
专注于人工智能领域的小何尚
04-27 1万+
1.手册简介 NVIDIA® TensorRT™ 是一个促进高性能机器学习推理的 SDK。 它旨在与 TensorFlow、PyTorch 和 MXNet 等训练框架以互补的方式工作。 它特别专注于在 NVIDIA 硬件上快速高效地运行已经训练好的网络。 有关如何安装 TensorRT 的说明，请参阅 NVIDIA TensorRT 安装指南。 NVIDIA TensorRT 快速入门指南适用于想要试用 TensorRT SDK 的用户； 具体来说，您将学习如何快速构建应用程序以在 TensorRT 引擎
TensorRT安装及使用教程（ubuntu系统部署yolov7）
m0_60657960的博客
12-03 3605
1 什么是TensorRT一般的深度学习项目，训练时为了加快速度，会使用多 GPU 分布式训练。但在部署推理时，为了降低成本，往往使用单个 GPU 机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如 caffe，TensorFlow 等。由于训练的网络模型可能会很大（比如，inception，resnet 等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周陽讀書

周陽也想繼往聖之絕學呀~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值