TensorRT学习笔记

最新推荐文章于 2024-04-27 19:34:17 发布
最新推荐文章于 2024-04-27 19:34:17 发布
阅读量1k 收藏 8
点赞数 1
分类专栏： 深度学习部署开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38277565/article/details/95619642
版权

文章目录

TensorRT学习笔记

1、什么是TensorRT

  TensorRT是NVIDIA针对神经网络inference（推理）阶段提供的加速器。TensorRT™的核心是一个C++库，可以促进NVIDIA图形处理单元（GPU）的高性能计算。它专注于在GPU上快速有效地运行已经训练过的网络，以产生结果（一个过程，在各个地方被称为评分，检测，回归或推断）。
[外链图片转存失败(img-zcrKemDS-1562914545173)(https://note.youdao.com/yws/public/resource/a48e105e9dcf98f685bf69937a8ead17/xmlnote/F2B7C4FA473549ED90E4D9C0865DBADE/16461)]

  TensorRT通过组合层和优化内核选择来优化网络，从而提高延迟，吞吐量，功效和内存消耗。如果应用程序指定，它还将优化网络以低精度运行，进一步提高性能并降低内存需求。

  一般在深度学习项目中。在深度学习算法的训练阶段为了加快速度，会使用多GPU的分布式。但是在项目部署到应用的过程中，为了降低成本，往往是使用单个GPU机器甚至是嵌入式平台进行部署。部署端也需要要有与训练端一样的深度学习环境，如caffe，tensorflow等。由于训练的网络模型可能会很大（比如，inception，resnet等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于那些高实时性的应用场合是致命的，比如自动驾驶要求实时目标检测，目标追踪等。所以为了提高部署推理的速度，出现了很多轻量级神经网络，比如squeezenet，mobilenet，shufflenet等。基本做法都是基于现有的经典模型提出一种新的模型结构，然后用这些改造过的模型重新训练，再重新部署。

  tensorRT则是对训练好的模型进行优化。tensorRT就只是推理优化器。当你的网络训练完之后，可以将训练模型文件直接丢进tensorRT中，而不再需要依赖深度学习框架（Caffe，TensorFlow等)
  当在没有使用TensorRT时将深度学习项目移植到单个GPU机器甚至是嵌入式平台。需要被移植的平台也具备相应的深度学习框架的环境。[外链图片转存失败(img-A0LBR156-1562914545176)(https://note.youdao.com/yws/public/resource/a48e105e9dcf98f685bf69937a8ead17/xmlnote/BD9800AD4A8A4E9685464B6E42E12CDB/16434)]

  但是当应用TensorRT后可以将不同深度学习框架的模型进行推理优化这样不在需要在单个GPU机器甚至是嵌入式平台上配置相应的深度学习环境。
[外链图片转存失败(img-sC2AW9Yq-1562914545176)(https://note.youdao.com/yws/public/resource/a48e105e9dcf98f685bf69937a8ead17/xmlnote/A7AC56C351CD4D62A9B4029999B0C8F6/16448)]

  可以将TensorRT看成一个前向传播的深度学习框架，这个框架可以将Caffe，TensorFlow的网络模型解析，然后与tensorRT中对应的层进行一一映射，把其他框架的模型统一全部 转换到tensorRT中，然后在tensorRT中可以针对NVIDIA自家GPU实施优化策略，并进行部署加速。

TensorRT官网

2、TensorRT加速原理

  TensorRT的加速和优化主要体现在两个方面一是TensorRT支持INT8和FP16的计算，通过在减少计算量和保持精度之间达到一个理想的平衡（trade-off），达到加速推断的目的。二是对于网络结构进行重构和优化相对于训练过程，网络推断时模型结构及参数都已经固定，batchsize一般较小，对于精度的要求相较于训练过程也较低，这就给了很大的优化空间。

  • 2.1、支持FP16 或者INT8的数据类型

训练时由于梯度等对于计算精度要求较高，但是在inference阶段（只有前向网络阶段）可以利用精度较低的数据类型加速运算，降低模型的大小。这里需要达到一个量化过程的平衡，当数据的精度降低时会对算法的精度有一定的影响，这里就需要在运行效率和精度之间进行一个平衡。但是总的来说在进行inference阶段时数据的精度对识别精度的影响相对于在训练阶段来说比较小。所以这里可以通过降低数据精度来进行优化。

3、TensorRT如何运行

  TensorRT有两种阶段:第一个阶段是构建阶段(build)，第二种阶段是执行阶段(production).

graph TD
A[我们训练的模型]-->B[通过TensorRT提供的解析器解析各个框架的模型]
B -->C[重构和优化我们的网络]
C -->D[生成一个优化了的plan用于计算深度神经网络的前向传播]

这个plan是一个优化了的目标代码，可以序列化存储在内存或磁盘上。

TensorRT构建阶段：TensorRT运行时需要三个文件来部署一个分类神经网络：一个网络体系结构文件(deploy.prototxt)，已训练的权值(net.caffemodel)和一个标签文件为每个输出类提供一个名称。另外，你必须定义batch size和输出层。

4、开发环境搭建

  • 4.1、Windows C++环境搭建（后续补充）
  • 4.2、Ubuntu python环境搭建（后续补充）

5、TensorRT核心库关键接口介绍

  • 5.1、网络定义（Network Definition）

“网络定义”接口为应用程序提供了指定网络定义的方法。可以指定输入和输出张量，可以添加图层，还有用于配置每个支持的图层类型的界面。除了层类型（例如卷积层和循环层）以及插件层类型之外，应用程序还可以实现TensorRT本身不支持的功能。

  • 5.2、优化构建（Builder）

Builder接口允许从网络定义创建优化引擎。它允许应用程序指定最大批量和工作空间大小，最小可接受精度水平，自动调整的计时迭代计数，以及用于量化网络以8位精度运行的接口。

  • 5.3、执行推理（Engine）

Engine接口允许应用程序执行推理。它支持同步和异步执行，分析，枚举和查询引擎输入和输出的绑定。单个引擎可以具有多个执行上下文，允许使用单组训练参数来同时执行多个批次。

  • 5.4、解析器（ Parser）

    • 5.4.1、Caffe Parser

    此解析器可用于解析在BVLC Caffe或NVCaffe 0.16中创建的Caffe网络。它还提供了为自定义图层注册插件工厂的功能。

    • 5.4.2、UFF Parser

    此解析器可用于以UFF格式解析网络。它还提供了注册插件工厂和传递自定义图层的字段属性的功能。

    • 5.4.3、ONNX Parser

    此解析器可用于解析ONNX模型。

6、TensorRT核心代码学习（后续补充）

TensorRT API文档

qq_38277565
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
jetson tx2 上部署TensorRT模型推理
weixin_43590290的博客
07-23 7291
1## 标题 jetson tx2 是什么？ jetson tx2简而言之就是
java学习笔记总结
04-02
这份“java学习笔记总结”涵盖了作者在深入学习Java过程中积累的知识点和实践经验，旨在帮助读者理解和掌握Java的核心概念。 首先，Java的基础部分包括语法、变量、数据类型、运算符和流程控制。Java支持八种基本...
Tensorrt官方例程
04-28
Tensorrt官方例程 sampleINT8 sampleINT8API sampleGoogleNet sampleOnnxMNIST sampleSSD sampleUffSSD sampleMovieLensMPS ... 等
TensorRT介绍
陶将的博客
03-03 4万+
TensorRT 文章目录TensorRT训练和推理的区别TensorRTTensorRT 优化和性能TensorRT 工作原理Python APIImporting TensorRT Into PythonCreating A Network Definition In PythonBuilding An Engine In PythonSerializing A Model In PythonPerforming Inference In PythonexamplesWorking With Mixed
轻量级深度学习加速库：TensorRT YOLOv5 v6 封装 DLL，支持多模型加载、批量图片处理和跨平台调用
最新发布
iTyMtCrI的博客
04-27 415
本文将介绍如何将Yolov5模型通过TensorRT封装为一个动态链接库（DLL），并提供灵活的调用方式，支持同模型多次加载、不同模型同时多次加载，以及多种计算平台的调用。通过合理的并行计算设置，比如单卡GPU和12线程的配置，我们可以实现较低的推理延迟，平均仅需要35ms。windows vs2019 一个dll，支持同模型多次加载和不同模型同时多次加载，支持批量图片，支持mfc, qt和C#调用，支持模型指定GPU运行，单卡gpu,12线程12个识别任务,平均只要35ms。
TensorRT是什么，有什么作用，如何使用
githubcurry
03-08 6763
TensorRT 是由 NVIDIA 提供的一个高性能深度学习推理（inference）引擎。它专为生产环境中的部署而设计，用于提高在 NVIDIA GPU 上运行的深度学习模型的推理速度和效率。以下是关于 TensorRT 的详细介绍：TensorRT 是 NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到 NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。TensorRT 主要用于加速实时推理任务，如物体检测、图像分类、自然语言处理等。
TensorRT部署总结（一）
qq_23022733的博客
05-04 1万+
文章目录1、什么是TensorRT2、流程 1、什么是TensorRT 2、流程
MAKE 学习 笔记make
04-22
MAKE学习笔记
学习笔记学习笔记学习笔记
01-29
学习笔记学习笔记学习笔记
GCC 学习 笔记GCC学习笔记
04-22
GCC学习笔记
Tensorflow2学习笔记
06-08
北大 曹健老师课程的学习笔记上传供个人留存使用
TensorRT简介
网络资源是无限的
11-07 3万+
NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。TensorRT需要CUDA的支持。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络(通常使用32位...
TensorRT安装及使用教程
热门推荐
ZONGXP的博客
01-08 17万+
TensorRT 安装方法
高性能深度学习支持引擎实战——TensorRT
weixin_34290390的博客
04-11 1380
推广：数十款阿里云产品限时折扣中，赶紧点击这里，领劵开始云上实践吧！ 本场技术沙龙回顾链接：TensorRT加速深度学习在线部署 演讲嘉宾简介： 李曦鹏，现任英伟达devTech团队高级软件工程师，毕业于中国科学院过程工程研究所，拥有近10年CUDA/HPC编程经验。主要负责深度神经网络和高性能计算的性能优化。 以下内容根据演讲嘉宾视频分享以及PPT...
【TensorRT】1、TensorRT、ONNX、PyTorch 互相转换
呆呆的猫的博客
03-21 8707
在深度学习模型落地的过程中，会面临将模型部署到边端设备的问题，模型训练使用不同的框架，则推理的时候也需要使用相同的框架，但不同类型的平台，调优和实现起来非常困难，因为每个平台都有不同的功能和特性。如果需要在该平台上运行多种框架，则会增加复杂性，所以 ONNX 便派上了用场。可以通过将不同框架训练的模型转换成通用的 ONNX 模型，再进而转换成各个平台支持的格式，就可以实现简化部署。 一、什么是 ONNX ONNX 是 Open Neural Network Exchange 的简称，也叫开放神经网络交换，.
TensorRT介绍及使用
qxqsunshine的博客
12-30 2398
tensorRT部署前期，engine生成方式
TensorRT详细入门指南
pytorch内部机制解读
08-02 9890
TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。TensorRT支持的平台如下。...
一、TensorRT简介与入门
qq_36936443的博客
04-27 6212
1.TensorRT基本特性和用法 基本特性： 用于高效实现已训练好的深度学习模型的推理过程的SDK 内含推理优化器和运行时环境 使DL模型能以更高吞吐量和更低的延迟运行 有C++和python的API，完全等价可以混用 2. 三种使用TensorRT的方式 2.1 Workflow：使用TensorRT API搭建 一些术语： Builder（网络原数据）：模型搭建的入...
TensorRT 简介
铤铤的Blog
09-03 2883
文章目录1、简介2、生态系统3、开发流程4、使用步骤5、build阶段5.1、算子融合详解GoogLeNet为例Conv+BN+Relu融合5.2、INT8量化定义基本知识阈值选择交叉熵具体步骤阈值计算校准算法6、总结7、参考资料 1、简介 TensorRT是用于优化训练后的深度学习模型以实现高性能推理的SDK。 TensorRT包含用于训练后的深度学习模型的深度学习推理优化器，以及用于执行的runtime。 TensorRT能够以更高的吞吐量和更低的延迟运行深度学习模型。 TensorRT is a

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值