TensorRT全方位概览笔记

1.简介

通过推理优化器(构建)和运行环境(运行)实现高效实现推理过程

更高吞吐量
更低延迟
C++/Python

构建期

模型解析/搭建
计算图优化
节点消除
精度
优选kernel / format
自定义plugin
显存优化

运行期

对象管理,内存管理,异常处理
序列化 / 反序列化

1.export

在这里插入图片描述

1.1 使用tensorrt API 搭建

在这里插入图片描述

1.2 使用parser

在这里插入图片描述

1.3 使用框架内 tensorrt 接口

某些框架的新版本已经把trt加入在子模块,比如tensorflow,pytorch,个人不用不太了解

1.4 注意事项

在这里插入图片描述

2.开发辅助工具

在这里插入图片描述

2.1 trtexec

工具转换
性能测试

2.2 Netron

网络结构可视化

2.3 onnx-graphsurgeon

功能:
修改计算图: 图属性,节点,张量,节点和张量的连接,权重
修改子图:添加,删除,替换,隔离
优化计算图:常量折叠,拓扑排序,去除无用层
目的:
手工修改网络
去除冗余节点
修改阻碍tensorrt融合的节点组
手工模块化节点组

2.4 polygraphy

功能:

2.5 Nsight Systems

在这里插入图片描述

3. plugin

3.1 plugin

在这里插入图片描述

3.2 使用

在这里插入图片描述
在这里插入图片描述
plugin不参与层融合

3.3 类型

在这里插入图片描述

3.4 结合使用parser 和 plugin

在这里插入图片描述

4. 高级话题

4.1 Dynamic shape 在min-max 跨度较大时性能下降

在这里插入图片描述

4.2 重叠计算和数据拷贝时间,增加GPU利用率

在这里插入图片描述

4.3 一个engine供多个线程使用

在这里插入图片描述

仅用于个人视频笔记

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值