tensorRT--- 动态shape

最新推荐文章于 2024-07-02 14:12:32 发布

zsffuture

最新推荐文章于 2024-07-02 14:12:32 发布

阅读量756

点赞数

分类专栏： c++ cuda 文章标签： c++ 开发语言

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_42398658/article/details/124896799

版权

本文主要探讨了TensorRT中动态shape的概念，强调在编译时指定动态范围[L-H]，在推理过程中允许形状值在L到H之间变化，从而实现更灵活的模型部署。

摘要由CSDN通过智能技术生成

动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H

重点提炼：

1. OptimizationProfile 是一个优化配置文件，用来指定输入的 shape 可以变换的范围的，不要被优化两个字蒙蔽了双眼

2. 如果 onnx 的输入某个维度是 -1 ，表示该维度动态，否则表示该维度是明确的，明确维度的 minDims , optDims , maxDims 一定是一样的

动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H

重点提炼：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。