教程地址:TensorRT 教程 | 基于 8.2.3 版本 | 第四部分
TenorRT 的高级话题
希望解决的问题
1 多 OptimizationProfile
解决问题:
2 多Stream
解决问题:
耗时最大的(H to D 和 D to H)模型
3 多Context
解决问题:
4 CUDA Graph
解决问题:
5 Timing Cache
解决问题:
6 Algorithm Selector
解决问题:
- 一个完整的算法选择器的代码:
运行得到的输出: