TensorRT cheat sheet

TensorRT 备忘清单

问题	方案
如何检验TensorRT上计算结果的精度,找出精度不足的layer, 进行计算图优化	使用polygraphy
如何分析不同layer的推理时间, 找出耗时较大的layer	通过nsight systems得到运行阶段的timeline,并可视化
engine构建时间太长，怎么节约多次构建时的时间	使用Timing Cache
Dynamic Shape模式在min-opt-max跨度较大时性能下降	1. 构建期间创建多个OptimizationProfile, 每个profile范围要尽量小，方便TensorRT优化 2. 推理时根据数据形状选择相应的Profile, 缺点是会增加显存占用
怎样重叠计算和数据拷贝时间，增加GPU利用率	MultiStream，使用CUDA stream和CUDA event进行异步调用，同时使用Pinned memory
怎样使一个engine供多个线程使用	使用多个Context, 多个Context可以基于同一个engine独立的进行推理计算
怎样优化Kernel的调用，减少Launch Bound的发生 也就是CPU发起函数调用，到GPU真正执行所花费的时间过大, 大部分时间浪费在准备工作和数据拷贝等步骤上	1. 使用Cuda Graph 2. 将大部分Launch准备工作提前完成 3. CUDA工作流优化
某些Layer的算法导致较大的误差，如何屏蔽掉该选择	通过算法选择器完成 1. 先通过ploygraph等工具发现某些层的Tactic结果不理想 2. 通过算法选择器屏蔽掉这些层 3. 重新构建engine
想更新模型的权重，但又不想重新构建engine	使用Refit
构建期/运行期显存占用过大，怎么减少	BuilderConfig中，默认开启了cuBLAS、cuBLASLt、cuDNN三个库的算子备选方案。TensorRT优选kernel的时候，会从中选择性能最好的实现来放入engine。 可以人工屏蔽其中一种或多种库，从而禁止从这些库中选择算法来实现，可以节约内存和显存占用，减少engine构建时间 缺点是可能会导致engine性能下降或构建失败。后续版本TensorRT会彻底断开对外部库的依赖