TensorRT量化模型分析(耗时分布可视化等) 又难以解决掉点问题,则我们往往会分析模型的不同模块,找到哪个模块量化后导致掉点严重,然后这些模块将不再被插入量化算子,保持其原始的模型结构。无论哪种方式,都不可避免要进行模型耗时分析,比如,了解模型某个模块甚至某个节点的耗时情况,才能更加精确的指导模型缩减耗时的方向。文件(笔者这里仅写结论,具体内容可以由读者进入该脚本文件中阅读代码),该文件具体执行的动作,可以分解为以下所述内容。会看到如下图示,点击左上角的选项,能选择各类对比分析,比如不同精度计算量的占比,即可,根据问题,补充依赖包,完成安装。
TensorRT-engin可视化、量化等 我们知道`onnx`模型可以通过`netron`工具进行可视化,但是`onnx`转到`TensorRT`模型后的`engin`似乎暂时没有好用的类似于`netron`的可视化工具。但是为了进行性能分析,`TensorRT`官方提供了可是工具`trt-engin-explorer`。位于`TensorRT`开源代码下的`tools/experimental/trt-engine-explorer`目录下。
HDMapNet: An Online HD Map Construction and Evaluation Framework HDMapNet: An Online HD Map Construction and Evaluation Framework BEV感知 自动驾驶