提示:对于“[TRT] [W] Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors.”该问题,记录自用
前言
提示:在jetson平台推理,出现该问题:
[TRT] [W] Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors.
[TRT] [W]不建议在不同型号的设备上使用引擎计划文件,这可能会影响性能甚至导致错误。
一、问题分析
我的.engine文件生成和推理都是在同一个硬件即jetson orin NX上进行的,且软件都是预装的,所以不存在在不同设备不同软件进行的问题,所以这个警告属于误报。
二、解决办法
该问题的官方解答链接:https://github.com/dusty-nv/jetson-inference/issues/883
“在你第一次运行一个模型之后,TensorRT 的 .engine 文件会被保存到硬盘上,以便在后续运行中更快地加载。当 .engine 文件在后续运行中被加载时,TensorRT 会交叉检查该引擎是否是在你试图运行它的 GPU 上创建的。看来有时,TensorRT 会错误地检测到 .engine 是在不同的 GPU 上创建的,实际上并非如此。你可以忽略这个警告。”
用通俗的语言来解释这个情况。
想象一下,TensorRT 是一个厨师,而 .engine
文件是一个食谱。当你第一次让厨师(TensorRT)做一个菜(运行一个模型)时,他会仔细地研究所有的步骤并创建一个食谱(.engine
文件),然后把这个食谱放在厨房的某个角落(硬盘)。
下次你再次要求做同样的菜,厨师就不需要重新研究所有的步骤了。他只需找到之前放在角落里的食谱,然后按照食谱做就行了,这样会更快。
但这里的问题是,有时厨师在拿出食谱前会先检查一下,看看这个食谱是不是适用于当前的厨房(GPU)。大多数情况下,这是个好习惯,因为如果你换了厨房(不同的 GPU),用老食谱可能就做不出好菜了。
然而,在某些情况下,即使你没有换厨房(还是同一个 GPU),厨师(TensorRT)也会误以为你换了。这就是那个警告的意思。实际上,如果你确定你没有换厨房(即使用的是同一台机器和同一块 GPU),那么这个警告就是一个“误报”,你可以安全地忽略它。
这个误报的具体原因可能很复杂,涉及到 TensorRT 内部的工作机制,但对于大多数用户来说,只要知道可以安全地忽略它,就足够了。
三、总结
这个警告通常出现在使用预先生成的 .engine 文件进行推理时。尽管它看起来令人担忧,但在大多数情况下,如果你确定硬件和软件环境没有发生变化,你可以安全地忽略这个警告。