【TensorRT在Jetson平台的跨设备引擎警告】

提示：对于“[TRT] [W] Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors.”该问题，记录自用

---

前言

提示：在jetson平台推理，出现该问题：

[TRT] [W] Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors.

[TRT] [W]不建议在不同型号的设备上使用引擎计划文件，这可能会影响性能甚至导致错误。

---

一、问题分析

我的.engine文件生成和推理都是在同一个硬件即jetson orin NX上进行的，且软件都是预装的，所以不存在在不同设备不同软件进行的问题，所以这个警告属于误报。

二、解决办法

该问题的官方解答链接：https://github.com/dusty-nv/jetson-inference/issues/883

“在你第一次运行一个模型之后，TensorRT 的 .engine 文件会被保存到硬盘上，以便在后续运行中更快地加载。当 .engine 文件在后续运行中被加载时，TensorRT 会交叉检查该引擎是否是在你试图运行它的 GPU 上创建的。看来有时，TensorRT 会错误地检测到 .engine 是在不同的 GPU 上创建的，实际上并非如此。你可以忽略这个警告。”

用通俗的语言来解释这个情况。

想象一下，TensorRT 是一个厨师，而 .engine 文件是一个食谱。当你第一次让厨师（TensorRT）做一个菜（运行一个模型）时，他会仔细地研究所有的步骤并创建一个食谱（.engine 文件），然后把这个食谱放在厨房的某个角落（硬盘）。

下次你再次要求做同样的菜，厨师就不需要重新研究所有的步骤了。他只需找到之前放在角落里的食谱，然后按照食谱做就行了，这样会更快。

但这里的问题是，有时厨师在拿出食谱前会先检查一下，看看这个食谱是不是适用于当前的厨房（GPU）。大多数情况下，这是个好习惯，因为如果你换了厨房（不同的 GPU），用老食谱可能就做不出好菜了。

然而，在某些情况下，即使你没有换厨房（还是同一个 GPU），厨师（TensorRT）也会误以为你换了。这就是那个警告的意思。实际上，如果你确定你没有换厨房（即使用的是同一台机器和同一块 GPU），那么这个警告就是一个“误报”，你可以安全地忽略它。

这个误报的具体原因可能很复杂，涉及到 TensorRT 内部的工作机制，但对于大多数用户来说，只要知道可以安全地忽略它，就足够了。

---

三、总结

这个警告通常出现在使用预先生成的 .engine 文件进行推理时。尽管它看起来令人担忧，但在大多数情况下，如果你确定硬件和软件环境没有发生变化，你可以安全地忽略这个警告。