深度学习GPU推理时间不稳定（TensorRT、libtorch 等其他平台）

问题分析：
假设正常tensorrt 推理某一个时间50ms，运行过程中会突然增加到100ms,运行一段时间又会降到50ms，如此反复。

问题原因：
间隔推理可能会导致显卡降频并且会持续一些时间，开一个空内核跑着可以维持高频率。

解决方案
1.软件算法层解决
除了项目需要的推理模型1之外，再创建一个模型2（任意模型，越小越好），while(true) 持续forward，然后使用多线程调用模型1和模型2并行运行，在模型1推理结束之后，模型2保持使用显卡，可以使显卡一直保持高频状态。
虽然此方案可以保证推理时间相对稳定（50ms）,但是因为增加了一个模型2占用显卡资源，所以整体时间会提升，具体提升时间和你的模型2 有关，所以模型2 整体增加时间越少。
2.硬件设备层解决
参考：https://blog.csdn.net/Charwee_/article/details/128155553

仅此记录解决方法，如有误导敬请谅解。