背景
在自己的电脑上训练模型,然后生成engine
模型并封装好放在另一台电脑上运行时,出现了以下报错
The engine plan file is generated on an incompatible device , expecting compute 6.1 got compute 7.5,please rebuild
解决办法:
这是由于硬件算力不匹配导致的,所以在一个硬件平台生成的engine模型,部署到另外一台设备时也要相同的硬件环境,如果想让自己的模型部署在不同的硬件平台,则需要将训练好的模型在对应的平台生成engine模型,然后才能调用推理。