[概述]最近在移植了apollo工程到orin上后,主要做了一些benchmark,主要是localization模块和perception模块,因为这两个模块都有使用GPU。
模型转换
做这个benchmark前期主要除了工程移植以外。还有要做模型的转换,把模型转换成orin上使用的engine。
这里使用的是trtexec工具以及代码转换,主要要注意的是一些自定义层的问题,由于模型会涉及一些自定义层,所以在转换的时候要把相应插件动态库load进去或者修改trtexec源码,增加对应的插件部分。
测试结果
在我测试的模块里,perception主要有maskrcnn,pointpillar以及centerpoint三个模型,由于信息安全问题,我不便详细讲每个模型的具体数据表现,总体情况,整个pipeline orin上的latency大概是3090的1.75倍,但是orin的gpu使用率比较高,几乎打满,3090的大概在60%左右。可以供各位做一个参考,这里记录一下。